博信D2D大(dà)數(shù)據平台

博信D2D大(dà)數(shù)據平台涵蓋從需求分析、系統設計(jì)、總體(tǐ)構架、原型生(shēng)成、測試運維的軟件開(kāi)發全生(shēng)命周期工作(zuò)。支持系統原型自動生(shēng)成、半自動化輔助測試，可(kě)高(gāo)校(xiào)提升開(kāi)發效率，并保證規範性、系統性、一緻性。

  • Analysis

    需求分析

    (6表1圖)

    • 機構
    • 用戶
    • 數(shù)據
    • 流程
    • 功能
    • 性能

  • Design

    系統設計(jì)

    （5圖1庫）

    • 應用模式圖
    • 總體(tǐ)架構圖
    • 功能結構圖
    • 網絡部署圖
    • 系統流程圖
    • 數(shù)據模型

  • Architect

    總體(tǐ)架構

    3層組件

    • 前端界面組件
    • 後端數(shù)據組件
    • 業務分層

  • Prototype

    原型生(shēng)成

    （4項生(shēng)成）

    • 數(shù)據庫生(shēng)成
    • 數(shù)據訪問生(shēng)成
    • 業務邏輯生(shēng)成
    • 前台分層框架

  • Test/Service

    測試運維

    （6組工具）

    • 測試大(dà)綱
    • 測試用例
    • 測試報告
    • 數(shù)據庫設計(jì)
    • 詳細設計(jì)
    • 用戶手冊

博信快速開(kāi)發平台（ADAPT）

博信D2D大(dà)數(shù)據平台

D2D大(dà)數(shù)據平台是以數(shù)據為(wèi)驅動，針對大(dà)數(shù)據應用技(jì)術(shù)的廣度信息聚合、深度數(shù)據計(jì)算(suàn)、扁平網絡傳遞的三個(gè)能力要求，所構建的面向屬性和(hé)空(kōng)間(jiān)兩大(dà)類型數(shù)據的，從抽取、整合、建庫、分析、展現的全方位支撐體(tǐ)系，為(wèi)不同用戶提供各類數(shù)據服務，為(wèi)政府領導和(hé)管理(lǐ)部門(mén)提供豐富有(yǒu)效的決策信息，實現了從數(shù)據到決策，大(dà)大(dà)提高(gāo)了決策科學化程度。

大(dà)數(shù)據進
  • 數(shù)據标準
    （DSM）
    Data Standard Module
  • 數(shù)據管理(lǐ)（DMM）
    Data Management
    Module
    Update Export
    index ToHDFS
    • 分析報告（DAR）Data Analysis Report
    • 分析指标（DAI）Data Analysis Index
    • BI引擎（DBI）Data Business Intelligence
    • 分析模型（DAM）Data Analysis Models
    • 地圖引擎（DME）地圖服務配置管理(lǐ) Data Map Engine（數(shù)據查詢、geoserver、Tile）
    • 全文引擎（DSE）檢索與聚合、熱詞雲圖等 Data Search Engine
    • 報表引擎（DRC）Reporting and Charting

    臨時(shí)庫/交換庫/采集庫

    主題庫

    産品庫

    數(shù)據加載（DLM）

    Data Loading
    Module

    Excel DB WS

    數(shù)據處理(lǐ)（DPM）

    Data Processing Module

    SQL Trigger Kettle Hadoop ...
  • 決策大(dà)屏（DSD）
    Decision Support Dashboard

智能
數(shù)據出

博信大(dà)數(shù)據并行(xíng)處理(lǐ)平台

基于Hadoop技(jì)術(shù)，引入以“分布存儲、程序拆分、列式存儲”的并行(xíng)處理(lǐ)框架，将關系數(shù)據庫行(xíng)數(shù)據抽取至Hadoop分布式系統中，最後利用并行(xíng)空(kōng)間(jiān)數(shù)據疊加分析工具和(hé)地圖瓦片生(shēng)成工具，支撐各類大(dà)數(shù)據空(kōng)間(jiān)分析

  • 關系數(shù)據庫
    （行(xíng)存）




    主題數(shù)據庫


    主題數(shù)據庫

  • 數(shù)據抽取
    SQOOP
    數(shù)據抽取分布



    抽取


    抽取

  • HDFS分布式
    文件系統
    （片存）



    文件快1


    文件快2

  • HDOOPP
    并行(xíng)處理(lǐ)
    空(kōng)間(jiān)疊加運算(suàn)



    空(kōng)間(jiān)分析處理(lǐ)1


    空(kōng)間(jiān)分析處理(lǐ)2

  • Mongo DB
    數(shù)據庫
    （列存）


    列存


    列存

    地圖瓦片生(shēng)成

  • Geoserver
    地圖服務集群


    服務器(qì)1


    服務器(qì)2

    地圖瓦片生(shēng)成

  • OpenLayer





    在線地圖分析

  • 數(shù)據庫服務器(qì)
  • HADOOP集群
  • 客戶端