學術堂首頁 | 文獻求助論文范文 | 論文題目 | 參考文獻 | 開題報告 | 論文格式 | 摘要提綱 | 論文致謝 | 論文查重 | 論文答辯 | 論文發表 | 期刊雜志 | 論文寫作 | 論文PPT
> 物理論文 > 大氣科學論文

氣象大數據云計算平臺系統建設分析

時間:2019-08-02 來源:電子技術與軟件工程 作者:陳晴 高婷 楊明 呂梁 本文字數:4716字

  氣象大數據平臺的設計及應用

  摘要:本文討論了氣象大數據平臺的設計及應用方案。通過開展氣象大數據平臺的研究, 合理選擇數據存儲模型, 實現氣象數據的分布式存儲問題。采用分布式應用服務和云計算技術, 構建平臺的總體框架, 在統一的框架下, 形成分布式應用服務框架, 實現氣象數據的共享服務。采用新的前端展示技術和預處理技術改善平臺顯示效果, 實現氣象數據的可視化。基于氣象大數據平臺, 將浙江省自動氣象探測信息業務服務成功遷移到云平臺, 為其它業務應用系統上云工作提供經驗。

  關鍵詞:大數據平臺; 數據存儲模型; 分布式應用服務; 可視化;

  作者簡介: 陳晴, 碩士研究生。工程師。主研領域為計算機網絡技術, 高性能計算, 氣象數據加工處理;

  為推進氣象工作穩步提升與發展, 浙江氣象局以科技創新為核心, 已經建成涵蓋氣象信息服務、氣候資源開發利用、城市環境氣象服務、海洋氣象服務、氣象工程技術服務等氣象應用開發研究的眾多信息化系統, 實現了氣象工作的信息化和自動化。浙江省氣象局經過多年的信息化建設, 目前由于系統眾多, 獨立部署, 各系統的數據標準、業務規劃、系統功能盡不相同, 相互關聯度不夠, 造成了氣象工作的精確分析和預測的工作瓶頸。為解決上述問題, 開展氣象大數據云計算平臺研究, 合理選擇數據存儲模型, 設計云數據存儲結構解決平臺的大數據存儲問題, 采用分布式應用服務和云計算技術, 構建平臺的總體框架, 在統一的框架下, 數據、業務、應用服務分離, 形成分布式應用服務框架, 采用新的前端展示技術和預處理技術改善平臺顯示效果, 逐步實現信息化建設的統一規劃, 提高氣象服務的社會效益和經濟效益, 為浙江省氣象局自我提升提供有力支撐。

  1 系統體系結構

  氣象大數據平臺基于SOA架構進行設計, 可分為四個層次基礎層 (IaaS) 、數據層 (DaaS) 、平臺層 (PaaS) , 應用層 (SaaS) 。如圖1所示。

  1.1 基礎層 (IaaS)

  通過數據中心私有云資源平臺提供統一、穩定的運行環境, 為上層的各類服務提供存儲、計算和調度等方面的底層支持, 通過對數據資源的統一規劃, 實現資源的集中存儲、數據共享。

  1.2 數據層 (DaaS)

  將來自單方、多方的數據源, 通過機構前置機和業務前置機按需的配置, 在數據服務總線中, 通過輸入隊列、計算隊列和輸出隊列的方式完成業務數據服務, 同時包括調度管理、計算中心、審計管理、安全管理和日志管理等功能。

  1.3 平臺層 (PaaS)

  基于上云中間件和應用平臺服務, 采用應用SOA服務化的核心框架方案, 提供高性能的NIO通訊及多協議集成、服務尋址與路由、軟負載均衡等功能, 實現應用間的松耦合, 提高服務的復用能力。構建共享服務中心, 迅速實現多變的業務需求。薄應用, 厚服務, 讓IT系統沉淀共享資產, 讓新需求基于共享服務層快速生長。

  1.4 應用層 (SaaS)

  基于平臺層PaaS的微應用共享服務中心, 快速構建氣象SaaS應用服務, 包括數據服務和應用服務。

  2 功能設計

  2.1 氣象數據的分布式存儲

  2.1.1 制定省級氣象數據資源標準與應用規范

  在中國氣象局氣象信息化標準體系框架下, 以CIMISS數據接口標準為基礎, 發展和完善本省特有的共享數據服務接口標準, 補充制定浙江省省級面向行業的統一數據格式標準與業務應用規范。

  2.1.2 梳理數據資源

  以《氣象要素分類與編碼》標準為基礎, 對本省的數據資源進行梳理, 編制本省數據共享清單, 并提供觀測、監測、和預報服務數據共享。

  2.1.3 統一存儲策略

  氣象數據具有大容量、高速增長、維度高、實時性高、存儲時效長等特點。氣象數據的類型多, 具有結構化數據和非結構化數據的特征。針對不同的氣象數據類型, 采用不同的分布式數據庫系統存儲分析。

  氣象結構化數據采用分布式關系型數據庫作為存儲介質。氣象探測數據、氣象歷史數據、實時運行數據、氣象精細化站點預報數據、氣象元數據等都屬于結構化數據。分布式關系型數據庫通過原來的集中式關系型數據庫中的數據分散存儲到多個網絡連接的數據存儲節點上, 獲取大存儲量和高并發量。

  氣象非/半結構化數據采用分布式文件系統和NoSQL數據庫兩種方式存儲。

  (1) 分布式文件系統是實現非結構化數據存儲和海量結構化歸檔數據存儲的主要技術, 基于分布式文件系統的存儲框架在保證存儲容量橫向擴充的同時, 能有效支撐海量非/半結構化數據分析的需求。雷達產品、氣象衛星產品、預報和服務產品等非/半結構化數據可采用分布式文件系統集中存儲。分布式文件系統是運行在通用硬件上的分布式文件系統, 通過高效的分布式算法, 將數據的訪問和存儲分布在集群中的各個服務器中。

  (2) NoSQL數據存儲一般采用面向列的存儲方式, 其存儲結構保證了數據表的列可擴展性和讀寫I/O的高吞吐性, 更加適合氣象云數據環境中數據表的字段擴充特性和密集型數據分析應用, 避免了后續表結構改變帶來的維護壓力, 有效提高密集型數據分析的吞吐性能。基于NoSQL的列式數據存儲, 往往把同類型的數據放在一起壓縮, 由于數據有共性, 因此可獲得較大的壓縮比。NoSQL可以采用KeyValue存儲結構, 結構化數據需要轉換成KeyValue格式進行存儲, 同時支持壓縮編碼, 有效減少I/O損耗, 提高數據吞吐量。根據實際應用需求, 還可以為NoSQL建立次級索引。NoSQL數據存儲用于存儲從各異構數據源抽取的海量結構化數據, 采用分布式和多副本的存儲方式, 有效減少單點故障影響全局數據的安全的問題。NoSQL數據存儲的存儲容量擴充采用橫向增加存儲節點的方式, 在存儲容量獲得擴展的同時, 能同時提高計算性能。存儲節點間可自動負載均衡, 支持PB級的結構化數據存儲。

  圖1:氣象大數據平臺整體架構

  圖1:氣象大數據平臺整體架構   下載原圖

  圖2:云上系統架構圖

  圖2:云上系統架構圖   下載原圖

  2.2 氣象數據的共享服務

  氣象數據共享服務在功能分布上主要有七大模塊:數據服務化、數據資源目錄、數據匯聚服務、主數據管理、非結構化數據、數據支撐和大數據體系等。

  (1) 數據服務化, 依據標準的服務發布訂閱規范, 將內部的數據服務資源對外發布數據共享服務, 供上層應用調用。

  (2) 數據資源目錄, 為數據服務資源實現分類管理, 并對數據源、元數據等資源實現標準化管理, 為數據服務提供資源庫。

  (3) 數據匯聚服務, 云上的大數據集成服務平臺Base開發數據ETL任務, 編寫相應的數據同步、抽取、清洗轉換腳本, 并對影響數據的質量的異常數據進行集中管理。

  (4) 主數據管理、維護統一核心業務運行數據, 可將主數據依據數據服務規范發布相應的數據服務。數據建模, 依據業務應用需求為數據主題建模, 并將結果數據回寫到數據生產區和分析區, 對外發布相應的數據服務。

  (5) 非結構化數據、存儲文件源數據信息, 構建文件的全文檢索, 對外提供相應的檢索服務。

  圖3:DRDS的數據拆分圖

  圖3:DRDS的數據拆分圖   下載原圖

  (6) 數據支撐、為上層數據服務及協同提供相關技術組件支撐。

  (7) 大數據體系建設:構建包括數據來源、主題模型、數據倉庫、應用集市、數據管控和數據服務的大數據服務、管理體系。

  2.3 氣象數據的可視化

  氣象數據可視化分析采用HTML、CSS、JavaScript等技術, 分別負責前端網頁的內容結構、網頁的布局和網頁行為和功能。WebGIS負責實現在互聯網平臺上進行地理信息發布、交流協作和數據共享, 依靠JavaScript和WebGIS的結合, 實現地理信息文件和數據庫中數據的動態顯示效果, 提升顯示速度, 加強用戶與平臺的交互。引入高德地圖改進地圖框架、地圖引擎和結構, 加快地圖顯示速度, 極大優化地圖的展示效果。利用后臺分布式云存儲技術和平臺顯示的集約化功能, 對數據采用預處理技術, 將大批量數據的計算處理從前端轉向后臺, 減小客戶端壓力。

  3 應用實例

  浙江省氣象探測系統APP是構建云上靈活開放的體系架構、堅持滿足原版功能所有需求, 實現該應用云上重構之后和大數據平臺的無縫連接的成功案例。使用負載均衡服務 (SLB) 實現系統的高可用, 使用程序或中間件部署在彈性計算服務器 (ECS) 上, 數據庫服務放在分析數據庫服務 (RDS) 上分擔讀數據的壓力, 使用開放存儲服務 (OSS) 存儲文本、視頻、圖片等。其云上系統架構圖如圖2所示。

  3.1 數據層改造

  根據浙江省氣象探測系統APP數據層的特點, 其改造分兩種情況:OLTP和OLAP。

  3.1.1 OLTP類關系數據庫架構改造

  針對浙江省氣象探測系統APP業務壓力 (數據庫訪問壓力) 伴隨時間推移, 訪問量不斷增大的特點, 單個RDS的讀寫已經無法滿足業務訪問請求。基以此, 對OLTP類關系數據庫架構改造, 主要從如下三方面考慮:緩存:使用緩存系統 (OCS) 分攤讀壓力, 通過緩存熱點數據來提供快速訪問;讀寫分離:考慮對數據庫改造成讀寫分離的應用架構, 浙江省氣象探測系統APP采用RDS讀寫分離機制進行改造;數據拆分:考慮到RDS容量不超過1T的限制, 以及數據庫單實例的性能限制, 當數據庫的單實例存儲空間無法滿足或寫入的TPS接近數據庫能力上線時, 數據庫通常需要做Scale up與Scale out拆分, 實現根據不同業務拆分到不同庫。利用云平臺提供的分布式數據庫服務 (DRDS) 使數據庫拆分對應用相對透明。圖3就是DRDS的數據拆分。

  3.1.2 OLAP類關系數據庫架構改造

  浙江省氣象探測系統APP采用聯機分析處理 (OLAP) 類型系統支持復雜的分析操作, 滿足根據分析人員的快速、靈活地進行大數據量的復雜查詢處理, 并直觀地將查詢結果顯示出來。

  浙江省氣象探測系統APP屬于中型規模實時分析系統, 因此OLAP系統面向數據存儲規模在50TB級別, 單表記錄數達到千億級別, 云平臺提供分析數據庫服務 (ADS) , 實現對海量數據實時高并發在線分析 (Realtime OLAP) 的云計算服務, 實現數據的快速響應, 直接嵌入業務系統為浙江氣象局提供服務。

  3.2 接口層改造

  系統接口請求、響應, 遵循Restful設計改造, 其中包括降雨量、溫度、風、能見度、天氣、氣壓、濕度、蒸發、地溫、各層日最低氣溫、自動降雪觀測、降雪加密觀測、雷電、海洋浮標、交通站、分鐘實時材料、正點以來統計值等涉及到的接口。

  3.3 應用層改造

  3.3.1 負載均衡改造

  原浙江省氣象探測系統APP中WEB服務器、應用服務器搭配硬件設備F5, 實現后端服務器負載均衡。上云時需要改造為云上負載均衡服務 (SLB) 。云上SLB服務支持TCP、HTTP、HTTPS等三種協議實現流量負載均衡, 同時支持自動對服務器進行健康檢查, 自動屏蔽異常狀態的服務器, 在服務器恢復正常后自動解除屏蔽重新提供服務。

  3.3.2 Web和應用層改造

  原浙江自動氣象探測系統應用部署在小型機、PC Server、商業或開源虛擬化服務器上, 通過直接部署在云上ECS (彈性計算服務器) 。為保證服務器的高可用性, 采用至少部署在兩臺ECS服務器上, 使用SLB做負載均衡和服務容錯。

  3.3.3 文件存儲改造

  原浙江自動氣象探測系統涉及大量文件對象的存儲和管理, 針對文件對象存儲, 采用云平臺提供開放存儲服務 (OSS) , 解決應用文件、圖片等的存儲問題。

  4 結束語

  通過開展氣象大數據平臺的研究, 合理選擇數據存儲模型, 實現氣象數據的分布式存儲問題;采用分布式應用服務和云計算技術, 構建平臺的總體框架, 在統一的框架下, 形成分布式應用服務框架, 實現氣象數據的共享服務;采用新的前端展示技術和預處理技術改善平臺顯示效果, 實現氣象數據的可視化。基于氣象大數據平臺, 將浙江省自動氣象探測信息業務服務 (APP版) 成功遷移到云平臺, 為其它業務應用系統上云工作提供經驗。氣象大數據平臺的研究與應用為逐步實現浙江信息化建設的統一規劃提供了一定的借鑒。

  參考文獻

  [1]朱利安, 徐明強, 吳德仁.基于移動終端的小型船舶智能導航系統研究與實現[A].第十三屆中國智能交通年會大會論文集[C].天津:第十三屆中國智能交通年會, 2018:649-658.
  [2]楊明, 陳曄峰, 陳晴等.氣象數據云數據存儲技術及應用[J].氣象科技, 2018, 45 (06) :1017-1021.
  [3]姜福成.云計算的基礎結構設計和云應用服務[J].軟件, 2014, 35 (07) :97-102.
  [4]楊鳳攀.基于SOA架構的智能終端云服務平臺設計與實現[D].吉林:吉林大學, 2017:31-45.

    論文來源參考:陳晴,高婷,楊明,呂梁,孫曉燕.氣象大數據平臺的設計及應用[J].電子技術與軟件工程,2019(11):192-194.
      相關內容推薦
    相近分類:
    • 成都網絡警察報警平臺
    • 公共信息安全網絡監察
    • 經營性網站備案信息
    • 不良信息舉報中心
    • 中國文明網傳播文明
    • 學術堂_誠信網站