發(fā)布時間：2022-02-14 19:55

　　目前,我國極地科考業(yè)務(wù)已經(jīng)累積了約20年的冰區(qū)航行數(shù)據(jù),可為下一步極地考察船的智能化航行提供數(shù)據(jù)支撐。然而,海量數(shù)據(jù)對于現(xiàn)有的傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)來說,已經(jīng)遠超出其存儲及查詢分析處理能力。數(shù)據(jù)向分布式大數(shù)據(jù)處理平臺的遷移及部署對于冰區(qū)航行來說已成為一種必要的大數(shù)據(jù)解決方案。文章聚焦研究面向大數(shù)據(jù)平臺的遷移平臺和數(shù)據(jù)融合過程,實現(xiàn)多源異構(gòu)歷史數(shù)據(jù)的抽取、轉(zhuǎn)換,為分析應(yīng)用等功能提供數(shù)據(jù)。結(jié)合遷移后的數(shù)據(jù),提出一種基于Adaptive-Lasso算法和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)融合算法,用于分析預測雪龍?zhí)柨疾齑杉陌l(fā)電機油耗數(shù)據(jù)與天氣數(shù)據(jù)之間的關(guān)系,并進行了仿真驗證,為船舶智能航行提供了理論支撐。 

【文章來源】：中國高新科技. 2020,(12)

【文章頁數(shù)】：9 頁

【部分圖文】：

極地大數(shù)據(jù)平臺的整體架構(gòu)

數(shù)據(jù)治理部分包含極地航行數(shù)據(jù)標準建設(shè)目標和方案以及對數(shù)據(jù)源質(zhì)量、標準化程度的分析方案。數(shù)據(jù)治理建設(shè)，首先需要制定統(tǒng)一的極地航行業(yè)務(wù)數(shù)據(jù)標準和規(guī)范、外部數(shù)據(jù)采集接入方式和標準接口規(guī)范、數(shù)據(jù)更新和發(fā)布流程規(guī)范，監(jiān)督管理各項規(guī)范和流程的實施與執(zhí)行�；跈C器學習算法實現(xiàn)對數(shù)據(jù)質(zhì)量和數(shù)據(jù)標準化程度的分析，通過對數(shù)據(jù)完整性、規(guī)范性、一致性、準確性、唯一性和關(guān)聯(lián)性分析模塊的訓練建模，實現(xiàn)對數(shù)據(jù)源的數(shù)據(jù)格式、數(shù)據(jù)長度、允許值、數(shù)據(jù)關(guān)聯(lián)等的數(shù)據(jù)質(zhì)量情況的分析，同時通過對數(shù)據(jù)標準化分析模塊的訓練建模實現(xiàn)對現(xiàn)有基礎(chǔ)數(shù)據(jù)（含基礎(chǔ)代碼、數(shù)據(jù)應(yīng)用字典等）和數(shù)據(jù)項、數(shù)據(jù)表的標準化程度分析。圖2是冰區(qū)航行大數(shù)據(jù)遷移平臺的數(shù)據(jù)治理方案示意圖。(1）數(shù)據(jù)匯聚，完成數(shù)據(jù)匯聚到該大數(shù)據(jù)平臺。

數(shù)據(jù)融遷移流程

【參考文獻】：
期刊論文
[1]跨平臺信息系統(tǒng)數(shù)據(jù)遷移技術(shù)研究與實現(xiàn)[J]. 李靜,馬超,黃鏡宇,盧艷艷.  電氣技術(shù). 2019(10)
[2]“雪龍2”號極地科考破冰船交付使用[J].   船舶工程. 2019(S2)
[3]基于Kettle的數(shù)據(jù)交換平臺研究與實踐[J]. 程子傲,董博,趙悅,王丹華,孟博.  遼寧大學學報(自然科學版). 2018(01)
[4]面向超媒體鏈接的RESTful服務(wù)隱私建模方法[J]. 王進,黃志球.  計算機研究與發(fā)展. 2017(04)
[5]基于Adaptive Lasso及RF算法的冰雪天氣交通事故分析[J]. 趙瑋,徐良杰,冉斌,汪濟洲,張璇.  中國安全科學學報. 2017(02)
[6]基于Shark/Spark的分布式空間數(shù)據(jù)分析框架[J]. 溫馨,羅侃,陳榮國.  地球信息科學學報. 2015(04)
[7]一種能效優(yōu)化的MapReduce資源比模型[J]. 宋杰,劉雪冰,朱志良,李甜甜,趙大哲,于戈.  計算機學報. 2015(01)
[8]基于卡爾曼濾波的風速序列短期預測方法[J]. 修春波,任曉,李艷晴,劉明鳳.  電工技術(shù)學報. 2014(02)
[9]基于MapReduce的Hadoop大表導入編程模型[J]. 陳吉榮,樂嘉錦.  計算機應(yīng)用. 2013(09)



本文編號：3625175