隨著水上交通數(shù)字化與智能化的不斷深入,船舶數(shù)據(jù)已成井噴式增長,對傳統(tǒng)的數(shù)據(jù)處理挖掘平臺造成了不小的負擔;同時,海量的船舶數(shù)據(jù)又為船舶領(lǐng)域的智能化提供了基石。如何正確地處理應(yīng)用這些數(shù)據(jù)成為了船舶領(lǐng)域的研究熱點之一。2016年3月17日,《中華人民共和國國民經(jīng)濟和社會發(fā)展第十三個五年規(guī)劃綱要》發(fā)布,其中第二十七章“實施國家大數(shù)據(jù)戰(zhàn)略”提出:把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源,全面實施促進大數(shù)據(jù)發(fā)展行動,加快推動數(shù)據(jù)資源共享開放和開發(fā)應(yīng)用,助力產(chǎn)業(yè)轉(zhuǎn)型升級和社會治理創(chuàng)新。從中不難看出,大數(shù)據(jù)技術(shù)將是船舶數(shù)據(jù)處理挖掘領(lǐng)域的研究熱點之一。現(xiàn)階段,船舶領(lǐng)域相關(guān)數(shù)據(jù)種類眾多、來源廣泛,沒有一個統(tǒng)一的數(shù)據(jù)處理挖掘平臺進行數(shù)據(jù)的交互�！案髯詾檎钡那闆r仍然廣泛存在。因為數(shù)據(jù)的種類來源眾多,傳統(tǒng)的數(shù)據(jù)處理挖掘平臺那種單一的處理模式已經(jīng)不能滿足航運業(yè)的實際需要。為了提高對于船舶領(lǐng)域數(shù)據(jù)的處理挖掘能力,本文提出了搭建基于Spark的通用型數(shù)據(jù)處理挖掘平臺,并針對船舶AIS數(shù)據(jù)進行了較為具體的處理挖掘。主要工作如下:（1）首先進行了基于Spark的通用型數(shù)據(jù)處理挖掘平臺設(shè)計,將整個平臺主要分成了三大模塊:數(shù)據(jù)庫模塊、S... 

【文章來源】：大連海事大學(xué)遼寧省 211工程院校

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．１和圖２．２所不：??圖２．１?ＡＩＳ數(shù)據(jù)顯示船舶位于陸地??Ｆｉｇ．２．１?ＡＩＳ?ｄａｔａ?ｓｈｏ?

動的虛擬系統(tǒng)，非常占系統(tǒng)內(nèi)存??［５８】。在雙系統(tǒng)環(huán)境下運行ｓｐａｒｋ，測試環(huán)境也較為準確，真實可靠，可完全在Ｌｉｎｕｘ??環(huán)境下進行大數(shù)據(jù)挖掘平臺的環(huán)境配置和搭建，不會與Ｗｉｎｄｏｗｓ系統(tǒng)產(chǎn)生沖突。??３．１．１環(huán)境配置??本文研宄和搭建的大數(shù)據(jù)挖掘平臺是基于Ｕｂｕｎｔｕｌ４．０４進行的。Ｕｂｕｎｔｕ有著??極佳的用戶體驗，無論是用戶界面、包管理系統(tǒng)、還是強大的軟件源支持和豐富??的技術(shù)社區(qū)，均得到了用戶的好評，Ｕｂｉｍｔｕ還對大多數(shù)硬件有著良好的兼容性。??Ｕｂｕｎｔｕ界面如圖３．１所示：??ｉＷＴ??ｔｅ??圖３．?１?Ｕｂｕｎｔｕ界面??Ｆｉｇ．３．１?Ｉｎｔｅｒｆａｃｅ?ｏｆ?Ｕｂｕｎｔｕ??３．?１．２軟硬件介紹??硬件部分：聯(lián)想圖形工作站（搭載Ｕｂｕｎｔｕ操作系統(tǒng)）。??－１３?－??

?ＳＰＡＲＫ?計算引擎??６?ＳＣＡＬＡ?編程語言??７?ＣＡＲＢＯＮＤＡＴＡ?列式數(shù)據(jù)組織??８?ＩＤＥＡ?編程平臺??９?ＹＡＲＮ?資源管理器??１０?ＨＡＤ〇〇Ｐ?分布式大數(shù)據(jù)平臺???接下來對部分主要的軟件及技術(shù)進行簡介：??１）ＨＢＡＳＥ：分布式存儲系統(tǒng)，其中所有的數(shù)據(jù)文件均存儲在ＨＤＦＳ文件系??統(tǒng)上，主要包括兩種文件類型：??①ＨＦｉｌｅ，?ＨＢＡＳＥ中ＫｅｙＶａｌｕｅ數(shù)據(jù)的存儲格式，ＨＦｉｌｅ是Ｈａｄｏｏｐ的二進??制格式文件。圖３．２是ＨＨｌｅ的存儲格式：??Ｌｅａｆ?ｏｒ?Ｒｏｏｔ??ｉｎｔｅｒｍｅｄｉａｔｅ?ｄａｔａ－?Ｆｉｌｅ－ｉｎｆｏ??ｄａｔａ?ｂｌｏｃｋ?Ｍｅｔａ?ｄａｔａ?ｂｌｏｃｋ－?ｂｌｏｃｋ??Ｄａｔａ?ｂｌｏｃｋｓ?ｉｎｄｅｘ?ｂｌｏｃｋｓ?ｉｎｄｅｘ????Ｌｉｔ．…Ｉ：：?Ｉ?卜Ｈ?卜…丨?Ｉ?Ｍ＂?１．?ｊ??Ｂｌｏｏｍ?Ｍｅｔａ?Ｔｒａｉｌｅｒ??ｆｉｌｔｅｒ?ｂｌｏｃｋ?ｄａｔａ?ｂｌｏｃｋ??ｉｎｄｅｘ??圖３．２?Ｈｆｉｌｅ存儲格式圖??Ｆｉｇ．３．２?Ｓｔｏｒａｇｅ?ｆｏｒｍａｔ?ｏｆ?Ｈｆｉｌｅ??如圖３．２所示，ＨＨｌｅ由許多ｂｌｏｃｋ組成的，按照ｂｌｏｃｋ類型可分為：??ｄａｔａｂｌｏｃｋ存放的ｋｅｙ－ｖａｌｕｅ數(shù)據(jù)，一般一個ｄａｔａｂｌｏｃｋ大小默認為６４ＫＢ；??ｄａｔａ?ｂｌｏｃｋ?ｉｎｄｅｘ，?ｄａｔａ?ｂｌｏｃｋ的索引可以是多級索引，中間索引。ｒｏｏｔ索引??位置見圖?３．２?中?ｒｏｏｔｄａｔａ－ｂｌｏｃｋ－ｉｎｄｅｘ；??Ｂｌｏｏｍ?ｆｉｌｔｅｒ?ｂｌｏｃｋ，保存了?ｂｌｏｏｍ

【參考文獻】：
期刊論文
[1]基本蟻群算法在解決TSP問題中參數(shù)選擇的研究[J]. 楊昌昊,張琢.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(05)
[2]基于改進DBSCAN算法的智能照明控制系統(tǒng)[J]. 湯燁,陸衛(wèi)忠,陳成,王磊.  蘇州科技大學(xué)學(xué)報(工程技術(shù)版). 2017(04)
[3]蟻群算法求解TSP中的參數(shù)設(shè)置[J]. 嚴小燕,夏桂林.  電腦知識與技術(shù). 2016(22)
[4]基于AIS數(shù)據(jù)的船舶運動模式識別與應(yīng)用[J]. 魏照坤,周康,魏明,史國友.  上海海事大學(xué)學(xué)報. 2016(02)
[5]基于Hive和Impala的物流運力供應(yīng)鏈數(shù)據(jù)倉庫研究[J]. 任春華,廖雪花,唐思娩,嚴余松,孫尉筌.  物流技術(shù). 2016(01)
[6]嵌入式實時系統(tǒng)中動態(tài)內(nèi)存管理算法的設(shè)計與實現(xiàn)[J]. 沈非一,張延園,林奕.  計算機與現(xiàn)代化. 2015(07)
[7]橋區(qū)航道船舶通過能力仿真[J]. 侯海強,余玉歡,嚴新平,劉興龍.  大連海事大學(xué)學(xué)報. 2015(01)
[8]基于Hadoop高性能查詢的空間數(shù)據(jù)庫設(shè)計與實現(xiàn)[J]. 李運興,馬駿.  中原工學(xué)院學(xué)報. 2014(04)
[9]基于AIS航跡和Douglas-Peucker算法的航線自動生成方法研究[J]. 張樹凱,楊家軒,蔡垚,史國友.  重慶交通大學(xué)學(xué)報(自然科學(xué)版). 2014(06)
[10]基于聚類的快速數(shù)據(jù)流匿名方法[J]. 郭昆,張岐山.  軟件學(xué)報. 2013(08)

碩士論文
[1]面向在線學(xué)習(xí)平臺的數(shù)據(jù)可視化研究[D]. 李姣姣.華中師范大學(xué) 2017
[2]基于Hessian正則化的數(shù)據(jù)可視化算法研究[D]. 李文杰.華中師范大學(xué) 2016
[3]基于MongoDB與WebGL的船舶大數(shù)據(jù)可視化研究[D]. 高立佳.大連海事大學(xué) 2016
[4]基于AIS的船舶軌跡聚類原型系統(tǒng)設(shè)計與實現(xiàn)[D]. 林明亮.大連海事大學(xué) 2016
[5]基于YARN和Spark框架的數(shù)據(jù)挖掘算法并行研究[D]. 陳名輝.湖南師范大學(xué) 2016
[6]基于AIS的船舶軌跡聚類與應(yīng)用[D]. 魏照坤.大連海事大學(xué) 2015
[7]基于AIS數(shù)據(jù)的船舶會遇特征研究[D]. 任亞磊.武漢理工大學(xué) 2013



本文編號：3392700