隨著水上交通數(shù)字化與智能化的不斷深入,船舶數(shù)據(jù)已成井噴式增長(zhǎng),對(duì)傳統(tǒng)的數(shù)據(jù)處理挖掘平臺(tái)造成了不小的負(fù)擔(dān);同時(shí),海量的船舶數(shù)據(jù)又為船舶領(lǐng)域的智能化提供了基石。如何正確地處理應(yīng)用這些數(shù)據(jù)成為了船舶領(lǐng)域的研究熱點(diǎn)之一。2016年3月17日,《中華人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃綱要》發(fā)布,其中第二十七章“實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略”提出:把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源,全面實(shí)施促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng),加快推動(dòng)數(shù)據(jù)資源共享開(kāi)放和開(kāi)發(fā)應(yīng)用,助力產(chǎn)業(yè)轉(zhuǎn)型升級(jí)和社會(huì)治理創(chuàng)新。從中不難看出,大數(shù)據(jù)技術(shù)將是船舶數(shù)據(jù)處理挖掘領(lǐng)域的研究熱點(diǎn)之一。現(xiàn)階段,船舶領(lǐng)域相關(guān)數(shù)據(jù)種類眾多、來(lái)源廣泛,沒(méi)有一個(gè)統(tǒng)一的數(shù)據(jù)處理挖掘平臺(tái)進(jìn)行數(shù)據(jù)的交互�！案髯詾檎钡那闆r仍然廣泛存在。因?yàn)閿?shù)據(jù)的種類來(lái)源眾多,傳統(tǒng)的數(shù)據(jù)處理挖掘平臺(tái)那種單一的處理模式已經(jīng)不能滿足航運(yùn)業(yè)的實(shí)際需要。為了提高對(duì)于船舶領(lǐng)域數(shù)據(jù)的處理挖掘能力,本文提出了搭建基于Spark的通用型數(shù)據(jù)處理挖掘平臺(tái),并針對(duì)船舶AIS數(shù)據(jù)進(jìn)行了較為具體的處理挖掘。主要工作如下:（1）首先進(jìn)行了基于Spark的通用型數(shù)據(jù)處理挖掘平臺(tái)設(shè)計(jì),將整個(gè)平臺(tái)主要分成了三大模塊:數(shù)據(jù)庫(kù)模塊、S... 

【文章來(lái)源】：大連海事大學(xué)遼寧省 211工程院校

【文章頁(yè)數(shù)】：67 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１和圖２．２所不：??圖２．１?ＡＩＳ數(shù)據(jù)顯示船舶位于陸地??Ｆｉｇ．２．１?ＡＩＳ?ｄａｔａ?ｓｈｏ?

動(dòng)的虛擬系統(tǒng)，非常占系統(tǒng)內(nèi)存??［５８】。在雙系統(tǒng)環(huán)境下運(yùn)行ｓｐａｒｋ，測(cè)試環(huán)境也較為準(zhǔn)確，真實(shí)可靠，可完全在Ｌｉｎｕｘ??環(huán)境下進(jìn)行大數(shù)據(jù)挖掘平臺(tái)的環(huán)境配置和搭建，不會(huì)與Ｗｉｎｄｏｗｓ系統(tǒng)產(chǎn)生沖突。??３．１．１環(huán)境配置??本文研宄和搭建的大數(shù)據(jù)挖掘平臺(tái)是基于Ｕｂｕｎｔｕｌ４．０４進(jìn)行的。Ｕｂｕｎｔｕ有著??極佳的用戶體驗(yàn)，無(wú)論是用戶界面、包管理系統(tǒng)、還是強(qiáng)大的軟件源支持和豐富??的技術(shù)社區(qū)，均得到了用戶的好評(píng)，Ｕｂｉｍｔｕ還對(duì)大多數(shù)硬件有著良好的兼容性。??Ｕｂｕｎｔｕ界面如圖３．１所示：??ｉＷＴ??ｔｅ??圖３．?１?Ｕｂｕｎｔｕ界面??Ｆｉｇ．３．１?Ｉｎｔｅｒｆａｃｅ?ｏｆ?Ｕｂｕｎｔｕ??３．?１．２軟硬件介紹??硬件部分：聯(lián)想圖形工作站（搭載Ｕｂｕｎｔｕ操作系統(tǒng)）。??－１３?－??

?ＳＰＡＲＫ?計(jì)算引擎??６?ＳＣＡＬＡ?編程語(yǔ)言??７?ＣＡＲＢＯＮＤＡＴＡ?列式數(shù)據(jù)組織??８?ＩＤＥＡ?編程平臺(tái)??９?ＹＡＲＮ?資源管理器??１０?ＨＡＤ〇〇Ｐ?分布式大數(shù)據(jù)平臺(tái)???接下來(lái)對(duì)部分主要的軟件及技術(shù)進(jìn)行簡(jiǎn)介：??１）ＨＢＡＳＥ：分布式存儲(chǔ)系統(tǒng)，其中所有的數(shù)據(jù)文件均存儲(chǔ)在ＨＤＦＳ文件系??統(tǒng)上，主要包括兩種文件類型：??①ＨＦｉｌｅ，?ＨＢＡＳＥ中ＫｅｙＶａｌｕｅ數(shù)據(jù)的存儲(chǔ)格式，ＨＦｉｌｅ是Ｈａｄｏｏｐ的二進(jìn)??制格式文件。圖３．２是ＨＨｌｅ的存儲(chǔ)格式：??Ｌｅａｆ?ｏｒ?Ｒｏｏｔ??ｉｎｔｅｒｍｅｄｉａｔｅ?ｄａｔａ－?Ｆｉｌｅ－ｉｎｆｏ??ｄａｔａ?ｂｌｏｃｋ?Ｍｅｔａ?ｄａｔａ?ｂｌｏｃｋ－?ｂｌｏｃｋ??Ｄａｔａ?ｂｌｏｃｋｓ?ｉｎｄｅｘ?ｂｌｏｃｋｓ?ｉｎｄｅｘ????Ｌｉｔ．…Ｉ：：?Ｉ?卜Ｈ?卜…丨?Ｉ?Ｍ＂?１．?ｊ??Ｂｌｏｏｍ?Ｍｅｔａ?Ｔｒａｉｌｅｒ??ｆｉｌｔｅｒ?ｂｌｏｃｋ?ｄａｔａ?ｂｌｏｃｋ??ｉｎｄｅｘ??圖３．２?Ｈｆｉｌｅ存儲(chǔ)格式圖??Ｆｉｇ．３．２?Ｓｔｏｒａｇｅ?ｆｏｒｍａｔ?ｏｆ?Ｈｆｉｌｅ??如圖３．２所示，ＨＨｌｅ由許多ｂｌｏｃｋ組成的，按照ｂｌｏｃｋ類型可分為：??ｄａｔａｂｌｏｃｋ存放的ｋｅｙ－ｖａｌｕｅ數(shù)據(jù)，一般一個(gè)ｄａｔａｂｌｏｃｋ大小默認(rèn)為６４ＫＢ；??ｄａｔａ?ｂｌｏｃｋ?ｉｎｄｅｘ，?ｄａｔａ?ｂｌｏｃｋ的索引可以是多級(jí)索引，中間索引。ｒｏｏｔ索引??位置見(jiàn)圖?３．２?中?ｒｏｏｔｄａｔａ－ｂｌｏｃｋ－ｉｎｄｅｘ；??Ｂｌｏｏｍ?ｆｉｌｔｅｒ?ｂｌｏｃｋ，保存了?ｂｌｏｏｍ

【參考文獻(xiàn)】：
期刊論文
[1]基本蟻群算法在解決TSP問(wèn)題中參數(shù)選擇的研究[J]. 楊昌昊,張琢.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(05)
[2]基于改進(jìn)DBSCAN算法的智能照明控制系統(tǒng)[J]. 湯燁,陸衛(wèi)忠,陳成,王磊.  蘇州科技大學(xué)學(xué)報(bào)(工程技術(shù)版). 2017(04)
[3]蟻群算法求解TSP中的參數(shù)設(shè)置[J]. 嚴(yán)小燕,夏桂林.  電腦知識(shí)與技術(shù). 2016(22)
[4]基于AIS數(shù)據(jù)的船舶運(yùn)動(dòng)模式識(shí)別與應(yīng)用[J]. 魏照坤,周康,魏明,史國(guó)友.  上海海事大學(xué)學(xué)報(bào). 2016(02)
[5]基于Hive和Impala的物流運(yùn)力供應(yīng)鏈數(shù)據(jù)倉(cāng)庫(kù)研究[J]. 任春華,廖雪花,唐思娩,嚴(yán)余松,孫尉筌.  物流技術(shù). 2016(01)
[6]嵌入式實(shí)時(shí)系統(tǒng)中動(dòng)態(tài)內(nèi)存管理算法的設(shè)計(jì)與實(shí)現(xiàn)[J]. 沈非一,張延園,林奕.  計(jì)算機(jī)與現(xiàn)代化. 2015(07)
[7]橋區(qū)航道船舶通過(guò)能力仿真[J]. 侯海強(qiáng),余玉歡,嚴(yán)新平,劉興龍.  大連海事大學(xué)學(xué)報(bào). 2015(01)
[8]基于Hadoop高性能查詢的空間數(shù)據(jù)庫(kù)設(shè)計(jì)與實(shí)現(xiàn)[J]. 李運(yùn)興,馬駿.  中原工學(xué)院學(xué)報(bào). 2014(04)
[9]基于AIS航跡和Douglas-Peucker算法的航線自動(dòng)生成方法研究[J]. 張樹(shù)凱,楊家軒,蔡垚,史國(guó)友.  重慶交通大學(xué)學(xué)報(bào)(自然科學(xué)版). 2014(06)
[10]基于聚類的快速數(shù)據(jù)流匿名方法[J]. 郭昆,張岐山.  軟件學(xué)報(bào). 2013(08)

碩士論文
[1]面向在線學(xué)習(xí)平臺(tái)的數(shù)據(jù)可視化研究[D]. 李姣姣.華中師范大學(xué) 2017
[2]基于Hessian正則化的數(shù)據(jù)可視化算法研究[D]. 李文杰.華中師范大學(xué) 2016
[3]基于MongoDB與WebGL的船舶大數(shù)據(jù)可視化研究[D]. 高立佳.大連海事大學(xué) 2016
[4]基于AIS的船舶軌跡聚類原型系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 林明亮.大連海事大學(xué) 2016
[5]基于YARN和Spark框架的數(shù)據(jù)挖掘算法并行研究[D]. 陳名輝.湖南師范大學(xué) 2016
[6]基于AIS的船舶軌跡聚類與應(yīng)用[D]. 魏照坤.大連海事大學(xué) 2015
[7]基于AIS數(shù)據(jù)的船舶會(huì)遇特征研究[D]. 任亞磊.武漢理工大學(xué) 2013



本文編號(hào)：3392700