隨著物聯(lián)網(wǎng)時(shí)代的來臨,越來越多的終端被各行各業(yè)開發(fā)使用。車載物聯(lián)網(wǎng)作為未來城市交通的核心,也得到了的發(fā)展。汽車作為該網(wǎng)絡(luò)中的外形主體,其本質(zhì)為車內(nèi)安裝的車載終端;這些終端充斥在城市的交通之中,作為元節(jié)點(diǎn)組成了一個(gè)巨大的網(wǎng)絡(luò);而這些終端所產(chǎn)生的海量數(shù)據(jù)如何被有效的利用起來則成為當(dāng)今車載物聯(lián)網(wǎng)系統(tǒng)急需解決的核心問題。在這種需求前提下,本文提出使用Hadoop分布式平臺(tái)來存儲(chǔ)海量車載物聯(lián)網(wǎng)數(shù)據(jù),并在其框架下完成對(duì)數(shù)據(jù)的分析統(tǒng)計(jì)工作。本文首先從分析車載物聯(lián)網(wǎng)的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)出發(fā),提出使用HDFS、HBase、Hive組合的存儲(chǔ)方案,解決了車載物聯(lián)網(wǎng)數(shù)據(jù)高維度、高并發(fā)、部分稀疏的存儲(chǔ)問題。在此基礎(chǔ)上,又深入探討了對(duì)車載物聯(lián)網(wǎng)數(shù)據(jù)的分析和挖掘,提出了使用Hive QL和MapReduce模型兩種方法來應(yīng)對(duì)不同規(guī)模的數(shù)據(jù)分析,設(shè)計(jì)實(shí)現(xiàn)了部分?jǐn)?shù)據(jù)統(tǒng)計(jì),駕駛員行為分析,以及在A-ECLAT算法下狀態(tài)量關(guān)聯(lián)規(guī)則挖掘等一系列數(shù)據(jù)分析過程。本文最后,按照提出的框架模型,搭建了整體的Hadoop框架,整合了相關(guān)組件,并對(duì)一些為提高實(shí)際存儲(chǔ),分析性能的參數(shù)進(jìn)行設(shè)置。從實(shí)驗(yàn)數(shù)據(jù)結(jié)果和實(shí)驗(yàn)性能上證明了本文所提出的車載物... 

【文章來源】：哈爾濱工程大學(xué)黑龍江省 211工程院校

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１?Ｈａｄｏｏｐ組件關(guān)系圖??

命名等操作，另外還負(fù)責(zé)建立文件存儲(chǔ)塊與其所在的ＤａｔａＮｏｄｅ節(jié)點(diǎn)之間的關(guān)系，并??對(duì)針對(duì)數(shù)據(jù)塊的創(chuàng)建和復(fù)制等操作進(jìn)行統(tǒng)一調(diào)度。而ＤａｔａＮｏｄｅ的主要職責(zé)是對(duì)文件??與客戶端之間的讀寫請(qǐng)求進(jìn)行有效的響應(yīng)。具體的ＨＤＦＳ體系組織結(jié)構(gòu)如圖２．２所示。??１１??

點(diǎn)一般情況下都具有ＭａｐＲｅｄｕｃｅ框架和ＨＤＦＳ系統(tǒng)的兩種角色，即該節(jié)點(diǎn)既做存儲(chǔ)也??做運(yùn)算。在Ｈａｄｏｏｐ平臺(tái)的協(xié)作下，運(yùn)算任務(wù)所需數(shù)據(jù)會(huì)盡量取自本節(jié)點(diǎn)。具體執(zhí)行??流程如圖２．３所示。??１５??

【參考文獻(xiàn)】：
期刊論文
[1]基于Hadoop的電網(wǎng)監(jiān)控信息流分布式處理研究[J]. 屈志堅(jiān),郭亮,陳閣.  華東交通大學(xué)學(xué)報(bào). 2013(05)
[2]物聯(lián)網(wǎng)與云計(jì)算的融合[J]. 楊久河.  硅谷. 2013(09)
[3]CAN總線在計(jì)算機(jī)遠(yuǎn)程控制中的應(yīng)用[J]. 邵丙新.  科技創(chuàng)新與應(yīng)用. 2013(07)
[4]MapReduce并行編程模型研究綜述[J]. 李建江,崔健,王聃,嚴(yán)林,黃義雙.  電子學(xué)報(bào). 2011(11)
[5]大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J]. 覃雄派,王會(huì)舉,杜小勇,王珊.  軟件學(xué)報(bào). 2012(01)
[6]車聯(lián)網(wǎng)架構(gòu)與關(guān)鍵技術(shù)研究[J]. 王建強(qiáng),吳辰文,李曉軍.  微計(jì)算機(jī)信息. 2011(04)
[7]MapReduce:新型的分布式并行計(jì)算編程模型[J]. 李成華,張新訪,金海,向文.  計(jì)算機(jī)工程與科學(xué). 2011(03)
[8]車載物聯(lián)網(wǎng)技術(shù)探討[J]. 俞波,須成忠,過敏意.  中興通訊技術(shù). 2011(01)
[9]NoSQL非關(guān)系型數(shù)據(jù)庫(kù)的發(fā)展及應(yīng)用初探[J]. 黃賢立.  福建電腦. 2010(07)
[10]車載移動(dòng)異構(gòu)無線網(wǎng)絡(luò)架構(gòu)及關(guān)鍵技術(shù)[J]. 劉富強(qiáng),單聯(lián)海.  中興通訊技術(shù). 2010(03)

博士論文
[1]CAN協(xié)議車載網(wǎng)絡(luò)若干關(guān)鍵理論研究[D]. 曹萬科.東北大學(xué) 2008
[2]關(guān)聯(lián)規(guī)則的挖掘及其算法的研究[D]. 陸楠.吉林大學(xué) 2007

碩士論文
[1]HBase大對(duì)象存儲(chǔ)方案的設(shè)計(jì)與實(shí)現(xiàn)[D]. 康毅.南京大學(xué) 2013
[2]基于Hadoop平臺(tái)的數(shù)據(jù)挖掘技術(shù)研究[D]. 李偉衛(wèi).西北農(nóng)林科技大學(xué) 2013
[3]基于Hadoop的NoSQL數(shù)據(jù)庫(kù)安全研究[D]. 蔡平.上海交通大學(xué) 2013
[4]NoSQL數(shù)據(jù)庫(kù)技術(shù)及其應(yīng)用研究[D]. 沈姝.南京信息工程大學(xué) 2012
[5]基于MapReduce的KNN分類算法的研究與實(shí)現(xiàn)[D]. 喬鴻欣.北京交通大學(xué) 2012
[6]基于HDFS的分布式存儲(chǔ)研究與應(yīng)用[D]. 童明.華中科技大學(xué) 2012
[7]基于ZigBee的車載物聯(lián)網(wǎng)技術(shù)應(yīng)用研究[D]. 付濤.吉林大學(xué) 2011
[8]基于HBase的RDF存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D]. 金強(qiáng).浙江大學(xué) 2011
[9]關(guān)聯(lián)規(guī)則中ECLAT算法的研究與應(yīng)用[D]. 耿曉斐.重慶大學(xué) 2009
[10]基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D]. 朱珠.北京郵電大學(xué) 2008



本文編號(hào)：3212388