本文關(guān)鍵詞：車載環(huán)境下基于異構(gòu)Hadoop的云端存儲技術(shù)研究

  更多相關(guān)文章： 大數(shù)據(jù) 異構(gòu)集群 數(shù)據(jù)溫度 節(jié)點性能 Hadoop

【摘要】：車聯(lián)網(wǎng)正日益深入到我們的生活,為我們提供各種各樣的服務(wù)。龐大的車聯(lián)網(wǎng)系統(tǒng)會產(chǎn)生海量數(shù)據(jù),因此車聯(lián)網(wǎng)的云計算平臺就成為車聯(lián)網(wǎng)信息化的關(guān)鍵。一直以來Hadoop在云計算領(lǐng)域的表現(xiàn)突出,尤其是具有低成本和高效率的特性,其市場認可度越來越高。Hadoop集群的硬件環(huán)境在部署之初一般都是同構(gòu)的,但是隨著對集群硬件不斷的擴展、升級和改造,原來針對同構(gòu)硬件環(huán)境的存儲方案已難以滿足當(dāng)前異構(gòu)集群的需求。針對該問題,本文研究了一種基于數(shù)據(jù)溫度和節(jié)點性能來改善異構(gòu)Hadoop集群讀寫性能的方案,主要工作如下:首先,為了更準確地獲取特定Hadoop應(yīng)用場景下的集群節(jié)點性能,本文研究了一種基于多元線性回歸模型(Multivariable Linear Regression Model,MLRM)的節(jié)點性能計算方法。該方法首先利用基準性能測量工具獲取節(jié)點的磁盤讀寫速率、內(nèi)存的隨機訪問存取速率以及CPU的運算速率,其次建立節(jié)點性能和三個參數(shù)之間的線性回歸模型來計算各節(jié)點的性能�；贖adoop的實驗分析表明,本文所提出的模型計算的節(jié)點性能值與實驗所得節(jié)點性能值相吻合,驗證了前述模型的可行性。其次,針對異構(gòu)Hadoop集群存儲性能下降的問題,本文研究了一種基于節(jié)點性能和數(shù)據(jù)溫度的存儲方法。該方法在Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)異構(gòu)存儲方案基礎(chǔ)上,考慮了同類型存儲介質(zhì)節(jié)點之間的性能差異,通過建立數(shù)據(jù)溫度和存儲策略之間的映射關(guān)系,將訪問頻度高和時間度新的文件存放在性能更好的節(jié)點上,實現(xiàn)集群中的能者多勞。實驗結(jié)果表明,該方法對部署Hadoop集群的車聯(lián)網(wǎng)云平臺的讀操作有顯著的改善。
【關(guān)鍵詞】：大數(shù)據(jù) 異構(gòu)集群 數(shù)據(jù)溫度 節(jié)點性能 Hadoop
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：U463.6;TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 第一章 緒論8-13
• 1.1 研究背景和意義8-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-11
• 1.3 本文主要工作及章節(jié)安排11-13
• 第二章 車聯(lián)網(wǎng)與分布式存儲概況13-26
• 2.1 車聯(lián)網(wǎng)與大數(shù)據(jù)13-14
• 2.2 分布式存儲的典型應(yīng)用14-19
• 2.2.1 Lustre文件系統(tǒng)14-16
• 2.2.2 谷歌文件系統(tǒng)16-17
• 2.2.3 淘寶文件系統(tǒng)17-18
• 2.2.4 HDFS文件系統(tǒng)18-19
• 2.3 HDFS核心策略研究19-24
• 2.3.1 NameNode和DataNode19-20
• 2.3.2 HDFS文件讀寫機制20-22
• 2.3.3 HDFS塊放置策略22-23
• 2.3.4 HDFS負載均衡機制23-24
• 2.4 計算機基準測量工具簡介24
• 2.5 本章小結(jié)24-26
• 第三章 基于數(shù)據(jù)溫度和節(jié)點性能的存儲方案26-36
• 3.1 HDFS的異構(gòu)存儲方案26-27
• 3.2 節(jié)點的性能計算27-31
• 3.2.1 節(jié)點性能計算技術(shù)現(xiàn)狀27-28
• 3.2.2 基于線性回歸模型的節(jié)點性能計算28-31
• 3.3 基于數(shù)據(jù)溫度和節(jié)點性能的存儲方案31-35
• 3.3.1 數(shù)據(jù)溫度的等級設(shè)定31-32
• 3.3.2 存儲策略的制定32-34
• 3.3.3 數(shù)據(jù)遷移的執(zhí)行34-35
• 3.4 本章小結(jié)35-36
• 第四章 實驗及分析36-46
• 4.1 實驗環(huán)境36-38
• 4.2 數(shù)據(jù)節(jié)點性能測量38-41
• 4.2.1 建立線性回歸模型38-40
• 4.2.2 節(jié)點性能測量結(jié)果校驗40-41
• 4.3 基于數(shù)據(jù)溫度和節(jié)點性能存儲方案的實驗41-45
• 4.3.1 制定存儲策略41-43
• 4.3.2 實驗結(jié)果43-45
• 4.4 本章小結(jié)45-46
• 第五章 總結(jié)與展望46-48
• 5.1 研究工作總結(jié)46
• 5.2 研究工作展望46-48
• 參考文獻48-52
• 附錄1 程序清單52-54
• 附錄2 攻讀碩士學(xué)位期間參加的科研項目54-55
• 致謝55

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 武勝,武振宇;等寬K型間隙方管節(jié)點靜力工作性能的研究[J];哈爾濱工業(yè)大學(xué)學(xué)報;2003年03期

2 閆竹玲;郝際平;;半剛接鋼框架的節(jié)點性能研究綜述[J];山西建筑;2009年09期

3 沈祖炎,李元齊,陳以一;某工程支座節(jié)點性能試驗研究[J];建筑結(jié)構(gòu)學(xué)報;2000年06期

4 陳務(wù)軍;付功義;馮志剛;任小強;董石麟;;C類膜(PVC/PES)熔接縫合節(jié)點性能試驗研究[J];建筑結(jié)構(gòu);2007年02期

5 ;軸向壓縮下不加勁T型/Y型管節(jié)點性能的研究[J];鋼結(jié)構(gòu);2013年01期

6 ;鋼墊板硬度對滑動鉸節(jié)點性能的影響[J];鋼結(jié)構(gòu);2012年05期

7 黃均田;鄒銀生;唐昭青;段林;張微偉;;無粘結(jié)預(yù)應(yīng)力混凝土扁梁節(jié)點性能影響分析[J];四川建筑;2007年01期

8 吳香國;陳思遠;趙新宇;;高性能多功能橋墩永久模板節(jié)段節(jié)點性能分析[J];哈爾濱工程大學(xué)學(xué)報;2012年09期

9 武振宇,武勝;弦桿軸力作用下不等寬K型間隙方管節(jié)點性能研究[J];建筑結(jié)構(gòu);2004年05期

10 邵紫陽;丁建國;;雙T板屋蓋體系的梁板節(jié)點性能研究[J];江蘇建筑;2013年01期

中國重要會議論文全文數(shù)據(jù)庫 前6條

1 劉金瑤;王路遙;張艷霞;;新型梁柱剛性連接節(jié)點性能綜述[A];第六屆全國土木工程研究生學(xué)術(shù)論壇論文集[C];2008年

2 陳麗靜;邱宏剛;謝曉棟;;高層鋼框架腹板開長槽型節(jié)點性能研究[A];第十二屆全國結(jié)構(gòu)工程學(xué)術(shù)會議論文集第Ⅰ冊[C];2003年

3 王湛;袁繼雄;;框架梁柱節(jié)點性能既有測試方法的分析[A];’2008全國鋼結(jié)構(gòu)學(xué)術(shù)年會論文集[C];2008年

4 武振宇;張耀春;譚慧光;;不等寬T型方管節(jié)點性能的有限元分析[A];第八屆全國結(jié)構(gòu)工程學(xué)術(shù)會議論文集（第Ⅲ卷）[C];1999年

5 陳龍中;童樂為;陳以一;范重;;國家體育場復(fù)雜空間KX型節(jié)點性能研究[A];慶祝劉錫良教授八十華誕暨第八屆全國現(xiàn)代結(jié)構(gòu)工程學(xué)術(shù)研討會論文集[C];2008年

6 黃燦杰;魯文帥;付平;;基于FPGA單芯片的SpaceWire節(jié)點接口設(shè)計[A];2009中國儀器儀表與測控技術(shù)大會論文集[C];2009年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 袁繼雄;框架梁柱節(jié)點性能研究之測試方法與邊界條件的分析[D];汕頭大學(xué);2008年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉君一;面向MapReduce的節(jié)點性能檢測與任務(wù)調(diào)度方法研究[D];國防科學(xué)技術(shù)大學(xué);2013年

2 劉林林;不銹鋼平面焊接相貫圓管節(jié)點性能研究[D];合肥工業(yè)大學(xué);2015年

3 曾慶云;車載環(huán)境下基于異構(gòu)Hadoop的云端存儲技術(shù)研究[D];南京郵電大學(xué);2016年

4 周斌;邊界約束和加載點位置對節(jié)點性能的影響[D];汕頭大學(xué);2008年

5 許萌;基于協(xié)議的網(wǎng)絡(luò)節(jié)點性能監(jiān)測系統(tǒng)研究[D];北京郵電大學(xué);2009年

6 修金捷;鋼框架梁柱腹板剛性連接的節(jié)點性能分析[D];西安科技大學(xué);2003年

7 張吉;基于概率靈敏度技術(shù)的鋼結(jié)構(gòu)螺栓節(jié)點性能研究[D];汕頭大學(xué);2007年

8 薩鵬程;樹狀結(jié)構(gòu)空間節(jié)點性能研究[D];哈爾濱工程大學(xué);2009年

9 彭中華;腹板開圓孔型鋼結(jié)構(gòu)梁柱組合節(jié)點性能數(shù)值分析[D];北京交通大學(xué);2012年

10 杭銀龍;高層建筑鋼結(jié)構(gòu)狗骨式節(jié)點性能研究[D];西安理工大學(xué);2005年

，

本文編號：861146