本文關(guān)鍵詞：基于HDFS的名字節(jié)點的性能優(yōu)化技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：如今是大數(shù)據(jù)的時代。面對日益增長的海量多樣的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)存儲技術(shù)已經(jīng)無法滿足這樣的大數(shù)據(jù)存儲需求。Hadoop分布式文件系統(tǒng)的出現(xiàn)，解決了大數(shù)據(jù)存儲的難題。由于Hadoop分布式文件系統(tǒng)HDFS（Hadoop Distributed File System）采用一主多從的架構(gòu)，存在著名字節(jié)點單點失效問題；并且在存儲海量的小文件時，會嚴重降低名字節(jié)點的存儲性能，同時引發(fā)名字節(jié)點的內(nèi)存瓶頸問題。對名字節(jié)點性能優(yōu)化的研究，為解決大數(shù)據(jù)處理與存儲難題有著重要的探索價值和實際意義。 課題對名字節(jié)點的性能優(yōu)化進行了深入的分析與研究。針對名字節(jié)點單點失效問題，本課題采用MN-BH分布式文件系統(tǒng)結(jié)構(gòu)，優(yōu)化了原有的云存儲平臺。若主名字節(jié)點服務器因故障宕機，可以及時啟動另一從名字節(jié)點服務器，確保Hadoop集群正常服務。為了提高名字節(jié)點對海量小文件的存儲性能，解決小文件引發(fā)的單點內(nèi)存瓶頸問題，本課題提出了HSFM小文件存儲優(yōu)化算法。待上傳的小文件經(jīng)預處理層進行處理，即將海量的小文件歸并成一個大文件，然后持久化地存儲在各個DataNode節(jié)點中，從源頭解決了小文件引發(fā)的名字節(jié)點內(nèi)存瓶頸問題。該算法可有效地減輕名字節(jié)點內(nèi)存負擔，大大提高名字節(jié)點讀寫文件的性能。 對名字節(jié)點的性能優(yōu)化分析后，本課題給出了名字節(jié)點性能優(yōu)化的詳細設計與實現(xiàn)。最后，測試優(yōu)化后的HDFS分布式文件系統(tǒng)，模擬主NameNode服務器宕機，啟用待命從NameNode服務器，HDFS中數(shù)據(jù)文件沒有丟失，，確保整個Hadoop服務器集群正常運行，測試達到了預期效果。測試優(yōu)化后名字節(jié)點性能，設計了三組實驗，即：NameNode內(nèi)存占用量測試、小文件存儲性能測試、小文件讀取性能測試。實驗結(jié)果表明，優(yōu)化設計可以大大地減少名字節(jié)點內(nèi)存占用量；文件讀寫速度較優(yōu)化前速度的2-3倍。分析測試后的實驗數(shù)據(jù)，達到了預期測試效果。
【關(guān)鍵詞】：HDFS 名字節(jié)點 小文件 分布式文件系統(tǒng)
【學位授予單位】：沈陽工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-10
• 第1章 緒論10-15
• 1.1 課題研究背景與意義10-11
• 1.2 研究現(xiàn)狀11-13
• 1.2.1 名字節(jié)點恢復技術(shù)的相關(guān)研究11-12
• 1.2.2 名字節(jié)點內(nèi)存優(yōu)化技術(shù)的相關(guān)研究12-13
• 1.3 主要研究內(nèi)容13
• 1.4 論文結(jié)構(gòu)13-15
• 第2章 相關(guān)技術(shù)分析與研究15-28
• 2.1 云計算15
• 2.2 云存儲概述15-16
• 2.3 云存儲與云計算的關(guān)系16-17
• 2.4 Hadoop 分布式文件系統(tǒng)17-27
• 2.4.1 HDFS 概述17-20
• 2.4.2 NameNode 功能分析20-23
• 2.4.3 DataNode 功能分析23-27
• 2.5 本章小結(jié)27-28
• 第3章 NameNode 節(jié)點優(yōu)化分析28-37
• 3.1 NameNode 存在問題的分析28-29
• 3.1.1 節(jié)點失效28
• 3.1.2 單點內(nèi)存瓶頸28-29
• 3.2 NameNode 節(jié)點失效優(yōu)化分析29-33
• 3.2.1 MN-BH 優(yōu)化策略29-30
• 3.2.2 NameNode 啟動過程30-31
• 3.2.3 優(yōu)化后 NameNode 啟動過程31-32
• 3.2.4 優(yōu)化后元數(shù)據(jù)處理流程32-33
• 3.3 NameNode 節(jié)點內(nèi)存瓶頸優(yōu)化分析33-36
• 3.3.1 HSFM 的優(yōu)化策略34-35
• 3.3.2 小文件優(yōu)化存儲流程35
• 3.3.3 小文件優(yōu)化讀取流程35-36
• 3.4 本章小結(jié)36-37
• 第4章 NameNode 節(jié)點優(yōu)化設計與實現(xiàn)37-54
• 4.1 多名字節(jié)點 MN-BH 優(yōu)化設計37-41
• 4.1.1 總體架構(gòu)設計37
• 4.1.2 功能分析37-40
• 4.1.3 名字節(jié)點間元數(shù)據(jù)同步設計40-41
• 4.2 多名字節(jié)點間的元數(shù)據(jù)同步實現(xiàn)41-43
• 4.2.1 N2 服務端元數(shù)據(jù)同步實現(xiàn)41-42
• 4.2.2 N1 客服端 mount 掛接實現(xiàn)42-43
• 4.3 基于 HSFM 的名字節(jié)點性能優(yōu)化系統(tǒng)設計與實現(xiàn)43-48
• 4.3.1 總體架構(gòu)設計與實現(xiàn)43-44
• 4.3.2 處理層架構(gòu)實現(xiàn)44-45
• 4.3.3 系統(tǒng)功能實現(xiàn)45-48
• 4.4 HSFM 優(yōu)化算法48-52
• 4.4.1 數(shù)據(jù)的 I/O 序列化操作48-49
• 4.4.2 HSFM 優(yōu)化算法實現(xiàn)49-52
• 4.5 本章小結(jié)52-54
• 第5章 NameNode 節(jié)點優(yōu)化測試與分析54-67
• 5.1 硬件環(huán)境54
• 5.2 軟件環(huán)境54
• 5.3 Hadoop 云集群部署54-59
• 5.4 多名字節(jié)點 MN-BH 分布式文件系統(tǒng)測試59-62
• 5.4.1 功能測試59-62
• 5.4.2 結(jié)果分析62
• 5.5 NameNode 性能測試與結(jié)果分析62-66
• 5.5.1 NameNode 內(nèi)存占用量測試與分析63
• 5.5.2 NameNode 對小文件存儲性能測試與分析63-65
• 5.5.3 NameNode 對小文件讀取性能測試與分析65-66
• 5.6 本章小結(jié)66-67
• 第6章 結(jié)論67-69
• 參考文獻69-71
• 在學研究成果71-72
• 致謝72

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 唐箭;;云存儲系統(tǒng)的分析與應用研究[J];電腦知識與技術(shù);2009年20期

2 朱頌;;分布式文件系統(tǒng)HDFS的分析[J];福建電腦;2012年04期

3 薛瑩;;基于HDFS存儲服務系統(tǒng)的研究和應用[J];硅谷;2013年01期

4 樂洪超;趙輝;;一種基于HDFS的遠程文件備份系統(tǒng)的設計和實現(xiàn)[J];計算機安全;2013年07期

5 謝峰;;基于Hadoop的云存儲平臺設計研究[J];電子技術(shù)與軟件工程;2013年16期

6 柳平;李春青;姬嬋娟;;基于HDFS的云存儲架構(gòu)模型分析[J];電腦知識與技術(shù);2013年36期

7 劉曉霞;;Hadoop中大量小文件性能優(yōu)化方法研究[J];計算機光盤軟件與應用;2013年18期

8 蔡靜;;Hadoop平臺的研究及其改進[J];計算機光盤軟件與應用;2014年05期

9 趙曉永;楊揚;孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲架構(gòu)[J];計算機應用;2012年06期

10 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計算機學報;2013年05期

  本文關(guān)鍵詞：基于HDFS的名字節(jié)點的性能優(yōu)化技術(shù)研究，由筆耕文化傳播整理發(fā)布。

本文編號：444167