本文關(guān)鍵詞：基于HDFS的名字節(jié)點(diǎn)的性能優(yōu)化技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：如今是大數(shù)據(jù)的時(shí)代。面對(duì)日益增長的海量多樣的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)技術(shù)已經(jīng)無法滿足這樣的大數(shù)據(jù)存儲(chǔ)需求。Hadoop分布式文件系統(tǒng)的出現(xiàn)，解決了大數(shù)據(jù)存儲(chǔ)的難題。由于Hadoop分布式文件系統(tǒng)HDFS（Hadoop Distributed File System）采用一主多從的架構(gòu)，存在著名字節(jié)點(diǎn)單點(diǎn)失效問題；并且在存儲(chǔ)海量的小文件時(shí)，會(huì)嚴(yán)重降低名字節(jié)點(diǎn)的存儲(chǔ)性能，同時(shí)引發(fā)名字節(jié)點(diǎn)的內(nèi)存瓶頸問題。對(duì)名字節(jié)點(diǎn)性能優(yōu)化的研究，為解決大數(shù)據(jù)處理與存儲(chǔ)難題有著重要的探索價(jià)值和實(shí)際意義。 課題對(duì)名字節(jié)點(diǎn)的性能優(yōu)化進(jìn)行了深入的分析與研究。針對(duì)名字節(jié)點(diǎn)單點(diǎn)失效問題，本課題采用MN-BH分布式文件系統(tǒng)結(jié)構(gòu)，優(yōu)化了原有的云存儲(chǔ)平臺(tái)。若主名字節(jié)點(diǎn)服務(wù)器因故障宕機(jī)，可以及時(shí)啟動(dòng)另一從名字節(jié)點(diǎn)服務(wù)器，確保Hadoop集群正常服務(wù)。為了提高名字節(jié)點(diǎn)對(duì)海量小文件的存儲(chǔ)性能，解決小文件引發(fā)的單點(diǎn)內(nèi)存瓶頸問題，本課題提出了HSFM小文件存儲(chǔ)優(yōu)化算法。待上傳的小文件經(jīng)預(yù)處理層進(jìn)行處理，即將海量的小文件歸并成一個(gè)大文件，然后持久化地存儲(chǔ)在各個(gè)DataNode節(jié)點(diǎn)中，從源頭解決了小文件引發(fā)的名字節(jié)點(diǎn)內(nèi)存瓶頸問題。該算法可有效地減輕名字節(jié)點(diǎn)內(nèi)存負(fù)擔(dān)，大大提高名字節(jié)點(diǎn)讀寫文件的性能。 對(duì)名字節(jié)點(diǎn)的性能優(yōu)化分析后，本課題給出了名字節(jié)點(diǎn)性能優(yōu)化的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。最后，測試優(yōu)化后的HDFS分布式文件系統(tǒng)，模擬主NameNode服務(wù)器宕機(jī)，啟用待命從NameNode服務(wù)器，HDFS中數(shù)據(jù)文件沒有丟失，，確保整個(gè)Hadoop服務(wù)器集群正常運(yùn)行，測試達(dá)到了預(yù)期效果。測試優(yōu)化后名字節(jié)點(diǎn)性能，設(shè)計(jì)了三組實(shí)驗(yàn)，即：NameNode內(nèi)存占用量測試、小文件存儲(chǔ)性能測試、小文件讀取性能測試。實(shí)驗(yàn)結(jié)果表明，優(yōu)化設(shè)計(jì)可以大大地減少名字節(jié)點(diǎn)內(nèi)存占用量；文件讀寫速度較優(yōu)化前速度的2-3倍。分析測試后的實(shí)驗(yàn)數(shù)據(jù)，達(dá)到了預(yù)期測試效果。
【關(guān)鍵詞】：HDFS 名字節(jié)點(diǎn) 小文件 分布式文件系統(tǒng)
【學(xué)位授予單位】：沈陽工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-10
• 第1章 緒論10-15
• 1.1 課題研究背景與意義10-11
• 1.2 研究現(xiàn)狀11-13
• 1.2.1 名字節(jié)點(diǎn)恢復(fù)技術(shù)的相關(guān)研究11-12
• 1.2.2 名字節(jié)點(diǎn)內(nèi)存優(yōu)化技術(shù)的相關(guān)研究12-13
• 1.3 主要研究內(nèi)容13
• 1.4 論文結(jié)構(gòu)13-15
• 第2章 相關(guān)技術(shù)分析與研究15-28
• 2.1 云計(jì)算15
• 2.2 云存儲(chǔ)概述15-16
• 2.3 云存儲(chǔ)與云計(jì)算的關(guān)系16-17
• 2.4 Hadoop 分布式文件系統(tǒng)17-27
• 2.4.1 HDFS 概述17-20
• 2.4.2 NameNode 功能分析20-23
• 2.4.3 DataNode 功能分析23-27
• 2.5 本章小結(jié)27-28
• 第3章 NameNode 節(jié)點(diǎn)優(yōu)化分析28-37
• 3.1 NameNode 存在問題的分析28-29
• 3.1.1 節(jié)點(diǎn)失效28
• 3.1.2 單點(diǎn)內(nèi)存瓶頸28-29
• 3.2 NameNode 節(jié)點(diǎn)失效優(yōu)化分析29-33
• 3.2.1 MN-BH 優(yōu)化策略29-30
• 3.2.2 NameNode 啟動(dòng)過程30-31
• 3.2.3 優(yōu)化后 NameNode 啟動(dòng)過程31-32
• 3.2.4 優(yōu)化后元數(shù)據(jù)處理流程32-33
• 3.3 NameNode 節(jié)點(diǎn)內(nèi)存瓶頸優(yōu)化分析33-36
• 3.3.1 HSFM 的優(yōu)化策略34-35
• 3.3.2 小文件優(yōu)化存儲(chǔ)流程35
• 3.3.3 小文件優(yōu)化讀取流程35-36
• 3.4 本章小結(jié)36-37
• 第4章 NameNode 節(jié)點(diǎn)優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)37-54
• 4.1 多名字節(jié)點(diǎn) MN-BH 優(yōu)化設(shè)計(jì)37-41
• 4.1.1 總體架構(gòu)設(shè)計(jì)37
• 4.1.2 功能分析37-40
• 4.1.3 名字節(jié)點(diǎn)間元數(shù)據(jù)同步設(shè)計(jì)40-41
• 4.2 多名字節(jié)點(diǎn)間的元數(shù)據(jù)同步實(shí)現(xiàn)41-43
• 4.2.1 N2 服務(wù)端元數(shù)據(jù)同步實(shí)現(xiàn)41-42
• 4.2.2 N1 客服端 mount 掛接實(shí)現(xiàn)42-43
• 4.3 基于 HSFM 的名字節(jié)點(diǎn)性能優(yōu)化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)43-48
• 4.3.1 總體架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)43-44
• 4.3.2 處理層架構(gòu)實(shí)現(xiàn)44-45
• 4.3.3 系統(tǒng)功能實(shí)現(xiàn)45-48
• 4.4 HSFM 優(yōu)化算法48-52
• 4.4.1 數(shù)據(jù)的 I/O 序列化操作48-49
• 4.4.2 HSFM 優(yōu)化算法實(shí)現(xiàn)49-52
• 4.5 本章小結(jié)52-54
• 第5章 NameNode 節(jié)點(diǎn)優(yōu)化測試與分析54-67
• 5.1 硬件環(huán)境54
• 5.2 軟件環(huán)境54
• 5.3 Hadoop 云集群部署54-59
• 5.4 多名字節(jié)點(diǎn) MN-BH 分布式文件系統(tǒng)測試59-62
• 5.4.1 功能測試59-62
• 5.4.2 結(jié)果分析62
• 5.5 NameNode 性能測試與結(jié)果分析62-66
• 5.5.1 NameNode 內(nèi)存占用量測試與分析63
• 5.5.2 NameNode 對(duì)小文件存儲(chǔ)性能測試與分析63-65
• 5.5.3 NameNode 對(duì)小文件讀取性能測試與分析65-66
• 5.6 本章小結(jié)66-67
• 第6章 結(jié)論67-69
• 參考文獻(xiàn)69-71
• 在學(xué)研究成果71-72
• 致謝72

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 唐箭;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];電腦知識(shí)與技術(shù);2009年20期

2 朱頌;;分布式文件系統(tǒng)HDFS的分析[J];福建電腦;2012年04期

3 薛瑩;;基于HDFS存儲(chǔ)服務(wù)系統(tǒng)的研究和應(yīng)用[J];硅谷;2013年01期

4 樂洪超;趙輝;;一種基于HDFS的遠(yuǎn)程文件備份系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J];計(jì)算機(jī)安全;2013年07期

5 謝峰;;基于Hadoop的云存儲(chǔ)平臺(tái)設(shè)計(jì)研究[J];電子技術(shù)與軟件工程;2013年16期

6 柳平;李春青;姬嬋娟;;基于HDFS的云存儲(chǔ)架構(gòu)模型分析[J];電腦知識(shí)與技術(shù);2013年36期

7 劉曉霞;;Hadoop中大量小文件性能優(yōu)化方法研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年18期

8 蔡靜;;Hadoop平臺(tái)的研究及其改進(jìn)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2014年05期

9 趙曉永;楊揚(yáng);孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲(chǔ)架構(gòu)[J];計(jì)算機(jī)應(yīng)用;2012年06期

10 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計(jì)算機(jī)學(xué)報(bào);2013年05期

  本文關(guān)鍵詞：基于HDFS的名字節(jié)點(diǎn)的性能優(yōu)化技術(shù)研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：444167