發(fā)布時(shí)間：2017-06-14 09:14

  本文關(guān)鍵詞：基于內(nèi)存的HDFS數(shù)據(jù)存儲(chǔ)技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)時(shí)代信息與數(shù)據(jù)的飛速增長(zhǎng),各行各業(yè)的數(shù)據(jù)規(guī)模都可以輕易地達(dá)到GB、TB甚至PB級(jí)。云計(jì)算數(shù)據(jù)處理系統(tǒng)Hadoop應(yīng)運(yùn)而生,其開源社區(qū)資源豐富,用戶廣泛,為各種大數(shù)據(jù)處理提供可靠的、性能可擴(kuò)展的、靈活的計(jì)算環(huán)境。Hadoop數(shù)據(jù)處理平臺(tái)上的大數(shù)據(jù)存儲(chǔ)依賴于底層的分布式文件系統(tǒng)。然而該文件系統(tǒng)支持的存儲(chǔ)介質(zhì)單一,許多工作流的中間數(shù)據(jù)需要進(jìn)行頻繁的磁盤讀寫,這種讀寫開銷不斷增長(zhǎng)影響了整個(gè)數(shù)據(jù)處理過程的效率。本文針對(duì)云環(huán)境下的海量數(shù)據(jù)存儲(chǔ)介質(zhì)單一導(dǎo)致吞吐率較低和數(shù)據(jù)訪問時(shí)延較長(zhǎng)問題,研究基于內(nèi)存的Hadoop分布式文件系統(tǒng)數(shù)據(jù)存儲(chǔ)技術(shù)。本文分析了當(dāng)前分布式文件系統(tǒng)的系統(tǒng)架構(gòu)和數(shù)據(jù)存儲(chǔ)過程,設(shè)計(jì)基于內(nèi)存的分布式文件系統(tǒng)。通過合理分配各個(gè)數(shù)據(jù)節(jié)點(diǎn)上可用的內(nèi)存資源,使得集群中的數(shù)據(jù)節(jié)點(diǎn)可以有效管理一部分內(nèi)存存儲(chǔ)空間,實(shí)現(xiàn)分布式文件系統(tǒng)在進(jìn)行數(shù)據(jù)讀寫操作時(shí)優(yōu)先使用內(nèi)存存儲(chǔ)資源,提高數(shù)據(jù)的讀寫速率,使得整個(gè)系統(tǒng)的數(shù)據(jù)吞吐率隨之提高。并在副本放置過程中,區(qū)分各個(gè)數(shù)據(jù)節(jié)點(diǎn)上內(nèi)存存儲(chǔ)資源與磁盤存儲(chǔ)資源的差異,建立副本放置代價(jià)模型,選取存儲(chǔ)和網(wǎng)絡(luò)傳輸代價(jià)較小的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行副本放置,使得更多的數(shù)據(jù)寫入內(nèi)存中,加快數(shù)據(jù)的讀寫效率。最后本文提出了合理的內(nèi)存數(shù)據(jù)置換方法,設(shè)定合理的觸發(fā)和停止數(shù)據(jù)置換的閾值,設(shè)計(jì)文件熱度計(jì)算與更新算法,在數(shù)據(jù)置換時(shí),將內(nèi)存中熱度較低的文件置換到磁盤中,保證集群中的數(shù)據(jù)節(jié)點(diǎn)上有一定的內(nèi)存可用空間,可以持續(xù)的為用戶提供高吞吐率的數(shù)據(jù)讀寫服務(wù)。本文改進(jìn)現(xiàn)有的HDFS,設(shè)計(jì)開發(fā)基于內(nèi)存的Hadoop分布式文件系統(tǒng),實(shí)現(xiàn)了上述功能。并搭建實(shí)驗(yàn)平臺(tái),通過Hadoop數(shù)據(jù)讀寫基準(zhǔn)測(cè)試與基于磁盤的HDFS進(jìn)行性能測(cè)試對(duì)比。實(shí)驗(yàn)結(jié)果表明,基于內(nèi)存的HDFS數(shù)據(jù)存儲(chǔ)系統(tǒng)能有效提高數(shù)據(jù)訪問速率和系統(tǒng)的數(shù)據(jù)吞吐率,具有明顯性能優(yōu)勢(shì)。
【關(guān)鍵詞】：HDFS 內(nèi)存存儲(chǔ) 副本放置 文件置換
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第1章 引言9-15
• 1.1 研究背景9-10
• 1.2 研究現(xiàn)狀10-13
• 1.2.1 云環(huán)境下的數(shù)據(jù)處理系統(tǒng)研究現(xiàn)狀10-11
• 1.2.2 云環(huán)境下的基于內(nèi)存的數(shù)據(jù)處理系統(tǒng)研究現(xiàn)狀11
• 1.2.3 云環(huán)境下Hadoop分布式文件系統(tǒng)研究現(xiàn)狀11-12
• 1.2.4 研究現(xiàn)狀總結(jié)12-13
• 1.3 論文研究目標(biāo)與意義13
• 1.4 論文研究?jī)?nèi)容13-14
• 1.5 論文組織結(jié)構(gòu)14-15
• 第2章 Hadoop分布式文件系統(tǒng)介紹15-24
• 2.1 HDFS的基本框架15-17
• 2.1.1 主從分布式結(jié)構(gòu)15-16
• 2.1.2 HDFS文件存儲(chǔ)組織16-17
• 2.2 數(shù)據(jù)讀寫過程17-20
• 2.2.1 數(shù)據(jù)讀取過程17-18
• 2.2.2 數(shù)據(jù)寫入過程18-20
• 2.3 HDFS多副本存儲(chǔ)放置策略20-23
• 2.3.1 數(shù)據(jù)塊多副本存儲(chǔ)策略20-21
• 2.3.2 數(shù)據(jù)塊多副本放置策略21-22
• 2.3.3 副本重新創(chuàng)建過程22-23
• 2.4 小結(jié)23-24
• 第3章 內(nèi)存存儲(chǔ)資源分配與管理24-29
• 3.1 內(nèi)存存儲(chǔ)資源分配24-26
• 3.1.1 合理分配各節(jié)點(diǎn)的內(nèi)存資源24-25
• 3.1.2 配置可用內(nèi)存空間25-26
• 3.2 內(nèi)存存儲(chǔ)資源管理26-28
• 3.2.1 數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)管理結(jié)構(gòu)26-27
• 3.2.2 數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)路徑選擇策略27-28
• 3.3 小結(jié)28-29
• 第4章 內(nèi)存存儲(chǔ)的副本放置優(yōu)化策略29-35
• 4.1 副本放置代價(jià)模型29-30
• 4.2 按機(jī)架分層的副本放置節(jié)點(diǎn)選擇策略30-34
• 4.2.1 按機(jī)架分層分配副本放置節(jié)點(diǎn)數(shù)量30-31
• 4.2.2 按機(jī)架分層選擇副本放置節(jié)點(diǎn)過程31-34
• 4.3 小結(jié)34-35
• 第5章 內(nèi)存存儲(chǔ)數(shù)據(jù)置換方法35-42
• 5.1 數(shù)據(jù)置換閾值設(shè)置35-36
• 5.1.1 觸發(fā)數(shù)據(jù)置換的閾值35-36
• 5.1.2 停止數(shù)據(jù)置換的閾值36
• 5.2 文件熱度的計(jì)算與更新36-39
• 5.2.1 文件熱度計(jì)算方法36-37
• 5.2.2 文件熱度更新方法37-39
• 5.3 基于文件熱度的數(shù)據(jù)置換過程39-40
• 5.4 小結(jié)40-42
• 第6章 系統(tǒng)性能分析42-51
• 6.1 基于內(nèi)存的HDFS系統(tǒng)框架42-43
• 6.2 實(shí)驗(yàn)環(huán)境43
• 6.2.1 硬件環(huán)境43
• 6.2.2 軟件環(huán)境43
• 6.3 性能對(duì)比43-50
• 6.3.1 單節(jié)點(diǎn)上的性能對(duì)比43-45
• 6.3.2 多節(jié)點(diǎn)上的性能對(duì)比45-50
• 6.4 小結(jié)50-51
• 第7章 總結(jié)與展望51-53
• 7.1 論文總結(jié)51
• 7.2 展望51-53
• 參考文獻(xiàn)53-55
• 致謝55-56
• 附錄56-59
• 作者簡(jiǎn)歷59-60
• 攻讀碩士學(xué)位期間相關(guān)研究工作60

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 冷星雨;小議多內(nèi)存混插[J];電腦愛好者;2001年17期

2 陵仲;多內(nèi)存混插注意事項(xiàng)和解決方法[J];廣東電腦與電訊;2002年01期

3 ;如何混用新舊內(nèi)存[J];計(jì)算機(jī)與網(wǎng)絡(luò);2002年04期

4 張菲;;不同品牌內(nèi)存混插注意事項(xiàng)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2007年12期

5 賈保民;節(jié)約內(nèi)存資源六法[J];計(jì)算機(jī)時(shí)代;2001年01期

6 張巖;;下一代內(nèi)存技術(shù)面面觀[J];個(gè)人電腦;2008年02期

7 友文;;用閑置內(nèi)存加速本本[J];電腦知識(shí)與技術(shù)(經(jīng)驗(yàn)技巧);2010年10期

8 Jaro;內(nèi)存清潔師招聘記[J];電腦愛好者;2002年05期

9 ;最新15種QQ技術(shù)以及小秘密[J];計(jì)算機(jī)與網(wǎng)絡(luò);2012年02期

10 Bob Kane ,黃強(qiáng);為聯(lián)網(wǎng)創(chuàng)造更多的空間[J];電子與電腦;1996年08期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前2條

1 王瑋;楊正球;;局域網(wǎng)內(nèi)存共享管理方案[A];2005通信理論與技術(shù)新進(jìn)展——第十屆全國青年通信學(xué)術(shù)會(huì)議論文集[C];2005年

2 賴生建;王秉中;;共享內(nèi)存系統(tǒng)中不交換數(shù)據(jù)的并行FDTD計(jì)算[A];2009年全國天線年會(huì)論文集（上）[C];2009年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 ;Windows中提高內(nèi)存使用效率的幾種技巧[N];中國國門時(shí)報(bào);2007年

2 于海軍;內(nèi)存也需要保潔[N];中國電腦教育報(bào);2003年

3 錢正剛;提高內(nèi)存使用效能的幾種方法[N];中國電腦教育報(bào);2004年

4 ;QQ為何如此耗費(fèi)資源[N];電腦報(bào);2005年

5 安徽 高偉;妙法節(jié)省QQ占用的內(nèi)存資源[N];電腦報(bào);2003年

6 本報(bào)記者 丁偉;IBM eX5架構(gòu)再造x86服務(wù)器[N];計(jì)算機(jī)世界;2010年

7 陽光三月;三招教你釋放手機(jī)內(nèi)存[N];中國計(jì)算機(jī)報(bào);2004年

8 江西 練兵;ReadyBoost 微軟的新“畫餅”？[N];中國電腦教育報(bào);2007年

9 陽光三月;巧妙“解放”手機(jī)內(nèi)存[N];電腦報(bào);2005年

10 陽光三月;巧妙解放手機(jī)內(nèi)存[N];中國電腦教育報(bào);2005年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 郭剛;內(nèi)存云分級(jí)混合存儲(chǔ)架構(gòu)數(shù)據(jù)遷移策略[D];新疆大學(xué);2016年

2 錢雪嬌;基于內(nèi)存的HDFS數(shù)據(jù)存儲(chǔ)技術(shù)研究[D];東南大學(xué);2015年

3 林振立;云計(jì)算環(huán)境下的內(nèi)存資源共享技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

4 王柳峰;基于虛擬化的云計(jì)算平臺(tái)內(nèi)存資源協(xié)同共享技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

5 劉蘭崢;虛擬化云平臺(tái)下內(nèi)存資源按需分配與協(xié)同調(diào)度方法的研究[D];國防科學(xué)技術(shù)大學(xué);2013年

6 張辰;Map/Reduce型海量數(shù)據(jù)處理平臺(tái)中內(nèi)存資源動(dòng)態(tài)分配關(guān)鍵技術(shù)研究[D];北京工業(yè)大學(xué);2015年

7 張鵬飛;基于虛擬計(jì)算環(huán)境的內(nèi)存資源彈性分配研究[D];國防科學(xué)技術(shù)大學(xué);2013年

  本文關(guān)鍵詞：基于內(nèi)存的HDFS數(shù)據(jù)存儲(chǔ)技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：449092