發(fā)布時間：2017-10-22 09:20

  本文關(guān)鍵詞：面向光盤庫的HDFS文件系統(tǒng)應(yīng)用研究與實現(xiàn)

  更多相關(guān)文章： 光盤庫 分布式文件系統(tǒng) 小文件 緩存替換策略 I/O調(diào)度

【摘要】：隨著互聯(lián)網(wǎng)時代的到來，各種用于提供大數(shù)據(jù)存儲服務(wù)的分布式文件系統(tǒng)應(yīng)運而生，HDFS就是其中一個應(yīng)用非常廣泛的開源分布式文件系統(tǒng)。然而，在分布式文件系統(tǒng)中真正有用的熱數(shù)據(jù)只占很少的一部分，其中大部分的冷數(shù)據(jù)在短期內(nèi)都不會被使用。因此對這些冷數(shù)據(jù)進行歸檔和備份變得非常重要。另一方面，由于光盤庫具有數(shù)據(jù)保存時間長、成本低、存取速度相對較好的特點，使得光盤庫非常適合作為數(shù)據(jù)的長期保存介質(zhì)。因此，將光盤庫作為第三級存儲介質(zhì)可以用于解決分布式文件系統(tǒng)冷數(shù)據(jù)的歸檔和備份的問題。 為了將光盤庫應(yīng)用在HDFS上，首先研究了現(xiàn)有光盤庫系統(tǒng)的結(jié)構(gòu)特點，以及光盤庫系統(tǒng)中優(yōu)化文件讀寫性能的策略，包括緩存替換策略和I/O調(diào)度策略等；也分析了運用于數(shù)據(jù)歸檔和備份的磁帶庫系統(tǒng)的優(yōu)化策略；然后研究了HDFS的具體架構(gòu)，通信方式以及讀寫文件的具體過程；最后在HDFS上實現(xiàn)了一種光盤庫文件管理系統(tǒng)，其中主要包括小文件合并策略、塊文件緩存策略和光盤庫I/O調(diào)度策略等三種優(yōu)化策略。 最終通過設(shè)計測試方案，在HDFS集群進行了模擬實驗，對該系統(tǒng)進行了功能的測試和內(nèi)存占用、小文件讀寫和大文件讀寫等方面的性能測試，可以發(fā)現(xiàn)該系統(tǒng)基本實現(xiàn)了數(shù)據(jù)備份和歸檔的功能，，并且通過優(yōu)化策略使系統(tǒng)的性能有了一定程度的提升。
【關(guān)鍵詞】：光盤庫 分布式文件系統(tǒng) 小文件 緩存替換策略 I/O調(diào)度
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333.4
【目錄】：

• 摘要4-5
• Abstract5-8
• 1 緒論8-14
• 1.1 課題背景與研究意義8-9
• 1.2 國內(nèi)外研究現(xiàn)狀9-13
• 1.3 本文主要思路和內(nèi)容組織13-14
• 2 相關(guān)理論與技術(shù)14-22
• 2.1 光盤庫技術(shù)概述14-17
• 2.2 HDFS 文件系統(tǒng)概述17-21
• 2.3 本章小結(jié)21-22
• 3 光盤庫文件管理系統(tǒng)的設(shè)計22-36
• 3.1 系統(tǒng)需求分析22-24
• 3.2 系統(tǒng)總體結(jié)構(gòu)24-26
• 3.3 小文件處理模塊的設(shè)計26-29
• 3.4 塊文件管理模塊的設(shè)計29-34
• 3.5 光盤庫 I/O 調(diào)度模塊的設(shè)計34-35
• 3.6 本章小結(jié)35-36
• 4 光盤庫文件管理系統(tǒng)關(guān)鍵模塊的實現(xiàn)36-51
• 4.1 小文件處理模塊的實現(xiàn)36-44
• 4.2 塊文件管理模塊的實現(xiàn)44-48
• 4.3 光盤庫 I/O 調(diào)度模塊的實現(xiàn)48-50
• 4.4 本章小結(jié)50-51
• 5 系統(tǒng)測試與分析51-59
• 5.1 測試環(huán)境51-52
• 5.2 測試方案52-53
• 5.3 測試及結(jié)果分析53-58
• 5.4 本章小結(jié)58-59
• 6 總結(jié)和展望59-61
• 6.1 全文總結(jié)59
• 6.2 不足與展望59-61
• 致謝61-62
• 參考文獻(xiàn)62-65

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前8條

1 徐俊;王慶華;趙云龍;;基于改進HDFS的冠字號小文件分布式存儲研究[J];電腦知識與技術(shù);2014年17期

2 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預(yù)測控制策略的設(shè)計與分析[J];計算機科學(xué)與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計算機應(yīng)用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計算機技術(shù)與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術(shù)研究或概述[J];科技廣場;2012年05期

6 蔣蘇蓉;藍(lán)江橋;楊玉海;;Hadoop框架下的情報分析大數(shù)據(jù)調(diào)度超時預(yù)測方法[J];計算機科學(xué);2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲安全技術(shù)分析[J];計算機光盤軟件與應(yīng)用;2014年08期

8 ;[J];;年期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 霍振奇;基于HDFS的創(chuàng)新知識存儲及分發(fā)架構(gòu)的研究與設(shè)計[D];河北工業(yè)大學(xué);2015年

2 袁國偉;HDFS高可用性方案的研究與設(shè)計[D];杭州電子科技大學(xué);2015年

3 黃健;基于HDFS安全云存儲模型的研究[D];廣東工業(yè)大學(xué);2016年

4 魏南琛;面向光盤庫的HDFS文件系統(tǒng)應(yīng)用研究與實現(xiàn)[D];華中科技大學(xué);2014年

5 李夢楠;基于HDFS的名字節(jié)點的性能優(yōu)化技術(shù)研究[D];沈陽工業(yè)大學(xué);2015年

6 儲雅;基于HDFS的氣象云存儲的副本管理策略研究[D];南京信息工程大學(xué);2014年

7 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學(xué);2013年

本文編號：1077747