本文關(guān)鍵詞：面向光盤(pán)庫(kù)的HDFS文件系統(tǒng)應(yīng)用研究與實(shí)現(xiàn)

  更多相關(guān)文章： 光盤(pán)庫(kù) 分布式文件系統(tǒng) 小文件 緩存替換策略 I/O調(diào)度

【摘要】：隨著互聯(lián)網(wǎng)時(shí)代的到來(lái)，各種用于提供大數(shù)據(jù)存儲(chǔ)服務(wù)的分布式文件系統(tǒng)應(yīng)運(yùn)而生，HDFS就是其中一個(gè)應(yīng)用非常廣泛的開(kāi)源分布式文件系統(tǒng)。然而，在分布式文件系統(tǒng)中真正有用的熱數(shù)據(jù)只占很少的一部分，其中大部分的冷數(shù)據(jù)在短期內(nèi)都不會(huì)被使用。因此對(duì)這些冷數(shù)據(jù)進(jìn)行歸檔和備份變得非常重要。另一方面，由于光盤(pán)庫(kù)具有數(shù)據(jù)保存時(shí)間長(zhǎng)、成本低、存取速度相對(duì)較好的特點(diǎn)，使得光盤(pán)庫(kù)非常適合作為數(shù)據(jù)的長(zhǎng)期保存介質(zhì)。因此，將光盤(pán)庫(kù)作為第三級(jí)存儲(chǔ)介質(zhì)可以用于解決分布式文件系統(tǒng)冷數(shù)據(jù)的歸檔和備份的問(wèn)題。 為了將光盤(pán)庫(kù)應(yīng)用在HDFS上，首先研究了現(xiàn)有光盤(pán)庫(kù)系統(tǒng)的結(jié)構(gòu)特點(diǎn)，以及光盤(pán)庫(kù)系統(tǒng)中優(yōu)化文件讀寫(xiě)性能的策略，包括緩存替換策略和I/O調(diào)度策略等；也分析了運(yùn)用于數(shù)據(jù)歸檔和備份的磁帶庫(kù)系統(tǒng)的優(yōu)化策略；然后研究了HDFS的具體架構(gòu)，通信方式以及讀寫(xiě)文件的具體過(guò)程；最后在HDFS上實(shí)現(xiàn)了一種光盤(pán)庫(kù)文件管理系統(tǒng)，其中主要包括小文件合并策略、塊文件緩存策略和光盤(pán)庫(kù)I/O調(diào)度策略等三種優(yōu)化策略。 最終通過(guò)設(shè)計(jì)測(cè)試方案，在HDFS集群進(jìn)行了模擬實(shí)驗(yàn)，對(duì)該系統(tǒng)進(jìn)行了功能的測(cè)試和內(nèi)存占用、小文件讀寫(xiě)和大文件讀寫(xiě)等方面的性能測(cè)試，可以發(fā)現(xiàn)該系統(tǒng)基本實(shí)現(xiàn)了數(shù)據(jù)備份和歸檔的功能，，并且通過(guò)優(yōu)化策略使系統(tǒng)的性能有了一定程度的提升。
【關(guān)鍵詞】：光盤(pán)庫(kù) 分布式文件系統(tǒng) 小文件 緩存替換策略 I/O調(diào)度
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333.4
【目錄】：

• 摘要4-5
• Abstract5-8
• 1 緒論8-14
• 1.1 課題背景與研究意義8-9
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀9-13
• 1.3 本文主要思路和內(nèi)容組織13-14
• 2 相關(guān)理論與技術(shù)14-22
• 2.1 光盤(pán)庫(kù)技術(shù)概述14-17
• 2.2 HDFS 文件系統(tǒng)概述17-21
• 2.3 本章小結(jié)21-22
• 3 光盤(pán)庫(kù)文件管理系統(tǒng)的設(shè)計(jì)22-36
• 3.1 系統(tǒng)需求分析22-24
• 3.2 系統(tǒng)總體結(jié)構(gòu)24-26
• 3.3 小文件處理模塊的設(shè)計(jì)26-29
• 3.4 塊文件管理模塊的設(shè)計(jì)29-34
• 3.5 光盤(pán)庫(kù) I/O 調(diào)度模塊的設(shè)計(jì)34-35
• 3.6 本章小結(jié)35-36
• 4 光盤(pán)庫(kù)文件管理系統(tǒng)關(guān)鍵模塊的實(shí)現(xiàn)36-51
• 4.1 小文件處理模塊的實(shí)現(xiàn)36-44
• 4.2 塊文件管理模塊的實(shí)現(xiàn)44-48
• 4.3 光盤(pán)庫(kù) I/O 調(diào)度模塊的實(shí)現(xiàn)48-50
• 4.4 本章小結(jié)50-51
• 5 系統(tǒng)測(cè)試與分析51-59
• 5.1 測(cè)試環(huán)境51-52
• 5.2 測(cè)試方案52-53
• 5.3 測(cè)試及結(jié)果分析53-58
• 5.4 本章小結(jié)58-59
• 6 總結(jié)和展望59-61
• 6.1 全文總結(jié)59
• 6.2 不足與展望59-61
• 致謝61-62
• 參考文獻(xiàn)62-65

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前8條

1 徐俊;王慶華;趙云龍;;基于改進(jìn)HDFS的冠字號(hào)小文件分布式存儲(chǔ)研究[J];電腦知識(shí)與技術(shù);2014年17期

2 徐藝境;欒鐘治;錢(qián)德沛;管剛;謝明;;HDFS集群中功率預(yù)測(cè)控制策略的設(shè)計(jì)與分析[J];計(jì)算機(jī)科學(xué)與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計(jì)算機(jī)應(yīng)用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術(shù)研究或概述[J];科技廣場(chǎng);2012年05期

6 蔣蘇蓉;藍(lán)江橋;楊玉海;;Hadoop框架下的情報(bào)分析大數(shù)據(jù)調(diào)度超時(shí)預(yù)測(cè)方法[J];計(jì)算機(jī)科學(xué);2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲(chǔ)安全技術(shù)分析[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2014年08期

8 ;[J];;年期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前7條

1 霍振奇;基于HDFS的創(chuàng)新知識(shí)存儲(chǔ)及分發(fā)架構(gòu)的研究與設(shè)計(jì)[D];河北工業(yè)大學(xué);2015年

2 袁國(guó)偉;HDFS高可用性方案的研究與設(shè)計(jì)[D];杭州電子科技大學(xué);2015年

3 黃健;基于HDFS安全云存儲(chǔ)模型的研究[D];廣東工業(yè)大學(xué);2016年

4 魏南琛;面向光盤(pán)庫(kù)的HDFS文件系統(tǒng)應(yīng)用研究與實(shí)現(xiàn)[D];華中科技大學(xué);2014年

5 李夢(mèng)楠;基于HDFS的名字節(jié)點(diǎn)的性能優(yōu)化技術(shù)研究[D];沈陽(yáng)工業(yè)大學(xué);2015年

6 儲(chǔ)雅;基于HDFS的氣象云存儲(chǔ)的副本管理策略研究[D];南京信息工程大學(xué);2014年

7 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學(xué);2013年

本文編號(hào)：1077747