【摘要】：云計(jì)算機(jī)系統(tǒng)是一種分布式系統(tǒng),分布式計(jì)算是云計(jì)算的基礎(chǔ)模型。通常用分布式存儲(chǔ)系統(tǒng)來支撐高效的分布式計(jì)算,而常用的數(shù)據(jù)復(fù)制技術(shù),例如三副本策略、糾刪碼技術(shù),都可以用來提高分布式系統(tǒng)的可靠性、可用性以及擴(kuò)展性。HDFS(Hadoop Distributed File System)是由Apache基金會(huì)開發(fā)的分布式文件系統(tǒng)。HDFS存儲(chǔ)系統(tǒng)的三副本策略會(huì)占用大量的存儲(chǔ)資源并有可能耗光所有存儲(chǔ)空間,數(shù)據(jù)因熱度增加導(dǎo)致需求增加,固定的副本策略無法無法維持?jǐn)?shù)據(jù)的高可用性,并且會(huì)使得節(jié)點(diǎn)負(fù)載失衡。系統(tǒng)采用糾刪碼技術(shù)來解決存儲(chǔ)系統(tǒng)資源消耗過多過快的問題,但需要消耗大量的網(wǎng)絡(luò)帶寬去和數(shù)據(jù)節(jié)點(diǎn)交互,下載恢復(fù)文件所需的數(shù)據(jù)塊,對(duì)數(shù)據(jù)塊進(jìn)行解碼操作恢復(fù)成原數(shù)據(jù)的過程中,都需要消耗CPU資源、內(nèi)存資源,資源消耗代價(jià)較高。為了解決HDFS存儲(chǔ)系統(tǒng)中出現(xiàn)的問題,本文進(jìn)行了相關(guān)研究。本文主要貢獻(xiàn)如下:首先,根據(jù)副本調(diào)度影響因子,包括文件的熱度值、靜態(tài)影響因子,也考慮到文件的可用系數(shù),設(shè)計(jì)了動(dòng)態(tài)副本調(diào)度算法。通過分析副本調(diào)度影響因子,來求出副本需求數(shù)量,通過與現(xiàn)有副本數(shù)進(jìn)行比較,進(jìn)行動(dòng)態(tài)調(diào)整,以適應(yīng)因數(shù)據(jù)熱度變化帶來的副本需求變化。通過動(dòng)態(tài)調(diào)節(jié)副本數(shù)量提高節(jié)點(diǎn)的可用性,依據(jù)文件的可用性,在節(jié)點(diǎn)過載時(shí),主動(dòng)增加節(jié)點(diǎn)來放置副本,保持了文件的高可用性,又保持了系統(tǒng)的負(fù)載平衡。當(dāng)系統(tǒng)較空閑時(shí),現(xiàn)有副本數(shù)大于需求的副本數(shù),通過減少副本數(shù),從而減少了資源的消耗,提供了系統(tǒng)資源的利用率。其次,為了解決好糾刪碼恢復(fù)數(shù)據(jù)塊帶來資源消耗代價(jià)較高的問題,本文通過對(duì)影響數(shù)據(jù)讀取時(shí)延、影響系統(tǒng)負(fù)載平衡的各種性能指標(biāo)進(jìn)行分析,找出具有代表性的指標(biāo)——系統(tǒng)吞吐量,并通過對(duì)節(jié)點(diǎn)的負(fù)載進(jìn)行判斷,而設(shè)計(jì)了多用戶請(qǐng)求調(diào)度算法。該調(diào)度算法能夠有效降低存儲(chǔ)系統(tǒng)中用糾刪碼編碼文件獲得的平均時(shí)延,達(dá)到負(fù)載平衡優(yōu)化的目的,還能夠提高數(shù)據(jù)獲取的穩(wěn)定性,給用戶更好的體驗(yàn)。最后,在HDFS分布式文件系統(tǒng)的基礎(chǔ)上,采用了副本和糾刪碼混合存儲(chǔ)策略。該策略采用糾刪碼技術(shù)提高了數(shù)據(jù)安全性,降低了存儲(chǔ)成本;采用動(dòng)態(tài)副本策略來調(diào)節(jié)分布式集群運(yùn)行時(shí)對(duì)節(jié)點(diǎn)資源的利用,調(diào)節(jié)系統(tǒng)負(fù)載平衡,使數(shù)據(jù)保持高可用性。通過實(shí)驗(yàn)分析,本文采用的混合存儲(chǔ)策略與HDFS原有的三副本策略相比,有更強(qiáng)的負(fù)載均衡能力、降低了存儲(chǔ)成本、提高了安全性,使數(shù)據(jù)處于高可用狀態(tài)。
【圖文】：

圖 2.3 集群存儲(chǔ)系統(tǒng)中數(shù)據(jù)復(fù)制模型的模塊組成2.5 本章小結(jié)本章介紹了數(shù)據(jù)復(fù)制相關(guān)的一些概念和技術(shù)，數(shù)據(jù)復(fù)制是一種增強(qiáng)系統(tǒng)性能的技術(shù)，可以提高系統(tǒng)的可用性，具有容錯(cuò)性。HDFS 存儲(chǔ)系統(tǒng)中數(shù)據(jù)復(fù)制相關(guān)技術(shù)，HDFS 存儲(chǔ)系統(tǒng)由一個(gè) NameNode 和若干 DataNode 組成，系統(tǒng)采用多數(shù)據(jù)副本策略來存放熱點(diǎn)數(shù)據(jù)，而采用糾刪碼來存儲(chǔ)冷門數(shù)據(jù)作為 HDFS 系統(tǒng)的一種存儲(chǔ)補(bǔ)充。對(duì) HDFS 存儲(chǔ)系統(tǒng)中副本存儲(chǔ)策略和糾刪碼策略進(jìn)行分析比較。最后對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行劃分，本章采用數(shù)據(jù)的訪問頻度來區(qū)分熱冷結(jié)點(diǎn)。

MICS 將一個(gè)數(shù)據(jù)對(duì)象進(jìn)行兩種形式的存儲(chǔ)，，一種用糾刪碼。MICS 的糾刪碼部分引入了編碼和譯碼模塊數(shù)據(jù)塊(block)進(jìn)行編碼，生成更多數(shù)量的數(shù)據(jù)分片( se中的隨機(jī)數(shù)據(jù)節(jié)點(diǎn)上，比三副本策略具有更好的容災(zāi)能的情況下，收集與失效數(shù)據(jù)塊相關(guān)的數(shù)據(jù)分片總量中任標(biāo)數(shù)據(jù)節(jié)點(diǎn)上進(jìn)行恢復(fù)操作，恢復(fù)成完整的原始數(shù)據(jù)。群運(yùn)行情況以及對(duì)副本數(shù)目需求的不同采用動(dòng)態(tài)副本策，MICS 與原 HDFS 實(shí)驗(yàn)比較得出，MICS 在容災(zāi)效率及安全性上對(duì) HDFS 作了相應(yīng)的優(yōu)化。5.2 MICS 系統(tǒng)實(shí)現(xiàn)副本存儲(chǔ)
【學(xué)位授予單位】：昆明理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 宋寶燕;王俊陸;王妍;;基于范德蒙碼的HDFS優(yōu)化存儲(chǔ)策略研究[J];計(jì)算機(jī)學(xué)報(bào);2015年09期

2 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計(jì)算機(jī)學(xué)報(bào);2013年05期

3 郭向陽(yáng);;基于數(shù)據(jù)庫(kù)復(fù)制技術(shù)的數(shù)據(jù)交換平臺(tái)研究與實(shí)現(xiàn)[J];計(jì)算機(jī)與現(xiàn)代化;2011年08期

4 熊潤(rùn)群;羅軍舟;宋愛波;金嘉暉;;云計(jì)算環(huán)境下QoS偏好感知的副本選擇策略[J];通信學(xué)報(bào);2011年07期

5 羅軍舟;金嘉暉;宋愛波;東方;;云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J];通信學(xué)報(bào);2011年07期

6 孫金津;朱玉全;陳耿;;基于重復(fù)熱點(diǎn)數(shù)據(jù)的CF廣播結(jié)構(gòu)改進(jìn)算法[J];計(jì)算機(jī)應(yīng)用研究;2010年12期

7 付雄;王汝傳;鄧松;;數(shù)據(jù)網(wǎng)格中一種啟發(fā)式副本放置算法[J];系統(tǒng)工程與電子技術(shù);2010年07期

8 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

9 劉德輝;周寧;尹剛;王懷民;鄒鵬;;QFMA:一種支持負(fù)載均衡的多屬性資源定位方法[J];計(jì)算機(jī)學(xué)報(bào);2008年08期

10 鄭靜,盧錫城,王意潔;移動(dòng)自組網(wǎng)中基于分簇的數(shù)據(jù)復(fù)制算法(英文)[J];軟件學(xué)報(bào);2005年08期

相關(guān)博士學(xué)位論文 前1條

1 孫海燕;數(shù)據(jù)網(wǎng)格副本管理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 梁成良;基于HDFS的輕量級(jí)數(shù)據(jù)安全存儲(chǔ)的研究[D];南京郵電大學(xué);2017年

2 劉文杰;云存儲(chǔ)系統(tǒng)中數(shù)據(jù)復(fù)制研究[D];南京郵電大學(xué);2017年

3 趙磊;基于HDFS默認(rèn)副本選擇機(jī)制的改進(jìn)和實(shí)現(xiàn)[D];北京交通大學(xué);2017年

4 管仲洋;基于糾刪碼的分布式文件系統(tǒng)數(shù)據(jù)塊管理技術(shù)研究[D];電子科技大學(xué);2017年

5 張程;基于HDFS的文件存儲(chǔ)與讀取的優(yōu)化策略研究與應(yīng)用[D];北京工業(yè)大學(xué);2016年

6 李元超;面向冷數(shù)據(jù)存儲(chǔ)的分布式編碼技術(shù)研究與實(shí)現(xiàn)[D];華中科技大學(xué);2016年

7 崔園;基于HDFS的分布式存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

8 孟密密;基于HDFS的文件管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東南大學(xué);2016年

9 程名;面向海量數(shù)據(jù)的分布式文件系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)[D];華中科技大學(xué);2010年

10 葛建清;異質(zhì)結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)動(dòng)態(tài)副本訪問負(fù)載均衡策略研究[D];華東師范大學(xué);2010年

本文編號(hào)：2597782