隨著科學(xué)技術(shù)的快速發(fā)展,云計算、社會網(wǎng)絡(luò)、物聯(lián)網(wǎng)等新興技術(shù)為人們的工作以及日常生活帶來了巨大的方便,與此同時數(shù)據(jù)的數(shù)量和類型也呈現(xiàn)爆炸式的增長。隨著大數(shù)據(jù)時代的到來,云存儲系統(tǒng)憑借其強(qiáng)大的數(shù)據(jù)管理與存儲能力越來越受到用戶的重視。為提高云存儲系統(tǒng)的可靠性、可擴(kuò)展性以及安全性等,副本技術(shù)被廣泛采用。HDFS(Hadoop Distributed File System)作為Hadoop的分布式文件系統(tǒng)具有強(qiáng)大的數(shù)據(jù)存儲與管理能力。HDFS的副本管理機(jī)制可以提高云存儲數(shù)據(jù)的可用性,同時也提高了云存儲系統(tǒng)的可靠性、讀取效率以及負(fù)載均衡等。但是,HDFS采用的靜態(tài)副本管理機(jī)制也存在一些缺陷:(1)在可靠性要求高的云存儲系統(tǒng)中,存儲大量副本提高了系統(tǒng)數(shù)據(jù)存儲與維護(hù)成本。(2)由于云存儲系統(tǒng)由大量廉價的節(jié)點組成,節(jié)點失效是常態(tài),HDFS副本管理機(jī)制隨機(jī)選擇副本存放位置,未考慮數(shù)據(jù)節(jié)點的負(fù)載情況以及數(shù)據(jù)訪問量動態(tài)變化,因此影響云存儲系統(tǒng)的負(fù)載均衡。為了解決這些問題,本文提出了一種動態(tài)副本管理機(jī)制DRMS(Dynamic Replica Management Scheme)。本文的主要研究內(nèi)容包括:(1)本文根據(jù)數(shù)據(jù)的可用性與副本數(shù)目之間的關(guān)系,動態(tài)計算與維護(hù)滿足副本可用性要求下的最小副本數(shù)目,有效地節(jié)省云存儲系統(tǒng)的存儲空間。(2)為了提高系統(tǒng)的性能與平衡負(fù)載,本文采用動態(tài)副本放置機(jī)制,采用三種副本放置策略以適應(yīng)不同的階段與應(yīng)用場景。在副本的創(chuàng)建階段,采用面向用戶的數(shù)據(jù)副本放置策略。在副本運(yùn)行階段,本文采用面向業(yè)務(wù)的副本放置策略,采用此策略可以滿足大多數(shù)的請求者,從而保證系統(tǒng)與數(shù)據(jù)的高利用率。(3)副本調(diào)整策略可以節(jié)省系統(tǒng)的存儲空間并且減少系統(tǒng)的維護(hù)成本。本文利用灰度預(yù)測模型,通過最近數(shù)據(jù)訪問情況動態(tài)預(yù)測未來數(shù)據(jù)塊的訪問熱度,并且動態(tài)的調(diào)整數(shù)據(jù)副本。如果數(shù)據(jù)塊訪問熱度增加,動態(tài)的增加副本的數(shù)目;如果數(shù)據(jù)塊訪問量減少,則使用最近最少訪問策略刪除多余的副本,從而節(jié)省云存儲系統(tǒng)的存儲空間。
【學(xué)位單位】：鄭州大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP333
【部分圖文】：

4 實驗設(shè)計及性能分析1iMjijjpr （4.3）數(shù)據(jù)節(jié)點 Si的平均服務(wù)時間可由（4.4）計算所得，其中j 表示訪問數(shù)據(jù)塊訪問延遲時間。11iMi jijtM （4.4）因此，系統(tǒng)利用率可以用式（4.5）所得。i i i t（4.5）本實驗設(shè)置數(shù)據(jù)塊訪問流行度為 10%,可用性為 0.8，節(jié)點平均失效率為 0.1，中每個數(shù)據(jù)塊最初維持 3 個副本，λ=0.6。測試結(jié)果如圖 4.4 所示。圖中顯示個數(shù)據(jù)節(jié)點的系統(tǒng)利用率與集群平均系統(tǒng)利用率的差異。4050HDFS DRM
【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 陶永才;張寧寧;石磊;衛(wèi)琳;;異構(gòu)環(huán)境下云計算數(shù)據(jù)副本動態(tài)管理研究[J];小型微型計算機(jī)系統(tǒng);2013年07期

2 董繼光;陳衛(wèi)衛(wèi);田浪軍;吳海佳;;大規(guī)模云存儲系統(tǒng)副本布局研究[J];計算機(jī)應(yīng)用;2012年03期

3 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

相關(guān)博士學(xué)位論文 前2條

1 劉曉茜;云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國科學(xué)技術(shù)大學(xué);2011年

2 譚支鵬;對象存儲系統(tǒng)副本管理研究[D];華中科技大學(xué);2008年

相關(guān)碩士學(xué)位論文 前9條

1 王貝;云計算環(huán)境下任務(wù)調(diào)度優(yōu)化算法的研究[D];中國科學(xué)技術(shù)大學(xué);2017年

2 周小玉;HDFS分布式文件系統(tǒng)存儲策略研究[D];電子科技大學(xué);2015年

3 貢曉杰;云存儲系統(tǒng)中副本放置策略研究[D];南京郵電大學(xué);2015年

4 儲雅;基于HDFS的氣象云存儲的副本管理策略研究[D];南京信息工程大學(xué);2014年

5 梁興輝;云存儲環(huán)境下數(shù)據(jù)副本技術(shù)研究[D];南京郵電大學(xué);2013年

6 童明;基于HDFS的分布式存儲研究與應(yīng)用[D];華中科技大學(xué);2012年

7 張楠;S-Cloud云備份系統(tǒng)研究與開發(fā)[D];長安大學(xué);2011年

8 蔡林;大規(guī)模分布式存儲系統(tǒng)副本管理研究與實現(xiàn)[D];電子科技大學(xué);2011年

9 黃曉云;基于HDFS的云存儲服務(wù)系統(tǒng)研究[D];大連海事大學(xué);2010年

本文編號：2840320