發(fā)布時(shí)間：2020-10-14 06:31

　　 隨著科學(xué)技術(shù)的快速發(fā)展,云計(jì)算、社會(huì)網(wǎng)絡(luò)、物聯(lián)網(wǎng)等新興技術(shù)為人們的工作以及日常生活帶來(lái)了巨大的方便,與此同時(shí)數(shù)據(jù)的數(shù)量和類(lèi)型也呈現(xiàn)爆炸式的增長(zhǎng)。隨著大數(shù)據(jù)時(shí)代的到來(lái),云存儲(chǔ)系統(tǒng)憑借其強(qiáng)大的數(shù)據(jù)管理與存儲(chǔ)能力越來(lái)越受到用戶(hù)的重視。為提高云存儲(chǔ)系統(tǒng)的可靠性、可擴(kuò)展性以及安全性等,副本技術(shù)被廣泛采用。HDFS(Hadoop Distributed File System)作為Hadoop的分布式文件系統(tǒng)具有強(qiáng)大的數(shù)據(jù)存儲(chǔ)與管理能力。HDFS的副本管理機(jī)制可以提高云存儲(chǔ)數(shù)據(jù)的可用性,同時(shí)也提高了云存儲(chǔ)系統(tǒng)的可靠性、讀取效率以及負(fù)載均衡等。但是,HDFS采用的靜態(tài)副本管理機(jī)制也存在一些缺陷:(1)在可靠性要求高的云存儲(chǔ)系統(tǒng)中,存儲(chǔ)大量副本提高了系統(tǒng)數(shù)據(jù)存儲(chǔ)與維護(hù)成本。(2)由于云存儲(chǔ)系統(tǒng)由大量廉價(jià)的節(jié)點(diǎn)組成,節(jié)點(diǎn)失效是常態(tài),HDFS副本管理機(jī)制隨機(jī)選擇副本存放位置,未考慮數(shù)據(jù)節(jié)點(diǎn)的負(fù)載情況以及數(shù)據(jù)訪(fǎng)問(wèn)量動(dòng)態(tài)變化,因此影響云存儲(chǔ)系統(tǒng)的負(fù)載均衡。為了解決這些問(wèn)題,本文提出了一種動(dòng)態(tài)副本管理機(jī)制DRMS(Dynamic Replica Management Scheme)。本文的主要研究?jī)?nèi)容包括:(1)本文根據(jù)數(shù)據(jù)的可用性與副本數(shù)目之間的關(guān)系,動(dòng)態(tài)計(jì)算與維護(hù)滿(mǎn)足副本可用性要求下的最小副本數(shù)目,有效地節(jié)省云存儲(chǔ)系統(tǒng)的存儲(chǔ)空間。(2)為了提高系統(tǒng)的性能與平衡負(fù)載,本文采用動(dòng)態(tài)副本放置機(jī)制,采用三種副本放置策略以適應(yīng)不同的階段與應(yīng)用場(chǎng)景。在副本的創(chuàng)建階段,采用面向用戶(hù)的數(shù)據(jù)副本放置策略。在副本運(yùn)行階段,本文采用面向業(yè)務(wù)的副本放置策略,采用此策略可以滿(mǎn)足大多數(shù)的請(qǐng)求者,從而保證系統(tǒng)與數(shù)據(jù)的高利用率。(3)副本調(diào)整策略可以節(jié)省系統(tǒng)的存儲(chǔ)空間并且減少系統(tǒng)的維護(hù)成本。本文利用灰度預(yù)測(cè)模型,通過(guò)最近數(shù)據(jù)訪(fǎng)問(wèn)情況動(dòng)態(tài)預(yù)測(cè)未來(lái)數(shù)據(jù)塊的訪(fǎng)問(wèn)熱度,并且動(dòng)態(tài)的調(diào)整數(shù)據(jù)副本。如果數(shù)據(jù)塊訪(fǎng)問(wèn)熱度增加,動(dòng)態(tài)的增加副本的數(shù)目;如果數(shù)據(jù)塊訪(fǎng)問(wèn)量減少,則使用最近最少訪(fǎng)問(wèn)策略刪除多余的副本,從而節(jié)省云存儲(chǔ)系統(tǒng)的存儲(chǔ)空間。
【學(xué)位單位】：鄭州大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類(lèi)】：TP333
【部分圖文】：

4 實(shí)驗(yàn)設(shè)計(jì)及性能分析1iMjijjpr （4.3）數(shù)據(jù)節(jié)點(diǎn) Si的平均服務(wù)時(shí)間可由（4.4）計(jì)算所得，其中j 表示訪(fǎng)問(wèn)數(shù)據(jù)塊訪(fǎng)問(wèn)延遲時(shí)間。11iMi jijtM （4.4）因此，系統(tǒng)利用率可以用式（4.5）所得。i i i t（4.5）本實(shí)驗(yàn)設(shè)置數(shù)據(jù)塊訪(fǎng)問(wèn)流行度為 10%,可用性為 0.8，節(jié)點(diǎn)平均失效率為 0.1，中每個(gè)數(shù)據(jù)塊最初維持 3 個(gè)副本，λ=0.6。測(cè)試結(jié)果如圖 4.4 所示。圖中顯示個(gè)數(shù)據(jù)節(jié)點(diǎn)的系統(tǒng)利用率與集群平均系統(tǒng)利用率的差異。4050HDFS DRM
【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 陶永才;張寧寧;石磊;衛(wèi)琳;;異構(gòu)環(huán)境下云計(jì)算數(shù)據(jù)副本動(dòng)態(tài)管理研究[J];小型微型計(jì)算機(jī)系統(tǒng);2013年07期

2 董繼光;陳衛(wèi)衛(wèi);田浪軍;吳海佳;;大規(guī)模云存儲(chǔ)系統(tǒng)副本布局研究[J];計(jì)算機(jī)應(yīng)用;2012年03期

3 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

相關(guān)博士學(xué)位論文 前2條

1 劉曉茜;云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

2 譚支鵬;對(duì)象存儲(chǔ)系統(tǒng)副本管理研究[D];華中科技大學(xué);2008年

相關(guān)碩士學(xué)位論文 前9條

1 王貝;云計(jì)算環(huán)境下任務(wù)調(diào)度優(yōu)化算法的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2017年

2 周小玉;HDFS分布式文件系統(tǒng)存儲(chǔ)策略研究[D];電子科技大學(xué);2015年

3 貢曉杰;云存儲(chǔ)系統(tǒng)中副本放置策略研究[D];南京郵電大學(xué);2015年

4 儲(chǔ)雅;基于HDFS的氣象云存儲(chǔ)的副本管理策略研究[D];南京信息工程大學(xué);2014年

5 梁興輝;云存儲(chǔ)環(huán)境下數(shù)據(jù)副本技術(shù)研究[D];南京郵電大學(xué);2013年

6 童明;基于HDFS的分布式存儲(chǔ)研究與應(yīng)用[D];華中科技大學(xué);2012年

7 張楠;S-Cloud云備份系統(tǒng)研究與開(kāi)發(fā)[D];長(zhǎng)安大學(xué);2011年

8 蔡林;大規(guī)模分布式存儲(chǔ)系統(tǒng)副本管理研究與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

9 黃曉云;基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)研究[D];大連海事大學(xué);2010年

本文編號(hào)：2840320