【摘要】：分布式存儲(chǔ)系統(tǒng)廣泛部署于數(shù)據(jù)中心中,為網(wǎng)絡(luò)搜索、電子商務(wù)以及社交網(wǎng)絡(luò)等大規(guī)�；ヂ�(lián)網(wǎng)應(yīng)用提供基礎(chǔ)數(shù)據(jù)存儲(chǔ)服務(wù)。這些分布式存儲(chǔ)系統(tǒng)通常由成千上萬的存儲(chǔ)節(jié)點(diǎn)構(gòu)成。在規(guī)模如此龐大的系統(tǒng)中,節(jié)點(diǎn)故障極為常見,其處理流程更是作為規(guī)范存在而非例外執(zhí)行。節(jié)點(diǎn)故障會(huì)導(dǎo)致其上存放的數(shù)據(jù)失效,甚至丟失。因此,主流的分布式存儲(chǔ)系統(tǒng)通常采用數(shù)據(jù)冗余技術(shù)進(jìn)行容錯(cuò)。當(dāng)節(jié)點(diǎn)故障發(fā)生后,冗余數(shù)據(jù)被用以修復(fù)丟失數(shù)據(jù)并響應(yīng)請求。此修復(fù)與響應(yīng)過程不但關(guān)乎到系統(tǒng)可靠性與可用性的維持,而且還將影響到系統(tǒng)服務(wù)能力,因而有著重要的的研究意義與極高的應(yīng)用價(jià)值。本文圍繞上述修復(fù)與響應(yīng)過程中的數(shù)據(jù)失效確認(rèn)機(jī)制與失效數(shù)據(jù)響應(yīng)流程展開研究,主要研究內(nèi)容與貢獻(xiàn)如下:針對現(xiàn)有數(shù)據(jù)失效確認(rèn)機(jī)制中數(shù)據(jù)失效確認(rèn)依賴節(jié)點(diǎn)失效確認(rèn)的問題,提出了一種新型的風(fēng)險(xiǎn)感知的數(shù)據(jù)失效確認(rèn)策略(RAFI)。RAFI使用條帶中失效數(shù)據(jù)塊的個(gè)數(shù)評估條帶的可靠性風(fēng)險(xiǎn),通過縮短高風(fēng)險(xiǎn)條帶中數(shù)據(jù)塊的失效確認(rèn)時(shí)間以提高數(shù)據(jù)可靠性與可用性,并通過延長低風(fēng)險(xiǎn)條帶中數(shù)據(jù)塊的失效確認(rèn)時(shí)間以降低數(shù)據(jù)恢復(fù)流量。通過理論分析、仿真實(shí)驗(yàn)與構(gòu)建原型驗(yàn)證了RAFI的正確性與有效性。實(shí)驗(yàn)結(jié)果表明,RAFI能夠同時(shí)地大幅提升現(xiàn)有分布式存儲(chǔ)系統(tǒng)的可靠性、可用性與服務(wù)能力。例如,在一個(gè)1000節(jié)點(diǎn)的RS(6,3)編碼的存儲(chǔ)集群中,相對于傳統(tǒng)的數(shù)據(jù)失效確認(rèn)策略,在最好的情況下,RAFI能夠在提升11倍可靠性并降低45%的不可用時(shí)間的同時(shí),減少28%的修復(fù)網(wǎng)絡(luò)流量。針對現(xiàn)有數(shù)據(jù)失效確認(rèn)機(jī)制中使用固定時(shí)間間隔檢測數(shù)據(jù)失效的問題,提出了一種新型的使用動(dòng)態(tài)時(shí)間間隔檢測數(shù)據(jù)失效的策略(ACI)。當(dāng)檢測到失效數(shù)據(jù)塊后,ACI將使用較短的時(shí)間間隔,以期快速發(fā)現(xiàn)高風(fēng)險(xiǎn)條帶,從而提升數(shù)據(jù)可靠性;否則,將采用較長的時(shí)間間隔,以控制管理節(jié)點(diǎn)承擔(dān)的失效檢測計(jì)算總量,從而提升系統(tǒng)的服務(wù)能力�；诜抡婕霸拖到y(tǒng)的實(shí)驗(yàn)結(jié)果顯示,在一個(gè)1000個(gè)節(jié)點(diǎn)的三副本系統(tǒng)中,在最好的情況下,ACI在RAFI的基礎(chǔ)上可以進(jìn)一步提高3.2倍的可靠性,同時(shí)將管理節(jié)點(diǎn)上檢測任務(wù)占用CPU時(shí)間的增長量控制在18%。針對糾刪碼集群中降級讀高延遲問題,提出了一種新型的并行數(shù)據(jù)重構(gòu)方法(DRPR)。DRPR使用低負(fù)載節(jié)點(diǎn)作為降級讀發(fā)起者,以提升接收降級讀最終數(shù)據(jù)的網(wǎng)絡(luò)帶寬,并通過發(fā)掘降級讀中的潛在并行性,選取更多的節(jié)點(diǎn)提供降級讀所需的初始數(shù)據(jù),以提升發(fā)送降級讀初始數(shù)據(jù)的網(wǎng)絡(luò)帶寬,從而降低降級讀延遲。原型實(shí)驗(yàn)表明,在大多數(shù)情況下,DRPR下的降級讀延遲比現(xiàn)有的最優(yōu)方案低10%以上。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 李佳;陳海濤;蘆偉;;基于糾刪碼的云文件系統(tǒng)數(shù)據(jù)放置方法[J];北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年06期

2 黃建忠;梁先海;曹強(qiáng);謝長生;;面向糾刪碼存儲(chǔ)集群的彈性I/O調(diào)度機(jī)制研究[J];計(jì)算機(jī)研究與發(fā)展;2014年S1期

3 葛君偉;陳志林;方義秋;;一種基于糾刪碼的數(shù)據(jù)放置容錯(cuò)算法[J];計(jì)算機(jī)應(yīng)用研究;2014年09期

4 杜蕓蕓;;一種面向糾刪碼技術(shù)的云存儲(chǔ)可靠性機(jī)制[J];計(jì)算機(jī)應(yīng)用與軟件;2014年02期

5 羅象宏;舒繼武;;存儲(chǔ)系統(tǒng)中的糾刪碼研究綜述[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

6 姜澤雄;謝軍;孫程;;基于XOR糾刪碼的性能分析[J];中國集成電路;2009年09期

7 慕建君,路成業(yè),王新梅;關(guān)于糾刪碼的研究與進(jìn)展[J];電子與信息學(xué)報(bào);2002年09期

相關(guān)博士學(xué)位論文 前6條

1 吳思;容錯(cuò)分布式存儲(chǔ)系統(tǒng)擴(kuò)容機(jī)制研究[D];中國科學(xué)技術(shù)大學(xué);2016年

2 張菁;大規(guī)模分布式糾刪碼存儲(chǔ)系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2015年

3 楊志勇;基于容錯(cuò)及檢錯(cuò)的云存儲(chǔ)可靠性技術(shù)研究[D];武漢理工大學(xué);2015年

4 殷超;提高存儲(chǔ)系統(tǒng)服務(wù)質(zhì)量的糾刪碼應(yīng)用技術(shù)研究[D];華中科技大學(xué);2014年

5 朱云鋒;分布式存儲(chǔ)系統(tǒng)中基于糾刪碼的容錯(cuò)技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2014年

6 蔣海波;海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前3條

1 許方亮;分布式存儲(chǔ)系統(tǒng)中糾刪碼的數(shù)據(jù)修復(fù)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

2 陳寶純;基于糾刪碼與HDFS的云文件系統(tǒng)[D];吉林大學(xué);2012年

3 張峰豪;糾刪碼集群存儲(chǔ)的數(shù)據(jù)訪問優(yōu)化技術(shù)研究[D];華中科技大學(xué);2013年

本文編號(hào)：2782766