發(fā)布時(shí)間：2020-04-23 17:33

【摘要】：隨著科學(xué)技術(shù)的不斷進(jìn)步,信息技術(shù)的發(fā)展已經(jīng)超出了人們的想象,人類(lèi)頻繁的網(wǎng)絡(luò)活動(dòng)導(dǎo)致網(wǎng)絡(luò)系統(tǒng)產(chǎn)生的數(shù)據(jù)量迅速地增加。面對(duì)海量的存儲(chǔ)數(shù)據(jù),傳統(tǒng)的集中式網(wǎng)絡(luò)存儲(chǔ)已經(jīng)難以滿足日益增長(zhǎng)的大規(guī)模存儲(chǔ)空間的需求,而分布式存儲(chǔ)系統(tǒng)因其海量的存儲(chǔ)能力、高擴(kuò)展性以及低成本的優(yōu)勢(shì)被廣泛使用和開(kāi)發(fā)。但是,分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)存在可用性不高的問(wèn)題,隨著分布式存儲(chǔ)系統(tǒng)的發(fā)展和普遍應(yīng)用,這種隱患帶來(lái)的數(shù)據(jù)可靠性問(wèn)題就越來(lái)越嚴(yán)重,如何保證數(shù)據(jù)的可靠性成為發(fā)展分布式存儲(chǔ)系統(tǒng)的“當(dāng)務(wù)之急”。保證數(shù)據(jù)的可靠性主要依賴于數(shù)據(jù)容錯(cuò)技術(shù),而進(jìn)行有效的數(shù)據(jù)修復(fù)則是解決數(shù)據(jù)容錯(cuò)技術(shù)的關(guān)鍵,也就是說(shuō),在存儲(chǔ)系統(tǒng)中發(fā)生節(jié)點(diǎn)故障之后,有效節(jié)點(diǎn)盡可能少地消耗系統(tǒng)資源來(lái)完成失效節(jié)點(diǎn)的修復(fù)。基于網(wǎng)絡(luò)編碼的再生碼因其較少的冗余存儲(chǔ)量、高可靠性以及低修復(fù)帶寬被廣泛研究。但是,當(dāng)前所研究的分布式存儲(chǔ)再生碼存在以下缺點(diǎn):各種基于分布式存儲(chǔ)系統(tǒng)的再生碼由于自身結(jié)構(gòu)等原因?qū)Υ鎯?chǔ)節(jié)點(diǎn)的容忍度大小不一,容忍度越小,存儲(chǔ)系統(tǒng)的數(shù)據(jù)可靠性和安全性就越低,一部分再生碼的容忍度低導(dǎo)致可修復(fù)的節(jié)點(diǎn)數(shù)少;盡管有些現(xiàn)有的再生碼容忍度大,但是需要高存儲(chǔ)容量、高修復(fù)帶寬或者高計(jì)算復(fù)雜度的存儲(chǔ)系統(tǒng)才得以滿足,代價(jià)過(guò)高。因此,我們需要設(shè)計(jì)一種高容忍度的再生碼,同時(shí)有著較低的修復(fù)帶寬、較低的存儲(chǔ)容量以及較低的計(jì)算復(fù)雜度。針對(duì)以上提出的問(wèn)題,本文在部分復(fù)制再生碼的基礎(chǔ)上,提出了一種多節(jié)點(diǎn)修復(fù)部分復(fù)制再生碼MFRRC(Multi-repair Fractional Repetition Regenerating Codes)和一種異構(gòu)部分復(fù)制碼HFRRC(Heterogeneous Fractional Repetition Regenerating Codes)。本文的主要工作和創(chuàng)新點(diǎn)概括如下:針對(duì)之前的部分復(fù)制再生碼僅允許存在一個(gè)存儲(chǔ)節(jié)點(diǎn)失效的問(wèn)題,本文提出了一種多節(jié)點(diǎn)修復(fù)部分復(fù)制再生碼MFRRC,其中的研究主要包括編碼的構(gòu)造、數(shù)據(jù)精確修復(fù)過(guò)程分析、修復(fù)過(guò)程中節(jié)點(diǎn)選擇的優(yōu)先級(jí)的建立以及性能分析。在該編碼方法中我們引入了父代存儲(chǔ)節(jié)點(diǎn)和子代存儲(chǔ)節(jié)點(diǎn)的概念,即為了保證多個(gè)存儲(chǔ)節(jié)點(diǎn)失效后的精確修復(fù),對(duì)原有的存儲(chǔ)節(jié)點(diǎn)增加了相應(yīng)的子節(jié)點(diǎn)來(lái)存儲(chǔ)副本,我們通過(guò)理論分析得出了這種編碼方式不僅提高了容忍度,并且保持了原來(lái)部分復(fù)制碼的優(yōu)點(diǎn),同時(shí)我們通過(guò)設(shè)置相關(guān)參數(shù)對(duì)這種編碼方式進(jìn)行了仿真和數(shù)值分析,仿真結(jié)果表明提出的MFRRC能夠大大提高容忍度,同時(shí)有效降低了總修復(fù)帶寬和總修復(fù)時(shí)間。針對(duì)之前的部分復(fù)制再生碼存在幫助節(jié)點(diǎn)數(shù)多以及只能允許一個(gè)存儲(chǔ)節(jié)點(diǎn)失效的問(wèn)題,在異構(gòu)的分布式存儲(chǔ)系統(tǒng)的情況下(即在修復(fù)過(guò)程中從有效幫助節(jié)點(diǎn)所下載的數(shù)據(jù)量不一樣),提出了一種異構(gòu)部分復(fù)制再生碼HFRRC,其中的研究?jī)?nèi)容主要包括編碼的構(gòu)造、性能分析以及存在的問(wèn)題,同時(shí)為了優(yōu)化這種編碼方法提出了擴(kuò)展結(jié)構(gòu)。在這種編碼方式中,我們首先采用了修復(fù)帶寬異構(gòu)的編碼構(gòu)造,使得參與數(shù)據(jù)精確修復(fù)過(guò)程的幫助節(jié)點(diǎn)數(shù)減少;其次在異構(gòu)部分復(fù)制再生碼HFRRC的擴(kuò)展結(jié)構(gòu)中,再次引入父代存儲(chǔ)節(jié)點(diǎn)和子代存儲(chǔ)節(jié)點(diǎn)的概念,有效提高了容忍度。另外,我們對(duì)這種編碼方式和其它典型的編碼方式在容忍度等性能上進(jìn)行仿真,仿真結(jié)果表明提出的HFRRC不僅大大減少幫助節(jié)點(diǎn)數(shù)和提高了容忍度,而且總修復(fù)帶寬較小,數(shù)據(jù)修復(fù)過(guò)程快速高效。
【圖文】：

刪碼逡逑碼起源于通信傳輸領(lǐng)域，最開(kāi)始是為了保證有損信道中通信容錯(cuò)能糾刪碼的使用可以使通信系統(tǒng)忍受多個(gè)數(shù)據(jù)幀的丟失，，之后被運(yùn)用到，實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)的數(shù)據(jù)檢錯(cuò)與糾錯(cuò)，保證系統(tǒng)的數(shù)據(jù)可靠性［２８］。例１所示，將一個(gè)大小為Ｍ的數(shù)據(jù)對(duì)象Ｎ在存儲(chǔ)時(shí)分為ｋ個(gè)大小相等的Ｎｉ，犯，…，Ｎｋ，每個(gè)數(shù)據(jù)塊的大小為Ｍ／ｋ，利用將其編碼為ｎ個(gè)編碼塊，記為Ｘ！，邋Ｘ２，邋？？？，Ｘｎ，ｎ＞ｋ，并將其交叉存儲(chǔ)（Ｃｒｏｓｓ邋Ｓｔｏｒａ節(jié)點(diǎn)中。當(dāng)存儲(chǔ)系統(tǒng)出現(xiàn)故障，一些編碼塊丟失，利用任意ｋ個(gè)編碼原始數(shù)據(jù)，這種編碼稱(chēng)為最大距離可分糾刪碼（Ｍａｘｉｍｕｍ邋Ｄｉｓｔａｎｃｅ邋Ｓｅｐａｒｔ２９］。這種ＭＤＳ特性使得糾刪碼在冗余消耗的存儲(chǔ)空間方面遠(yuǎn)遠(yuǎn)優(yōu)于每個(gè)大小為Ｍ／ｋ的ｋ個(gè)編碼塊可以提供恢復(fù)大小為Ｍ的文件的最小數(shù)比較受關(guān)注的的最大距離可分糾刪碼是ＲＳ邋（Ｒｅｅｓ－Ｓｏｌｏｍｏｎ）碼［３Ｑ］、Ｌｄｅｎｓｉｔｙ邋Ｐａｒｉｔｙ－ｃｈｅｃｋ邋Ｃｏｄｅ）糾刪碼［３１］。逡逑

山東大學(xué)碩士學(xué)位論文逡逑數(shù)據(jù)對(duì)象完成。逡逑在節(jié)點(diǎn)信息流圖的模型下，一般用參數(shù)（ｎ，ｋ，ｄ）表示ＭＤＳ碼。圖２－２是節(jié)點(diǎn)逡逑信息流圖的舉例，表示為（４，２，３）邋ＭＤＳ碼的信息流圖。圖中將原始數(shù)據(jù)對(duì)象分為逡逑ｋ個(gè)數(shù)據(jù)塊，存儲(chǔ)ｎ邋＝邋４個(gè)存儲(chǔ)節(jié)點(diǎn)中，每個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)的存儲(chǔ)容量為ａ邋＝１，數(shù)逡逑Ｃｕｔ逡逑v|逡逑圖２－２邋（４，２，３）ＭＤＳ碼的節(jié)點(diǎn)信息流圖＜；逡逑據(jù)收集節(jié)點(diǎn)只需要連接ｋ邋＝邋２個(gè)節(jié)點(diǎn)就可以恢復(fù)原始數(shù)據(jù)對(duì)象，當(dāng)?shù)冢磦�(gè)存儲(chǔ)節(jié)點(diǎn)逡逑失效時(shí)，新加入一個(gè)節(jié)點(diǎn)５，通過(guò)連接Rp余節(jié)點(diǎn)的ｄ邋＝邋３個(gè)幫助節(jié)點(diǎn)并從每個(gè)存儲(chǔ)逡逑節(jié)點(diǎn)獲得Ｐ邋＝邋０．５數(shù)據(jù)信息的方式，來(lái)完成失效節(jié)點(diǎn)的數(shù)據(jù)修復(fù)過(guò)程，總修復(fù)帶寬逡逑為Ｙ邋＝邋１．５。逡逑２．２．２修復(fù)類(lèi)型逡逑基于上述信息流圖的網(wǎng)絡(luò)編碼方案數(shù)據(jù)修復(fù)后的存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)并不一逡逑定和失效的存儲(chǔ)節(jié)點(diǎn)完全一樣，原因是新加入的存儲(chǔ)節(jié)點(diǎn)在信息流圖只是作為中逡逑繼節(jié)點(diǎn)
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王甜甜;余春雷;;異構(gòu)分布式存儲(chǔ)系統(tǒng)中部分重復(fù)碼的構(gòu)造[J];信息通信;2019年01期

2 黃根華;鐘聲偉;;分布式存儲(chǔ)系統(tǒng)在通信運(yùn)營(yíng)商云計(jì)算資源池的應(yīng)用研究[J];通訊世界;2017年16期

3 藍(lán)青;;云計(jì)算分布式存儲(chǔ)系統(tǒng)典型運(yùn)維問(wèn)題的分析[J];通信與信息技術(shù);2017年05期

4 王丹輝;;基于分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)認(rèn)證和安全保障研究[J];中國(guó)電子科學(xué)研究院學(xué)報(bào);2015年06期

5 馮亮;;差異分布式存儲(chǔ)系統(tǒng)資源調(diào)度的優(yōu)化仿真[J];計(jì)算機(jī)仿真;2016年03期

6 董志強(qiáng);;分布式存儲(chǔ)系統(tǒng)文件級(jí)連續(xù)數(shù)據(jù)保護(hù)技術(shù)研究[J];通訊世界;2015年09期

7 梁坤榮;;分布式存儲(chǔ)系統(tǒng)CEPH研究與試用[J];數(shù)碼世界;2017年07期

8 龔利;史楊;;淺析分布式存儲(chǔ)系統(tǒng)的研究及應(yīng)用[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2014年09期

9 徐小龍;鄒勤文;楊庚;;分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)副本管理機(jī)制[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年02期

10 馮浩;賈年;;面向海量無(wú)線電監(jiān)測(cè)數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)研究[J];成都工業(yè)學(xué)院學(xué)報(bào);2015年02期

相關(guān)會(huì)議論文 前9條

1 趙輝;何連躍;;基于異構(gòu)分布式存儲(chǔ)系統(tǒng)的動(dòng)態(tài)反饋負(fù)載均衡技術(shù)[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 曲珊;張金鋇;;非對(duì)稱(chēng)網(wǎng)絡(luò)結(jié)構(gòu)下的分布式存儲(chǔ)系統(tǒng)編碼研究[A];第十九屆中國(guó)科協(xié)年會(huì)——分9“互聯(lián)網(wǎng)+”：傳統(tǒng)產(chǎn)業(yè)變革新動(dòng)能論壇論文集[C];2017年

3 張曦;陳渝;王小鴿;張寶鵬;孫云峰;;PA-DCS:一種基于能耗感知的無(wú)線傳感器網(wǎng)絡(luò)分布式存儲(chǔ)系統(tǒng)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

4 徐琪;程耀東;陳剛;;新型EB級(jí)文件存儲(chǔ)系統(tǒng)EOS的分析與測(cè)試[A];第十八屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集[C];2016年

5 羅香玉;李傳佑;汪蕓;;糾刪碼容錯(cuò)組的布局策略研究[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

6 武騰;薛磊;鄭東;柳曉光;;P2P持久存儲(chǔ)系統(tǒng)可靠性分析與數(shù)據(jù)維護(hù)優(yōu)化[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

7 周松;王意潔;;EXPyramid:一種靈活的基于陣列結(jié)構(gòu)的高容錯(cuò)低修復(fù)成本編碼方案[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

8 羅凌燕;李錄兵;李化斌;寧瑩;王俊青;吳秀杰;王登蓮;梁馨嫻;;虛擬化云平臺(tái)在SCADA系統(tǒng)中的應(yīng)用[A];綠色石化·創(chuàng)新集成·效能提升——第十一屆寧夏青年科學(xué)家論壇石化專(zhuān)題論壇論文集[C];2015年

9 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 記者 魏京華 通訊員 高U喴

本文編號(hào)：2637973