本文選題：分布式存儲(chǔ) + 糾刪碼�。� 參考：《復(fù)旦大學(xué)》2014年碩士論文

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來(lái),全球信息數(shù)據(jù)資源開(kāi)始呈現(xiàn)出爆炸性增長(zhǎng)。圖靈獎(jiǎng)獲得者James Gray甚至提出了關(guān)于全球數(shù)據(jù)總量的摩爾定律：全球數(shù)據(jù)總量每18個(gè)月就將翻一番,也即未來(lái)每18個(gè)月就能產(chǎn)生出與人類(lèi)有史以來(lái)全部數(shù)據(jù)總量相同規(guī)模的數(shù)據(jù)。為了滿足大數(shù)據(jù)時(shí)代各種大規(guī)模存儲(chǔ)應(yīng)用的存儲(chǔ)需求,人們開(kāi)始越來(lái)越多地關(guān)注分布式存儲(chǔ)技術(shù)。分布式存儲(chǔ)系統(tǒng)(Distributed Storage System,DSS)就是利用一定的技術(shù)手段將原始數(shù)據(jù)分別存儲(chǔ)在相互獨(dú)立的若干臺(tái)設(shè)備上,并能通過(guò)不同程度的數(shù)據(jù)冗余來(lái)提供對(duì)數(shù)據(jù)的可靠訪問(wèn)。然而分布式存儲(chǔ)系統(tǒng)中相互獨(dú)立的各個(gè)節(jié)點(diǎn)本身會(huì)因?yàn)楦鞣N原因發(fā)生失效。隨著分布式存儲(chǔ)系統(tǒng)規(guī)模的不斷擴(kuò)大,這種節(jié)點(diǎn)失效的情況出現(xiàn)得越來(lái)越普遍。因此,構(gòu)建分布式存儲(chǔ)系統(tǒng)需要面臨的一個(gè)問(wèn)題便是節(jié)點(diǎn)修復(fù)：為了使系統(tǒng)能夠保持相同的可靠性,當(dāng)一個(gè)存儲(chǔ)了編碼信息的節(jié)點(diǎn)發(fā)生失效后,必須在新的節(jié)點(diǎn)再生出丟失的編碼信息。本文對(duì)采用糾刪碼的分布式存儲(chǔ)系統(tǒng)進(jìn)行研究發(fā)現(xiàn),即使為了修復(fù)某一獨(dú)立的失效節(jié)點(diǎn),修復(fù)的過(guò)程也必需先恢復(fù)出完整的原始數(shù)據(jù),再根據(jù)原始數(shù)據(jù)再生出有效的數(shù)據(jù)片段。為了更加有效地進(jìn)行節(jié)點(diǎn)修復(fù),降低修復(fù)帶寬,提高存儲(chǔ)效率,本文重點(diǎn)研究了基于最小修復(fù)帶寬的分布式存儲(chǔ)系統(tǒng)編碼機(jī)制。Dimakis等人創(chuàng)造性地將網(wǎng)絡(luò)編碼技術(shù)與分布式存儲(chǔ)結(jié)合起來(lái),定義了針對(duì)節(jié)點(diǎn)修復(fù)問(wèn)題的若干種再生碼(Regenerating codes),并得到了存儲(chǔ)容量與修復(fù)帶寬之間的基本權(quán)衡關(guān)系。Wu等人在此基礎(chǔ)上,利用最大距離可分離碼(Maximum distance separable code)以及系統(tǒng)性(Systematic)碼的特點(diǎn)設(shè)計(jì)了相應(yīng)的系統(tǒng)性MDS編碼(Systematic MDS codes)機(jī)制,當(dāng)d=k+l時(shí)實(shí)現(xiàn)了理論上的最小修復(fù)帶寬。本文分析比較了Wu的編碼機(jī)制與其他實(shí)現(xiàn)最小修復(fù)帶寬的編碼機(jī)制,指出了Wu的構(gòu)造客觀上所存在的局限,然后對(duì)Wu提出的系統(tǒng)性MDS編碼機(jī)制進(jìn)行了拓展。拓展后的構(gòu)造形式簡(jiǎn)潔,并且比Wu的構(gòu)造更具一般性,在不提高有限域尺寸的前提下,使拓展后的構(gòu)造在進(jìn)行節(jié)點(diǎn)修復(fù)的過(guò)程中繼續(xù)保持系統(tǒng)性屬性與MDS屬性,且使構(gòu)造中系數(shù)的選擇更加靈活,為節(jié)點(diǎn)修復(fù)提供更多的組合方式,進(jìn)而可以滿足更多應(yīng)用場(chǎng)景和網(wǎng)絡(luò)狀況下的需求。
[Abstract]:With the arrival of big data era, global information data resources began to show explosive growth. Turing laureate James Gray has even proposed Moore's law on global data: global data will double every 18 months, that is, every 18 months in the next 18 months will produce data of the same size as all the data we have ever had. In order to meet the storage requirements of various large-scale storage applications in big data era, people began to pay more and more attention to distributed storage technology. Distributed Storage system DSS (distributed Storage system DSS) uses certain technical means to store raw data on several independent devices, and it can provide reliable access to data by varying degrees of data redundancy. However, the independent nodes in the distributed storage system will fail for various reasons. With the increasing scale of distributed storage system, this kind of node failure is becoming more and more common. Therefore, one of the problems in building a distributed storage system is node repair: in order to maintain the same reliability of the system, when a node that stores the encoded information fails, The missing encoding information must be reproduced at the new node. In this paper, the distributed storage system using erasure code is studied. It is found that even in order to repair an independent failure node, the complete original data must be restored first, and then the valid data fragments are regenerated according to the original data. In order to repair nodes more effectively, reduce repair bandwidth and improve storage efficiency, This paper focuses on the research of distributed storage system coding mechanism based on minimum repair bandwidth. Dimakis et al creatively combine network coding technology with distributed storage. In this paper, several kinds of regenerating codes for node repair are defined, and the basic trade-off between storage capacity and repair bandwidth is obtained. Wu et al. Based on the characteristics of maximum distance separable code and systematic system MDS code, the corresponding systematic MDS codes-mechanism is designed. The minimum repair bandwidth is realized when dl is used. In this paper, the coding mechanism of Wu is analyzed and compared with other coding mechanisms to realize the minimum repair bandwidth, and the limitations of Wu's construction are pointed out, and then the systematic MDS coding mechanism proposed by Wu is extended. The extended structure is simpler and more general than Wu's. Without increasing the size of the finite field, the extended structure keeps the systematic and MDS attributes in the process of node repair. It also makes the selection of coefficients in the structure more flexible, and provides more combination methods for node repair, which can meet the needs of more application scenarios and network conditions.
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李恩榮;陳明亮;龔文林;喻虹;韓申生;;鬼成像系統(tǒng)的互信息[J];光學(xué)學(xué)報(bào);2013年12期

2 馮欣;曾周末;封皓;安陽(yáng);;基于小波信息熵的分布式振動(dòng)傳感系統(tǒng)的擾動(dòng)評(píng)價(jià)方法[J];光學(xué)學(xué)報(bào);2013年11期

3 朱聯(lián)祥;李想;;基于子集矩陣的LDLC短環(huán)消除方法[J];電視技術(shù);2014年03期

4 胡長(zhǎng)明;劉凱;董翔;張禮奎;;多項(xiàng)目管理組織結(jié)構(gòu)及其評(píng)價(jià)[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年01期

5 胡春;高玉琨;吳洪;;基于SCI-E的通信信息業(yè)官產(chǎn)學(xué)創(chuàng)新合作關(guān)系研究[J];北京郵電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2014年01期

6 丁凱;;研發(fā)行為的二元容介態(tài)構(gòu)成與轉(zhuǎn)化趨勢(shì)研究——基于某航空制造企業(yè)研發(fā)人員的實(shí)證[J];廣義虛擬經(jīng)濟(jì)研究;2014年02期

7 李赫;呂文岱;張雁;郭明累;;基于AHP與信息熵的制造企業(yè)財(cái)務(wù)風(fēng)險(xiǎn)預(yù)警研究[J];中國(guó)管理信息化;2014年12期

8 李國(guó)華;;無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)壓縮技術(shù)的研究進(jìn)展[J];智能計(jì)算機(jī)與應(yīng)用;2014年03期

9 王鵬;常旭;王一博;王璐琛;翟鴻宇;;基于時(shí)頻稀疏性分析法的低信噪比微震事件識(shí)別與恢復(fù)[J];地球物理學(xué)報(bào);2014年08期

10 蔡赫;;海浪河秋季浮游植物群落結(jié)構(gòu)及水質(zhì)評(píng)價(jià)[J];現(xiàn)代農(nóng)業(yè)科技;2014年20期

相關(guān)會(huì)議論文 前3條

1 Xiao Hu;Chao Huang;Wei Cai;;Road Boundary Detection Based On Information Entropy[A];第26屆中國(guó)控制與決策會(huì)議論文集[C];2014年

2 孫惠娟;彭春華;易洪京;;大規(guī)模風(fēng)電接入電網(wǎng)多目標(biāo)隨機(jī)優(yōu)化調(diào)度研究[A];2012年江西省電機(jī)工程學(xué)會(huì)年會(huì)論文集[C];2012年

3 王鵬;常旭;王一博;王璐琛;翟鴻宇;;基于時(shí)頻稀疏性分析法的低信噪比微震事件識(shí)別與恢復(fù)[A];中國(guó)科學(xué)院地質(zhì)與地球物理研究所2014年度（第14屆）學(xué)術(shù)年會(huì)論文匯編——工程地質(zhì)與水資源研究室[C];2015年

相關(guān)博士學(xué)位論文 前10條

1 尹良;認(rèn)知無(wú)線網(wǎng)絡(luò)中頻譜容量與頻譜業(yè)務(wù)建模關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

2 熊小兵;微博網(wǎng)絡(luò)傳播行為中的關(guān)鍵問(wèn)題研究[D];解放軍信息工程大學(xué);2013年

3 王妮妮;基于智能計(jì)算技術(shù)的時(shí)間序列分割及預(yù)測(cè)研究[D];大連理工大學(xué);2013年

4 余子斌;水聲雙擴(kuò)展信道空時(shí)Turbo通信系統(tǒng)[D];浙江大學(xué);2014年

5 張昱;協(xié)作中繼系統(tǒng)容量界及其無(wú)速率網(wǎng)絡(luò)編碼[D];浙江大學(xué);2013年

6 羅雷;基于深度圖繪制的三維視頻編碼技術(shù)研究[D];浙江大學(xué);2013年

7 虞萍;影響企業(yè)電子商務(wù)成功的網(wǎng)站因素研究[D];中國(guó)農(nóng)業(yè)大學(xué);2014年

8 王素鳳;中國(guó)碳排放權(quán)初始分配與減排機(jī)制研究[D];合肥工業(yè)大學(xué);2014年

9 陳傳紅;近200年瀘沽湖藻類(lèi)沉積記錄及其對(duì)氣候變化的響應(yīng)[D];華中師范大學(xué);2012年

10 阿榮吉日嘎拉;呼和浩特市東郊農(nóng)田鳥(niǎo)類(lèi)群落結(jié)構(gòu)及活動(dòng)節(jié)律[D];內(nèi)蒙古大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 趙澤盟;基于非正態(tài)分布假設(shè)下的高濃度地表臭氧預(yù)報(bào)模型的應(yīng)用[D];北京化工大學(xué);2013年

2 劉武;信息模型在數(shù)字化SOP規(guī)程中的應(yīng)用與分析[D];南華大學(xué);2013年

3 戴理;數(shù)據(jù)加解密過(guò)程逆向分析技術(shù)研究[D];解放軍信息工程大學(xué);2013年

4 李秀媛;小鶴立河水庫(kù)浮游動(dòng)物群落結(jié)構(gòu)與多樣性研究[D];東北林業(yè)大學(xué);2013年

5 趙菲;扎龍濕地浮游生物多樣性研究及水生態(tài)系統(tǒng)健康評(píng)價(jià)[D];東北林業(yè)大學(xué);2013年

6 蔡赫;嫩江下游底棲動(dòng)物群落結(jié)構(gòu)及水質(zhì)評(píng)價(jià)研究[D];東北林業(yè)大學(xué);2013年

7 張昊;嫩江下游浮游動(dòng)物群落結(jié)構(gòu)動(dòng)態(tài)特征及其與水環(huán)境因子的相關(guān)分析[D];東北林業(yè)大學(xué);2013年

8 羅明新;TD-LTE-Advanced下行非碼本波束賦形技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

9 梁星云;不同森林經(jīng)營(yíng)模式對(duì)東北紅松天然次生林群落生態(tài)特征的影響機(jī)制研究[D];廣西大學(xué);2013年

10 滕光耀;衛(wèi)星導(dǎo)航系統(tǒng)中LDPC碼的研究[D];哈爾濱工業(yè)大學(xué);2013年

，

本文編號(hào)：1800561