本文選題：分布式存儲系統(tǒng)　切入點：數(shù)據(jù)再生　出處：《復(fù)旦大學(xué)》2012年碩士論文　論文類型：學(xué)位論文

【摘要】：分布式存儲系統(tǒng)通過利用大量存儲節(jié)點提供海量數(shù)據(jù)存儲服務(wù)。分布式存儲系統(tǒng)需保存冗余數(shù)據(jù),從而在有存儲節(jié)點失效的情況下維持?jǐn)?shù)據(jù)的完整性。為補償存儲節(jié)點失效造成的數(shù)據(jù)損失,當(dāng)有存儲節(jié)點失效時,應(yīng)在系統(tǒng)中另一節(jié)點中再生其保存的數(shù)據(jù)。與保存副本數(shù)據(jù)相比,由MDS編碼生成的冗余數(shù)據(jù)能夠提供更高的對節(jié)點失效的抵抗能力,但典型的MDS編碼在再生過程中的傳輸開銷遠(yuǎn)高于副本數(shù)據(jù)。在MDS編碼中,再生碼能夠達(dá)到存儲開銷和再生時網(wǎng)絡(luò)帶寬開銷間的最優(yōu)折衷曲線。目前對于存儲編碼及相應(yīng)再生開銷的研究集中于最小化再生時的網(wǎng)絡(luò)帶寬開銷,但未考慮到實際再生中的時間及參與節(jié)點等開銷。 本文在不犧牲數(shù)據(jù)完整性的前提下,通過理論分析和基于真實數(shù)據(jù)的仿真,研究了提高再生過程性能的優(yōu)化設(shè)計方案。我們首先回顧了冗余數(shù)據(jù)及其維持方面的工作進(jìn)展。接下來,我們通過利用網(wǎng)絡(luò)中不同鏈路上的帶寬異質(zhì)性,提出一種樹形拓?fù)湓偕^程,顯著降低了再生時間。進(jìn)一步的,在對可用帶寬非對稱鏈路進(jìn)行建模的基礎(chǔ)上,本文提出了基于多棵樹并行傳輸?shù)脑偕^程。另一方面,基于再生過程中參與節(jié)點數(shù)量對再生效率的影響,我們通過將多個節(jié)點的再生過程進(jìn)行流水線化處理,從而降低每輪再生過程中的參與節(jié)點數(shù)量。通過分析可知,流水線再生過程能夠降低再生過程中所需時間及網(wǎng)絡(luò)帶寬開銷,同時不犧牲數(shù)據(jù)完整性,且其要求的額外存儲開銷是低且實際的。我們的工作表明,流水線再生過程能夠支持隨機線性編碼以及再生碼,并支持立即修復(fù)和惰性修復(fù)。
[Abstract]:Distributed storage systems provide massive data storage services by using a large number of storage nodes. In order to compensate for the loss of data caused by the failure of the storage node, when there is a failure of the storage node, the integrity of the data is maintained. The stored data should be regenerated in another node in the system. The redundant data generated by the MDS code can provide a higher resistance to node failure than to save replica data. But typical MDS codes have much more transmission overhead than replica data during reproduction. In MDS coding, The regenerative code can achieve the optimal tradeoff curve between the storage overhead and the network bandwidth overhead when regenerated. At present, the research on the storage coding and the corresponding reproducing overhead is focused on minimizing the network bandwidth overhead when regenerated. However, it does not take into account the time of actual regeneration and the cost of participating nodes. In this paper, without sacrificing the integrity of data, through theoretical analysis and simulation based on real data, The optimal design scheme for improving the performance of regeneration process is studied. We first review the progress of redundant data and its maintenance. Then, we utilize the bandwidth heterogeneity of different links in the network. A tree topology regeneration process is proposed, which reduces the regeneration time significantly. Furthermore, based on the modeling of asymmetric links with available bandwidth, this paper proposes a regeneration process based on parallel transmission of multiple trees. Based on the effect of the number of participating nodes on regeneration efficiency during regeneration, we reduce the number of participating nodes in each round of regeneration by treating the regeneration process of multiple nodes with pipeline. Pipeline regeneration process can reduce the time and network bandwidth cost of the regeneration process without sacrificing data integrity, and the additional storage cost required is low and practical. Our work shows that, Pipeline regeneration process can support random linear coding and regenerative code, and support immediate repair and inert repair.
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;廉價、高效、穩(wěn)定 微軟新一代分布式存儲系統(tǒng)[J];新電腦;2006年06期

2 陳],殷新春;并行程序設(shè)計中的消息傳遞機制[J];揚州大學(xué)學(xué)報(自然科學(xué)版);2001年04期

3 楊_g劍;林波;;分布式存儲系統(tǒng)中一致性哈希算法的研究[J];電腦知識與技術(shù);2011年22期

4 田榮華;盧顯良;侯孟書;王曉斌;;P2P分布式存儲系統(tǒng)[J];計算機科學(xué);2007年06期

5 王文豐;;一種基于遺傳算法的副本優(yōu)化問題求解方法[J];科技經(jīng)濟(jì)市場;2011年05期

6 劉翔;汪海玲;;分布式存儲中的一種數(shù)據(jù)放置策略[J];計算機與數(shù)字工程;2009年05期

7 朱慶;周艷;;分布式空間數(shù)據(jù)存儲對象[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2006年05期

8 黎平國;陳路平;陳紅琴;蔣若珊;;基于P2P的數(shù)字圖書館資源分布式存儲方案[J];科技廣場;2009年05期

9 朱恒業(yè);付丹丹;;基于分布式存儲的數(shù)字圖書館系統(tǒng)[J];電腦學(xué)習(xí);2011年01期

10 蘇勇;周敬利;姜明華;劉鋼;;分布式存儲系統(tǒng)中元數(shù)據(jù)系統(tǒng)的研究與設(shè)計[J];計算機工程與應(yīng)用;2006年20期

相關(guān)會議論文 前4條

1 趙輝;何連躍;;基于異構(gòu)分布式存儲系統(tǒng)的動態(tài)反饋負(fù)載均衡技術(shù)[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

2 周天彤;薛磊;鄭東;童天浩;;基于Reed-Solomon編碼的容災(zāi)存儲系統(tǒng)性能分析[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

3 周松;王意潔;;EXPyramid:一種靈活的基于陣列結(jié)構(gòu)的高容錯低修復(fù)成本編碼方案[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

4 劉群;馮丹;;基于層次結(jié)構(gòu)的元數(shù)據(jù)動態(tài)管理方法的研究[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

相關(guān)重要報紙文章 前5條

1 本報記者 黃偉敏;帶給你驚喜和快樂[N];計算機世界;2002年

2 ;云計算的退出策略[N];網(wǎng)絡(luò)世界;2009年

3 ;谷歌翻譯:憑什么更酷更聰明[N];中國電腦教育報;2011年

4 苗子墨;迅雷離線下載的誘惑[N];電腦報;2010年

5 本報記者 戈清平;云計算加速落地 云存儲成“下一個金礦”[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2011年

相關(guān)博士學(xué)位論文 前10條

1 王禹;分布式存儲系統(tǒng)中的數(shù)據(jù)冗余與維護(hù)技術(shù)研究[D];華南理工大學(xué);2011年

2 朱云鋒;分布式存儲系統(tǒng)中基于糾刪碼的容錯技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2014年

3 劉霖;分布式存儲系統(tǒng)中的能耗管理策略研究[D];華南理工大學(xué);2013年

4 萬亞平;基于P2P的分布式存儲系統(tǒng)可靠性及故障檢測研究[D];華中科技大學(xué);2010年

5 黃震;大規(guī)模分布式存儲系統(tǒng)中數(shù)據(jù)冗余技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 姚杰;分布式存儲系統(tǒng)文件級連續(xù)數(shù)據(jù)保護(hù)技術(shù)研究[D];華中科技大學(xué);2009年

7 宋瑋;分布式存儲系統(tǒng)中的節(jié)點自主性問題研究[D];華南理工大學(xué);2010年

8 牛中盈;并行文件系統(tǒng)安全性研究[D];華中科技大學(xué);2010年

9 王寧;網(wǎng)絡(luò)編碼在無線通信中的應(yīng)用研究[D];北京郵電大學(xué);2009年

10 吳偉;海量存儲系統(tǒng)元數(shù)據(jù)管理的研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 王偉娜;分布式存儲系統(tǒng)中容錯子系統(tǒng)的設(shè)計與實現(xiàn)[D];東北大學(xué);2008年

2 王秀芬;對等網(wǎng)絡(luò)分布式存儲系統(tǒng)的研究[D];天津大學(xué);2010年

3 張凱;分布式存儲系統(tǒng)中節(jié)點修復(fù)問題研究[D];西南交通大學(xué);2012年

4 馮光曦;分布式存儲系統(tǒng)安全關(guān)鍵技術(shù)研究與實現(xiàn)[D];華中科技大學(xué);2011年

5 朱銳;基于網(wǎng)絡(luò)編碼的分布式存儲系統(tǒng)安全性研究[D];西安電子科技大學(xué);2014年

6 劉飛;基于云計算的分布式存儲系統(tǒng)的研究和應(yīng)用[D];西安工業(yè)大學(xué);2012年

7 張明;基于網(wǎng)絡(luò)編碼的一種分布式存儲系統(tǒng)應(yīng)用設(shè)計[D];南京理工大學(xué);2013年

8 孫程;基于糾刪碼的分布式存儲系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2010年

9 劉伯睿;海量數(shù)據(jù)小文件分布式存儲系統(tǒng)的設(shè)計與實現(xiàn)[D];湖南大學(xué);2013年

10 廖和敏;網(wǎng)絡(luò)編碼在分布式存儲系統(tǒng)中運用的研究[D];西南交通大學(xué);2014年

，

本文編號：1621649