【摘要】：數(shù)字信息量的快速增長對大規(guī)模數(shù)據(jù)存儲技術(shù)提出新的挑戰(zhàn),商業(yè)化低成本設(shè)備的大量應(yīng)用使得數(shù)據(jù)可靠性問題日益突出。分布式存儲通過維護(hù)額外的冗余數(shù)據(jù)以備容錯來提供數(shù)據(jù)可靠性保證,其中糾刪碼存儲通過編碼生成冗余數(shù)據(jù),大大優(yōu)化了存儲空間利用率,成為當(dāng)前最受認(rèn)可的分布式存儲可靠性方案之一。分布式糾刪碼存儲系統(tǒng)通常作為大規(guī)模集群底層存儲提供數(shù)據(jù)歸檔和備份服務(wù),其數(shù)據(jù)編碼、訪問和重構(gòu)過程中產(chǎn)生大量數(shù)據(jù)傳輸。這些數(shù)據(jù)傳輸一方面占據(jù)寶貴的帶寬從而影響整個集群的網(wǎng)絡(luò)性能,另一方面引發(fā)擁塞造成時間延遲,同時還產(chǎn)生很大能耗。因此,大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究是十分具有意義的�，F(xiàn)有的大規(guī)模分布式糾刪碼存儲系統(tǒng)研究存在一系列難點(diǎn)和挑戰(zhàn)。首先,在糾刪碼存儲系統(tǒng)中,可靠性、存儲空間利用率和重構(gòu)開銷是三個非常重要又相互制約的指標(biāo)。在同等可靠性前提下,提高存儲空間利用率意味著壓縮冗余數(shù)據(jù)量,這將導(dǎo)致數(shù)據(jù)重構(gòu)更加復(fù)雜、開銷更大。反之,簡化數(shù)據(jù)重構(gòu)則需要存儲更多的冗余數(shù)據(jù)以達(dá)到同等可靠性。因此,在權(quán)衡中提高可靠性、存儲空間利用率和重構(gòu)開銷是糾刪碼存儲系統(tǒng)研究中的一個難點(diǎn)。第二,時間延遲和帶寬開銷是糾刪碼存儲數(shù)據(jù)編碼、訪問和重構(gòu)中最關(guān)心的兩個性能指標(biāo)。直觀上,減少數(shù)據(jù)傳輸量可以間接減少擁塞,但有些情況下,減少數(shù)據(jù)傳輸量的同時可能增加傳輸跳數(shù),進(jìn)而增加時間延遲。因此,權(quán)衡數(shù)據(jù)傳輸開銷和時間延遲是一個研究難點(diǎn)。第三,大規(guī)模分布式糾刪碼存儲系統(tǒng)是糾刪碼算法和集群網(wǎng)絡(luò)拓?fù)涞挠袡C(jī)結(jié)合。當(dāng)前研究往往針對糾刪碼算法中的理想全聯(lián)通拓?fù)?而忽略了底層集群的實(shí)際網(wǎng)絡(luò)拓?fù)?導(dǎo)致算法的研究成果在實(shí)際系統(tǒng)網(wǎng)絡(luò)拓?fù)渲胁荒芾硐氲匕l(fā)揮效果。尤其,數(shù)據(jù)傳輸開銷受網(wǎng)絡(luò)拓?fù)浜蛡鬏斅酚傻挠绊懞艽?因此在研究中如何妥善結(jié)合考慮上層算法和底層拓?fù)湟彩且粋�挑戰(zhàn)。針對上述難點(diǎn)和挑戰(zhàn),本文對大規(guī)模分布式糾刪碼存儲系統(tǒng)中的數(shù)據(jù)編碼、放置和重構(gòu)這幾個重要處理環(huán)節(jié)展開研究。糾刪碼存儲首先對原始數(shù)據(jù)進(jìn)行編碼,然后通過數(shù)據(jù)放置將編碼數(shù)據(jù)存儲到集群各節(jié)點(diǎn)上,當(dāng)數(shù)據(jù)失效發(fā)生后,對失效數(shù)據(jù)的訪問和修復(fù)則需要通過數(shù)據(jù)重構(gòu)來達(dá)成。本文針對這幾個重要環(huán)節(jié)中的高效數(shù)據(jù)傳輸技術(shù)進(jìn)行了以下研究。數(shù)據(jù)重構(gòu)是糾刪碼存儲中最為重要的環(huán)節(jié),因此本文首先對最為常見的單點(diǎn)數(shù)據(jù)重構(gòu)中的數(shù)據(jù)傳輸開銷問題進(jìn)行研究。本文結(jié)合糾刪碼算法與集群網(wǎng)絡(luò)拓?fù)?提出一種聚合解碼方法,利用糾刪碼的信息聚合特性,在數(shù)據(jù)傳輸?shù)倪^程中進(jìn)行解碼,從而減少了總帶寬消耗量。聚合解碼的效果與數(shù)據(jù)在網(wǎng)絡(luò)拓?fù)渲械膫鬏斅窂接泻艽箨P(guān)系,于是本文將路徑選擇問題建模和歸約為斯坦納樹問題,提出一種基于蟻群加權(quán)的最短路徑啟發(fā)式算法加以解決。實(shí)驗(yàn)證明聚合解碼可以有效降低單點(diǎn)數(shù)據(jù)重構(gòu)中的傳輸開銷。在單點(diǎn)數(shù)據(jù)重構(gòu)研究的基礎(chǔ)上,本文進(jìn)一步針對多點(diǎn)數(shù)據(jù)重構(gòu)中的數(shù)據(jù)傳輸開銷問題進(jìn)行研究。本文首先分析闡明了多點(diǎn)數(shù)據(jù)重構(gòu)的重要意義,并基于馬爾科夫過程提出一個多點(diǎn)失效模型。然后提出面向多點(diǎn)重構(gòu)的協(xié)同聚合解碼方法Redu,將糾刪解碼中的冗余數(shù)據(jù)傳輸分為內(nèi)容重復(fù)和信息冗余,并針對兩種情況分別提出內(nèi)容重刪和信息聚合,協(xié)同減少整體數(shù)據(jù)傳輸開銷。為了最大化協(xié)同去冗余解碼的效果,本文還提出了相應(yīng)的路徑選擇方法。實(shí)驗(yàn)證明Redu可以有效降低多點(diǎn)數(shù)據(jù)重構(gòu)中的傳輸開銷。隨后,本文研究了糾刪碼存儲系統(tǒng)數(shù)據(jù)放置環(huán)節(jié)中的冗余布局問題。糾刪碼中冗余數(shù)據(jù)與原始數(shù)據(jù)的對應(yīng)稱為冗余關(guān)系,糾刪碼算法的冗余關(guān)系與集群拓?fù)涔?jié)點(diǎn)之間的映射稱為冗余布局。冗余布局決定了各原始數(shù)據(jù)和冗余數(shù)據(jù)具體放置在哪些存儲節(jié)點(diǎn)。當(dāng)前研究大多考慮理想的均衡失效模型,即各存儲節(jié)點(diǎn)失效概率相同。本文針對實(shí)際異構(gòu)失效模型下的冗余布局問題,分析了冗余關(guān)系和異構(gòu)失效模型對數(shù)據(jù)重構(gòu)的影響,提出一種基于異構(gòu)失效模型的糾刪碼存儲系統(tǒng)冗余布局策略He Match,優(yōu)化糾刪碼冗余關(guān)系在集群拓?fù)渖系姆胖脕韮?yōu)化數(shù)據(jù)重構(gòu)開銷。實(shí)驗(yàn)證明He Match可以有效減少數(shù)據(jù)傳輸開銷,同時增加系統(tǒng)可靠性。在對數(shù)據(jù)重構(gòu)和放置的研究的基礎(chǔ)上,本文接下來針對數(shù)據(jù)編碼環(huán)節(jié)中的傳輸開銷問題進(jìn)行研究。本文分析了糾刪編碼過程,發(fā)現(xiàn)該過程不僅具有類似糾刪解碼的信息聚合特性,同時還具有將編碼數(shù)據(jù)塊分散存儲到不同節(jié)點(diǎn)的數(shù)據(jù)分布特性�；谶@兩個特性,本文提出一種基于樹的協(xié)同去冗余編碼方法,將糾刪編碼過程中的數(shù)據(jù)傳輸分為干路和支路,分別提出基于干路的去重傳輸和基于支路的聚合編碼來消減冗余傳輸開銷,并提出優(yōu)化的路徑樹構(gòu)造方法。實(shí)驗(yàn)證明協(xié)同去冗余編碼方法可以有效減少數(shù)據(jù)編碼環(huán)節(jié)中的傳輸開銷。綜上所述,本文對大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)進(jìn)行了一系列研究,對于推動糾刪碼存儲技術(shù)的發(fā)展和提升分布式存儲集群網(wǎng)絡(luò)性能具有一定的理論意義和應(yīng)用價值。
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP333
【圖文】：

糾刪碼存儲系統(tǒng)模型糾刪碼存儲系統(tǒng)的結(jié)構(gòu)由上層糾刪碼算法邏輯視圖和下層集群網(wǎng)絡(luò)拓?fù)湮锢硪晥D兩部分結(jié)合而成，如圖1.6。邏輯視圖中，每個糾刪編碼組中的n個數(shù)據(jù)塊放置在全連通的n個節(jié)點(diǎn)上。而在物理拓?fù)渲校m刪碼存儲系統(tǒng)坐落于集群上，集群的網(wǎng)絡(luò)拓?fù)淇赡転闃湫巍h(huán)形等，邏輯視圖中的n個節(jié)點(diǎn)對應(yīng)的是物理集群網(wǎng)絡(luò)拓?fù)渲衝個物理存儲節(jié)點(diǎn)。分布式糾刪碼存儲系統(tǒng)中最基本的環(huán)節(jié)是數(shù)據(jù)編碼、放置和重構(gòu)。首先對原始數(shù)據(jù)進(jìn)行編碼，然后通過數(shù)據(jù)放置將編碼數(shù)據(jù)存儲到物第5頁

MTTMF的定義為：一個分布式糾刪碼存儲系統(tǒng)從初始化到出現(xiàn)多點(diǎn)失效的平均時間。圖4.2闡述了我們提出的基于馬爾科夫過程的多點(diǎn)失效模型。圖4.2基于馬爾科夫過程的多點(diǎn)失效模型對于(n, k) 系統(tǒng) RS 糾刪碼存儲系統(tǒng)的基于馬爾科夫過程的多點(diǎn)失效模型，系統(tǒng)共有N個存儲節(jié)點(diǎn)，每個糾刪編碼組有三個狀態(tài)如下，1.狀態(tài)0糾刪編碼組中的全部n個編碼數(shù)據(jù)塊均有效可用。第48頁

n k 個冗余數(shù)據(jù)塊）發(fā)送到n個不同的存儲節(jié)點(diǎn)上，這就是數(shù)據(jù)分布特性。圖6.1展現(xiàn)了糾刪碼存儲系統(tǒng)中的糾刪編碼數(shù)據(jù)分布，其中圖的下半部分為邏輯上的數(shù)據(jù)分布視圖，圖的上半部分為實(shí)際系統(tǒng)集群中的數(shù)據(jù)分布傳輸。編碼過程中傳輸?shù)木幋a數(shù)據(jù)塊都是由幾個原始數(shù)據(jù)塊進(jìn)行信息聚合而成的，因此數(shù)據(jù)分布實(shí)際上是對這幾個原始數(shù)據(jù)塊的信息進(jìn)行廣播�；�4.3.1中對傳輸冗余的研究，信息廣播過程中也存在內(nèi)容重復(fù)。但由于傳統(tǒng)糾刪編碼采用先計算、后傳輸?shù)乃悸罚貜?fù)數(shù)據(jù)在源節(jié)點(diǎn)就變成了編碼數(shù)據(jù)塊，從而不能在傳輸中直接通過基于合并的去重傳輸來消除冗余。圖6.1糾刪編碼數(shù)據(jù)分布過程6.3 基于樹的協(xié)同去冗余編碼方法基于編碼的信息聚合與數(shù)據(jù)分布特性，原始數(shù)據(jù)塊信息冗余地存在于編碼數(shù)據(jù)塊中，造成了傳輸冗余。為了減少糾刪編碼過程中傳輸冗余消耗的額外帶寬，我們提出一種基于樹的協(xié)同去冗余編碼方法

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅;藍(lán)光存儲系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應(yīng)用卓越獎 醫(yī)療行業(yè)應(yīng)用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機(jī)用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應(yīng)用研究[J];計算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲[J];每周電腦報;2000年18期

相關(guān)會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會學(xué)術(shù)年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲系統(tǒng)設(shè)計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設(shè)計院存儲系統(tǒng)建設(shè)初探[A];中國公路學(xué)會計算機(jī)應(yīng)用分會2004年年會學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會2006年年會“中尺度天氣動力學(xué)、數(shù)值模擬和預(yù)測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實(shí)現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集（三）[C];2006年

相關(guān)重要報紙文章 前10條

1 ;第三季度中國存儲系統(tǒng)市場達(dá)19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2005年

2 本報記者 薛斐;服務(wù)：存儲系統(tǒng)的靈魂[N];計算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務(wù)報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設(shè)計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲系統(tǒng)有了“設(shè)計院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 趙雨虹;云存儲系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2015年

4 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

5 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

6 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

7 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

8 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

9 刁瑩;用數(shù)學(xué)建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

10 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲系統(tǒng)研究[D];電子科技大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設(shè)計與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實(shí)現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲系統(tǒng)存儲引擎設(shè)計與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設(shè)計與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲系統(tǒng)設(shè)計與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

本文編號：2776613