本文關(guān)鍵詞：磁盤陣列存儲(chǔ)系統(tǒng)的分組編碼技術(shù)研究

  更多相關(guān)文章： 存儲(chǔ)結(jié)構(gòu) 快速修復(fù) 數(shù)據(jù)可靠性 磁盤陣列

【摘要】：隨著互聯(lián)網(wǎng)的快速發(fā)展,當(dāng)前每天都將產(chǎn)生海量的數(shù)據(jù)。為了存儲(chǔ)這些數(shù)據(jù),獨(dú)立磁盤冗余陣列(RAID)利用多個(gè)磁盤提升系統(tǒng)容量和讀寫性能。在大規(guī)模RAID系統(tǒng)中,由于磁盤數(shù)較多,磁盤故障是一種常態(tài)。因此,RAID系統(tǒng)通常會(huì)額外保存冗余數(shù)據(jù),以保證數(shù)據(jù)可靠性。當(dāng)發(fā)生磁盤故障時(shí),需要將壞盤修復(fù),以維持?jǐn)?shù)據(jù)可用性。并且,修復(fù)過程應(yīng)該盡可能更快,因?yàn)槿绻迯?fù)時(shí)間過長,將長時(shí)間影響用戶訪問,并且在修復(fù)期間,若更多的磁盤發(fā)生故障,有可能造成數(shù)據(jù)的永久丟失。然而,磁盤容量發(fā)展迅速,磁盤讀寫性能卻發(fā)展緩慢,傳統(tǒng)RAID系統(tǒng)要修復(fù)單個(gè)TB級(jí)容量的磁盤將耗費(fèi)大量時(shí)間。為了極大地加快存儲(chǔ)系統(tǒng)單盤修復(fù)速度,本文提出了一種新的RAID結(jié)構(gòu),叫做OI-RAID,它的本質(zhì)是一種分組編碼技術(shù)。OI-RAID是一種分層結(jié)構(gòu),包含了兩層編碼,即外層編碼和內(nèi)層編碼。外層編碼基于平衡不完全區(qū)組設(shè)計(jì)(BIBD)和一種偏移輪轉(zhuǎn)策略,能利用大量磁盤的帶寬并行修復(fù)單個(gè)壞盤：內(nèi)層編碼基于每條對(duì)角線,部署在每個(gè)磁盤組中。本文通過具體示例介紹了OI-RAID的構(gòu)建方法。我們?cè)趦蓪泳幋a都部署了RAID5碼,通過實(shí)驗(yàn)驗(yàn)證并分析了OI-RAID的各方面性能。結(jié)果表明,OI-RAID能利用不超過350個(gè)磁盤,使加速比達(dá)到60,因此能在短時(shí)間內(nèi)修復(fù)TB級(jí)容量的磁盤；OI-RAID在單盤修復(fù)過程中的數(shù)據(jù)讀取總量遠(yuǎn)低于相同容錯(cuò)能力的MDS糾刪碼,節(jié)省了網(wǎng)絡(luò)帶寬和磁盤讀寫開銷；OI-RAID能利用接近于理論最少的磁盤數(shù)獲取極高的單盤修復(fù)性能,保持了較低的磁盤開銷；OI-RAID的存儲(chǔ)開銷較低,介于0.2到0.6之間；OI-RAID的更新開銷已達(dá)到最優(yōu)。在實(shí)際的應(yīng)用場(chǎng)景中,為了降低分組編碼技術(shù)對(duì)存儲(chǔ)系統(tǒng)磁盤數(shù)的限制,我們分別基于Steiner三連系和完全圖構(gòu)建了OI-RAID,并提出了兩種虛擬磁盤技術(shù)。這些方法都額外耗費(fèi)了更多的磁盤開銷,以換取OI-RAID構(gòu)建的靈活性,為OI-RAID的參數(shù)提供了更多選擇。為了進(jìn)一步提高OI-RAID的數(shù)據(jù)可靠性,我們?cè)贠I-RAID的兩層編碼中分別部署了容多錯(cuò)的MDS糾刪碼,其中,若兩層編碼都部署容3錯(cuò)的MDS糾刪碼,整個(gè)OI-RAID系統(tǒng)可容任意15個(gè)磁盤故障,極大地提高了數(shù)據(jù)可靠性。最后,我們還討論了OI-RAID這種分組編碼技術(shù)在數(shù)據(jù)中心中的應(yīng)用,并提出了一種混合修復(fù)算法,降低了單盤修復(fù)的網(wǎng)絡(luò)開銷。
【關(guān)鍵詞】：存儲(chǔ)結(jié)構(gòu) 快速修復(fù) 數(shù)據(jù)可靠性 磁盤陣列
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第1章 緒論11-21
• 1.1 分布式存儲(chǔ)11-15
• 1.1.1 互聯(lián)網(wǎng)時(shí)代的海量數(shù)據(jù)11-12
• 1.1.2 分布式存儲(chǔ)系統(tǒng)與RAID12-15
• 1.2 存儲(chǔ)系統(tǒng)的容錯(cuò)與修復(fù)15-17
• 1.2.1 復(fù)制與糾刪碼15-16
• 1.2.2 加快存儲(chǔ)系統(tǒng)修復(fù)的相關(guān)研究工作16-17
• 1.3 本文的主要研究工作與貢獻(xiàn)17-18
• 1.4 本文組織結(jié)構(gòu)18-21
• 第2章 存儲(chǔ)系統(tǒng)修復(fù)技術(shù)與相關(guān)研究工作21-31
• 2.1 糾刪碼技術(shù)21-25
• 2.1.1 糾刪碼簡介21-22
• 2.1.2 糾刪碼的編碼與修復(fù)22-25
• 2.2 優(yōu)化修復(fù)算法的相關(guān)工作25-26
• 2.2.1 RDP碼混合修復(fù)25-26
• 2.2.2 基于熱度的多線程修復(fù)26
• 2.3 優(yōu)化存儲(chǔ)結(jié)構(gòu)的相關(guān)工作26-29
• 2.3.1 偏移子陣列RAID結(jié)構(gòu)27-28
• 2.3.2 Parity Declustering技術(shù)28-29
• 2.4 本文的研究意義29-30
• 2.5 本章小結(jié)30-31
• 第3章 加快修復(fù)的磁盤陣列分組編碼技術(shù)31-53
• 3.1 分組編碼技術(shù)的具體示例31-33
• 3.1.1 外層編碼32-33
• 3.1.2 內(nèi)層編碼33
• 3.1.3 性能分析33
• 3.2 分組編碼的一般構(gòu)建方法33-36
• 3.2.1 構(gòu)建BIBD34-35
• 3.2.2 編碼設(shè)計(jì)35-36
• 3.3 分組編碼的容錯(cuò)與修復(fù)36-40
• 3.3.1 數(shù)據(jù)可靠性36-38
• 3.3.2 修復(fù)算法38-40
• 3.4 實(shí)驗(yàn)與分析40-52
• 3.4.1 修復(fù)性能的實(shí)驗(yàn)驗(yàn)證41-43
• 3.4.2 加速比43-46
• 3.4.3 讀取數(shù)據(jù)比46-47
• 3.4.4 系統(tǒng)規(guī)模下界47-49
• 3.4.5 存儲(chǔ)開銷49-50
• 3.4.6 更新開銷50-51
• 3.4.7 綜合對(duì)比51-52
• 3.5 本章小結(jié)52-53
• 第4章 分組編碼技術(shù)在實(shí)際部署中的擴(kuò)展問題53-65
• 4.1 分組編碼技術(shù)的其它部署方法53-58
• 4.1.1 用Steiner三連系構(gòu)建區(qū)域布局53-55
• 4.1.2 用完全圖構(gòu)建區(qū)域布局55-58
• 4.2 虛擬磁盤技術(shù)58-60
• 4.2.1 虛擬整組磁盤58-59
• 4.2.2 虛擬單個(gè)磁盤59-60
• 4.3 提高分組編碼技術(shù)數(shù)據(jù)可靠性的方法60-62
• 4.4 分組編碼技術(shù)在數(shù)據(jù)中心中的應(yīng)用62-63
• 4.5 本章小結(jié)63-65
• 第5章 總結(jié)與展望65-67
• 5.1 本文總結(jié)65
• 5.2 工作展望65-67
• 參考文獻(xiàn)67-71
• 致謝71-73
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果73

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國計(jì)算機(jī)用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 ;第三季度中國存儲(chǔ)系統(tǒng)市場(chǎng)達(dá)19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場(chǎng)價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 趙雨虹;云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲(chǔ)系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲(chǔ)系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2015年

4 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

5 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

6 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

7 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

8 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

9 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

10 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲(chǔ)系統(tǒng)研究[D];電子科技大學(xué);2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 俞新杰;跨數(shù)據(jù)中心容錯(cuò)的云存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2016年

3 王振升;可重構(gòu)堆疊存儲(chǔ)系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)研究[D];太原理工大學(xué);2016年

4 王海群;面向數(shù)字社區(qū)的云存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];中國海洋大學(xué);2015年

5 范海震;基于Linux的MPEG-4圖像壓縮存儲(chǔ)系統(tǒng)[D];西安電子科技大學(xué);2008年

6 陳運(yùn)海;編碼容錯(cuò)的云存儲(chǔ)系統(tǒng)與性能優(yōu)化[D];南京大學(xué);2013年

7 盧義婉;基于網(wǎng)絡(luò)編碼的云存儲(chǔ)系統(tǒng)中負(fù)載均衡技術(shù)研究[D];南京大學(xué);2013年

8 王謙;云存儲(chǔ)系統(tǒng)基于屬性的數(shù)據(jù)訪問控制研究[D];江蘇大學(xué);2016年

9 蔡京津;基于Orleans的塊存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

10 王丹丹;數(shù)字射頻存儲(chǔ)系統(tǒng)中高速DAC電路的設(shè)計(jì)與實(shí)現(xiàn)[D];燕山大學(xué);2016年

，

本文編號(hào)：904563