本文關(guān)鍵詞：跨數(shù)據(jù)中心容錯(cuò)的云存儲(chǔ)系統(tǒng)

  更多相關(guān)文章： 跨數(shù)據(jù)中心容錯(cuò) 云存儲(chǔ)系統(tǒng) 分布式系統(tǒng)

【摘要】：現(xiàn)有主流的云存儲(chǔ)系統(tǒng)大多只支持單數(shù)據(jù)中心內(nèi)的容錯(cuò),其假設(shè)數(shù)據(jù)中心整體是永不故障的。但事實(shí)上,數(shù)據(jù)中心也會(huì)出現(xiàn)整體故障。為了容忍數(shù)據(jù)中心整體故障,需要考慮跨數(shù)據(jù)中心容錯(cuò)場(chǎng)景的特點(diǎn),包括數(shù)據(jù)中心間的延遲高、帶寬貴以及數(shù)據(jù)塊大量不可用等。根據(jù)這些特點(diǎn)設(shè)計(jì)容錯(cuò)算法和實(shí)現(xiàn)云存儲(chǔ)系統(tǒng)時(shí),又存在容錯(cuò)性、延遲、吞吐量和成本之間權(quán)衡的困難。本文提出了適合跨數(shù)據(jù)中心容錯(cuò)場(chǎng)景的算法,并實(shí)現(xiàn)了相應(yīng)的云存儲(chǔ)系統(tǒng),最后通過(guò)實(shí)驗(yàn)驗(yàn)證了所提出算法的可行性。本文的主要工作有：1.本文首先基于主流單數(shù)據(jù)中心內(nèi)容錯(cuò)的編碼算法,針對(duì)跨數(shù)據(jù)中心容錯(cuò)的場(chǎng)景特點(diǎn),設(shè)計(jì)了對(duì)應(yīng)的跨數(shù)據(jù)中心容錯(cuò)算法,包括MC-CDFA算法、RSC-CDFA算法和LRC-CDFA算法。但經(jīng)過(guò)分析后發(fā)現(xiàn),這些容錯(cuò)算法有一些容錯(cuò)性不足、成本高等問(wèn)題。2.本文在主流Erasure Codes算法低存儲(chǔ)成本的基礎(chǔ)上,引入了Domain的概念,提出了Domain Fault Codes(DFC)和拓?fù)涓兄乃悸?在獲取低存儲(chǔ)成本、低修復(fù)帶寬成本的同時(shí),提供能容忍數(shù)據(jù)中心級(jí)別故障的容錯(cuò)性。以DFC和拓?fù)涓兄獮榛A(chǔ),本文提出了適用于冷數(shù)據(jù)歸檔等場(chǎng)景的DFC-TCDFA算法。為了優(yōu)化延遲,推廣到通用場(chǎng)景,本文又進(jìn)一步提出了適用于通用場(chǎng)景的MCLDFC-TCDFA算法。3.本文以DFC-TCDFA算法為核心實(shí)現(xiàn)了一個(gè)跨數(shù)據(jù)中心容錯(cuò)的云存儲(chǔ)系統(tǒng),最后通過(guò)模擬數(shù)據(jù)中心故障等實(shí)驗(yàn)驗(yàn)證了該系統(tǒng)的高容錯(cuò)性、高可用性、低成本等特性,進(jìn)而驗(yàn)證了所提出的DFC編碼和DFC-TCDFA算法的可行性。
【關(guān)鍵詞】：跨數(shù)據(jù)中心容錯(cuò) 云存儲(chǔ)系統(tǒng) 分布式系統(tǒng)
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-11
• 第1章 緒論11-19
• 1.1 跨數(shù)據(jù)中心容錯(cuò)的必要性11-12
• 1.2 跨數(shù)據(jù)中心容錯(cuò)的場(chǎng)景特點(diǎn)12-13
• 1.2.1 數(shù)據(jù)中心間網(wǎng)絡(luò)的特點(diǎn)12
• 1.2.2 數(shù)據(jù)中心整體故障的特點(diǎn)12-13
• 1.3 跨數(shù)據(jù)中心容錯(cuò)的困難13-15
• 1.3.1 容錯(cuò)性與寫延遲13-14
• 1.3.2 容錯(cuò)性與成本14
• 1.3.3 讀延遲、寫延遲與成本14-15
• 1.3.4 寫延遲與吞吐量15
• 1.4 相關(guān)研究15-17
• 1.5 本文貢獻(xiàn)點(diǎn)17
• 1.6 本文結(jié)構(gòu)17-18
• 1.7 本章小結(jié)18-19
• 第2章 容錯(cuò)算法設(shè)計(jì)19-54
• 2.1 CDFA算法的目標(biāo)19
• 2.2 MC-CDFA算法19-22
• 2.2.1 多份拷貝簡(jiǎn)介19
• 2.2.2 MC-CDFA算法設(shè)計(jì)19-21
• 2.2.3 優(yōu)缺點(diǎn)分析21-22
• 2.3 RSC-CDFA算法22-27
• 2.3.1 Reed Solomon Codes簡(jiǎn)介22
• 2.3.2 RSC-CDFA算法設(shè)計(jì)22-25
• 2.3.3 優(yōu)缺點(diǎn)分析25-27
• 2.4 LRC-CDFA算法27-40
• 2.4.1 Locally Repairable Codes簡(jiǎn)介27-28
• 2.4.2 LRC-CDFA算法設(shè)計(jì)28-39
• 2.4.3 優(yōu)缺點(diǎn)分析39-40
• 2.5 TCDFA算法40-53
• 2.5.1 Domain Fault Codes算法41-42
• 2.5.2 DFC-TCDFA算法設(shè)計(jì)42-49
• 2.5.3 MCLDFC-TCDFA算法設(shè)計(jì)49-53
• 2.6 本章小結(jié)53-54
• 第3章 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)54-69
• 3.1 算法選擇和系統(tǒng)設(shè)計(jì)目標(biāo)54
• 3.2 接口語(yǔ)義54-55
• 3.3 系統(tǒng)角色55-58
• 3.3.1 Client角色55-56
• 3.3.2 Master角色56-57
• 3.3.3 BlockNode角色57-58
• 3.4 Block和BlockGroup的狀態(tài)機(jī)58-61
• 3.5 操作的工作流61-66
• 3.5.1 create工作流61-62
• 3.5.2 write工作流62-64
• 3.5.3 read工作流64
• 3.5.4 erase工作流64-65
• 3.5.5 fetch工作流65-66
• 3.6 拓?fù)涓兄膶?shí)現(xiàn)66
• 3.7 Block恢復(fù)66-67
• 3.7.1 離線恢復(fù)66-67
• 3.7.2 在線恢復(fù)67
• 3.8 垃圾回收67-68
• 3.9 透明加密68
• 3.10 本章小結(jié)68-69
• 第4章 實(shí)驗(yàn)驗(yàn)證69-78
• 4.1 實(shí)驗(yàn)一：數(shù)據(jù)中心宕機(jī)模擬實(shí)驗(yàn)69-71
• 4.1.1 實(shí)驗(yàn)?zāi)繕?biāo)69
• 4.1.2 實(shí)驗(yàn)配置和模擬方案69
• 4.1.3 實(shí)驗(yàn)步驟69-70
• 4.1.4 實(shí)驗(yàn)結(jié)果與分析70-71
• 4.2 實(shí)驗(yàn)二：離線恢復(fù)實(shí)驗(yàn)71-75
• 4.2.1 實(shí)驗(yàn)?zāi)繕?biāo)71
• 4.2.2 實(shí)驗(yàn)配置和模擬方案71-72
• 4.2.3 實(shí)驗(yàn)步驟72
• 4.2.4 實(shí)驗(yàn)結(jié)果與分析72-75
• 4.3 實(shí)驗(yàn)三：入侵掃描模擬實(shí)驗(yàn)75-77
• 4.3.1 實(shí)驗(yàn)?zāi)繕?biāo)75
• 4.3.2 實(shí)驗(yàn)配置和模擬方案75
• 4.3.3 實(shí)驗(yàn)步驟75
• 4.3.4 實(shí)驗(yàn)結(jié)果與分析75-77
• 4.4 本章小結(jié)77-78
• 第5章 總結(jié)與展望78-80
• 參考文獻(xiàn)80-82
• 攻讀碩士學(xué)位期間主要的研究成果82-83
• 致謝83

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國(guó)計(jì)算機(jī)用戶;2005年31期

4 謝世誠(chéng);;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國(guó)有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國(guó)計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國(guó)公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國(guó)氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長(zhǎng)國(guó);苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 ;第三季度中國(guó)存儲(chǔ)系統(tǒng)市場(chǎng)達(dá)19.1億元[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國(guó)稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場(chǎng)價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國(guó)企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 趙雨虹;云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 陸承濤;存儲(chǔ)系統(tǒng)性能管理問(wèn)題的研究[D];華中科技大學(xué);2010年

3 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

5 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

6 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

7 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

8 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲(chǔ)系統(tǒng)研究[D];電子科技大學(xué);2009年

9 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

10 田敬;對(duì)等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲(chǔ)模塊的研究與實(shí)現(xiàn)[D];中國(guó)艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng)存儲(chǔ)引擎設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲(chǔ)系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲(chǔ)系統(tǒng)設(shè)計(jì)與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲(chǔ)環(huán)境下的混合存儲(chǔ)算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號(hào)：588721