本文關鍵詞：分布式存儲中基于拓撲感知的修復優(yōu)化技術研究

  更多相關文章： 網(wǎng)絡拓撲 MDS編碼 數(shù)據(jù)修復 斯坦納樹

【摘要】：在大規(guī)模的分布式存儲系統(tǒng)中,節(jié)點失效經(jīng)常發(fā)生。隨著編碼的引入,在降低存儲開銷的同時,通過數(shù)據(jù)再生來保證可靠性。當節(jié)點失效時,需要在新的節(jié)點上產(chǎn)生新的冗余數(shù)據(jù)以保證系統(tǒng)的可靠性,這個新的冗余數(shù)據(jù)存放節(jié)點被稱為新來節(jié)點。數(shù)據(jù)再生的過程中,通常主要考慮兩個方面：傳輸代價和修復時間。在數(shù)據(jù)再生的過程中,傳輸代價越小意味著在網(wǎng)絡中產(chǎn)生的流量越少。而修復時間又直接影響著整個系統(tǒng)的可靠性和可用性。然而,這兩個指標又高度依賴于網(wǎng)絡拓撲結構,不幸的是,在現(xiàn)有的工作中,網(wǎng)絡拓撲結構往往被忽略了。一種理想的網(wǎng)絡互連模型假設任意兩個節(jié)點之間直接互連,而且互連的鏈路是對稱的,而理想拓撲模型和實際網(wǎng)絡拓撲結構之間的差異又會導致嚴重的性能下降。雖然MDS編碼已經(jīng)被證明能夠在降低存儲開銷的同時,提高系統(tǒng)的可靠性。但是現(xiàn)有的MDS編碼都是基于理想的拓撲模型,新來節(jié)點直接從剩余的存儲節(jié)點中獲取數(shù)據(jù)而不考慮傳輸距離以及傳輸鏈路的異構性,所以修復時間往往被瓶頸鏈路所限制,傳輸代價則被理想的拓撲模型所掩蓋。在本篇論文中,1)針對網(wǎng)絡編碼框架下的數(shù)據(jù)修復優(yōu)化問題,提出了基于Stenier-Tree算法的啟發(fā)式修復樹構造算法,通過理論分析建立了修復帶寬與網(wǎng)絡流量的平衡關系。2)設計了基于啟發(fā)式修復樹構造算法的數(shù)據(jù)修復協(xié)議,并通過實驗對協(xié)議性能進行了分析,為分布式存儲系統(tǒng)中的數(shù)據(jù)修復提供了支持。試驗結果表明,在不引入過多傳輸流量的約束下,修復帶寬得到了大大的提高,這使得整個修復過程時間得到了縮短。
【關鍵詞】：網(wǎng)絡拓撲 MDS編碼 數(shù)據(jù)修復 斯坦納樹
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-12
• 第一章 緒論12-18
• 1.1 背景介紹12-13
• 1.2 分布式存儲中基于編碼的數(shù)據(jù)修復13-16
• 1.2.1 節(jié)點修復模型13-15
• 1.2.2 節(jié)點修復開銷15-16
• 1.2.3 網(wǎng)絡拓撲16
• 1.3 本文組織結構16-18
• 第二章 相關工作18-26
• 2.1 分布式存儲中的編碼特性18-20
• 2.2 數(shù)據(jù)修復中的流量優(yōu)化20-23
• 2.2.1 問題分析20-21
• 2.2.2 Aggregation Codes21-23
• 2.3 節(jié)點修復中的帶寬利用最大化23-25
• 2.3.1 基于拓撲的樹形修復23-24
• 2.3.2 再生碼(regeneration codes)與樹形修復24-25
• 2.4 小結25-26
• 第三章 基于拓撲感知的樹形修復26-41
• 3.1 背景與現(xiàn)狀26-28
• 3.2 系統(tǒng)模型28-30
• 3.2.1 拓撲模型28-29
• 3.2.2 編碼與解碼29-30
• 3.3 基于網(wǎng)絡拓撲的樹形修復30-35
• 3.3.1 問題分析30-32
• 3.3.2 基于Stenier-Tree的啟發(fā)式算法32-35
• 3.4 理論分析35-37
• 3.4.1 瓶頸帶寬35-36
• 3.4.2 修復流量36-37
• 3.5 試驗和性能評估37-40
• 3.5.1 瓶頸帶寬37-38
• 3.5.2 網(wǎng)絡流量38
• 3.5.3 趨近比38-40
• 3.6 小結40-41
• 第四章 樹形修復系統(tǒng)的設計與實現(xiàn)41-62
• 4.1 系統(tǒng)結構41-42
• 4.2 系統(tǒng)交互流程42-43
• 4.3 STNRP(Stenier Tree based Node Recovery Protocol)協(xié)議43-46
• 4.3.1 功能概述43
• 4.3.2 協(xié)議設計43-44
• 4.3.3 數(shù)據(jù)結構44-46
• 4.4 CDTP(Coded Data Transfer Protocol)協(xié)議46-49
• 4.4.1 功能概述46
• 4.4.2 協(xié)議設計46-48
• 4.4.3 數(shù)據(jù)結構48-49
• 4.5 軟件模塊的定義49-57
• 4.5.1 網(wǎng)絡監(jiān)測49-50
• 4.5.2 編碼模塊50-53
• 4.5.3 樹形修復模塊53-57
• 4.6 實驗評估57-61
• 4.6.1 再生樹的構建時間57-58
• 4.6.2 修復時間58-60
• 4.6.3 修復流量60-61
• 4.7 小結61-62
• 第五章 總結與展望62-64
• 5.1 總結62-63
• 5.2 展望63-64
• 參考文獻64-67
• 簡歷與科研成果67-68
• 致謝68-69

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應用[J];廣播電視信息;2009年10期

2 范劍波,郭建康;分布式存儲系統(tǒng)性能模型的建立與應用[J];計算機工程與應用;2001年13期

3 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計算機工程;2001年06期

4 吳英;謝廣軍;劉t，

本文編號：952404