本文關鍵詞：分布式存儲系統(tǒng)中的失效節(jié)點修復研究

  更多相關文章： 分布式存儲 網絡編碼 再生碼 局部性修復編碼 節(jié)點修復

【摘要】：隨著數據海量化時代的到來,分布式存儲技術以其高擴展性和廉價性逐漸成為解決海量數據存儲的重要手段。由于分布式存儲系統(tǒng)規(guī)模龐大、磁盤故障以及其它網絡固件發(fā)生異常而導致的節(jié)點失效問題已經成為一種普遍情況。為了確保數據的可用性,通常需要在節(jié)點存儲一部分冗余數據,且為了保持分布式存儲系統(tǒng)高可靠性,需要對失效存儲節(jié)點及時修復。分布式存儲系統(tǒng)通常采用糾刪碼來提高系統(tǒng)的可靠性,與復制策略相比,糾刪碼可以使分布式存儲系統(tǒng)的存儲開銷達到最優(yōu),但是在修復單個失效節(jié)點時必須以還原整個原文件為代價。再生碼在保證系統(tǒng)具有較低存儲開銷的同時,可以更好地降低修復失效節(jié)點所帶來的帶寬開銷,具有重要的應用前景。與此同時,如何降低修復失效節(jié)點所帶來的磁盤讀取開銷,也具有十分重要的意義。為了進一步降低分布式存儲系統(tǒng)修復單個失效節(jié)點所需的帶寬開銷和磁盤讀取開銷,本文主要研究以下內容:(1)研究了簡單再生碼,并在此基礎上對簡單再生碼進行了改進,提出基于簡單再生碼的分段編碼方案。通過將簡單再生碼中的f個具有相同下標的編碼塊分成兩段,將每段中的編碼塊進行異或操作生成一個新的校驗塊。與簡單再生碼相比,分段編碼方案在增加了少量存儲開銷的基礎上,可以在很大程度上降低修復單個失效節(jié)點所帶來的帶寬開銷和磁盤讀取開銷。(2)提出局部最小存儲再生碼。在基于最小存儲再生碼的逐步構造編碼塊算法的基礎上,通過將分布式存儲系統(tǒng)中的節(jié)點進行分組,然后將子文件分別在各分組中構造一個規(guī)模較小的最小存儲再生碼,對失效節(jié)點則在修復組內利用逐步構造編碼塊算法進行局部修復,進一步給出了局部最小存儲再生碼在不同情況下的分組方案。與基于最小存儲再生碼的逐步構造編碼塊算法相比,相同規(guī)模的局部最小存儲再生碼同樣可以達到存儲開銷下限,并且可以有效降低修復單個失效節(jié)點所需的帶寬開銷和磁盤讀取開銷。
【關鍵詞】：分布式存儲 網絡編碼 再生碼 局部性修復編碼 節(jié)點修復
【學位授予單位】：長安大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-9
• 第一章 緒論9-19
• 1.1 研究背景9-11
• 1.1.1 海量數據9-10
• 1.1.2 分布式存儲10-11
• 1.2 分布式存儲系統(tǒng)中的容錯問題及研究現狀11-17
• 1.2.1 分布式存儲系統(tǒng)的容錯問題11-12
• 1.2.2 分布式存儲系統(tǒng)常見的容錯策略12-14
• 1.2.3 分布式存儲系統(tǒng)容錯問題研究現狀14-17
• 1.3 本文的研究內容及章節(jié)安排17-19
• 1.3.1 研究內容17-18
• 1.3.2 章節(jié)安排18-19
• 第二章 再生碼和局部性修復編碼概述19-33
• 2.1 分布式存儲系統(tǒng)概述19-22
• 2.1.1 數據重構19-20
• 2.1.2 失效節(jié)點修復過程20-21
• 2.1.3 不同的修復方式21-22
• 2.2 再生碼概述22-29
• 2.2.1 網絡編碼22-24
• 2.2.2 再生碼24-27
• 2.2.3 基于最小存儲再生碼的逐步構造編碼塊算法27-29
• 2.3 局部性修復編碼29-32
• 2.4 本章小結32-33
• 第三章 基于簡單再生碼的分段編碼方案33-47
• 3.1 簡單再生碼33-35
• 3.2 基于簡單再生碼的分段編碼方案35-41
• 3.2.1 方案描述35-37
• 3.2.2 單節(jié)點修復過程37-41
• 3.2.3 分段編碼方案中f的取值41
• 3.3 性能分析41-45
• 3.3.1 帶寬開銷41-44
• 3.3.2 磁盤讀取開銷44
• 3.3.3 存儲開銷44-45
• 3.4 本章小結45-47
• 第四章 局部最小存儲再生碼47-64
• 4.1 局部最小存儲再生碼47-55
• 4.1.1 方案描述47-52
• 4.1.2 n取值范圍討論52
• 4.1.3 單失效節(jié)點修復52-55
• 4.2 性能分析55-62
• 4.2.1 存儲開銷55-57
• 4.2.2 帶寬開銷57-61
• 4.2.3 磁盤讀取開銷61-62
• 4.3 本章小結62-64
• 總結與展望64-66
• 參考文獻66-71
• 攻讀碩士學位期間取得的研究成果71-72
• 致謝72

【相似文獻】

中國期刊全文數據庫 前10條

1 何公明;張元濤;;面向數字媒體的高性能分布式存儲系統(tǒng)的研究與應用[J];廣播電視信息;2009年10期

2 范劍波,郭建康;分布式存儲系統(tǒng)性能模型的建立與應用[J];計算機工程與應用;2001年13期

3 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計算機工程;2001年06期

4 吳英;謝廣軍;劉t，

本文編號：736672