本文關(guān)鍵詞：基于RDP編碼的分布式存儲系統(tǒng)磁盤故障修復(fù)

  更多相關(guān)文章： 分布式存儲系統(tǒng) RDP編碼 磁盤連續(xù) 單節(jié)點(diǎn)故障修復(fù)

【摘要】：建立維護(hù)可靠的、可擴(kuò)展、低成本、高性能的分布式存儲系統(tǒng)是云計(jì)算、大數(shù)據(jù)以及互聯(lián)網(wǎng)公司應(yīng)用后臺基礎(chǔ)的主要目標(biāo)。分布式存儲系統(tǒng)擁有著傳統(tǒng)集中式存儲所無法比擬的優(yōu)勢,然而,由于分布式存儲系統(tǒng)組件的不可靠,運(yùn)行過程中存在著種種異常情況,在各種異常中磁盤故障發(fā)生的概率最高,因此如何高效、透明地恢復(fù)磁盤故障,重構(gòu)磁盤數(shù)據(jù),是分布式存儲系統(tǒng)所面臨的重大問題。 在容多錯的分布式存儲系統(tǒng)中存在著頻繁的單節(jié)點(diǎn)故障,使得單節(jié)點(diǎn)故障數(shù)據(jù)修復(fù)問題成為研究的熱點(diǎn)。基于糾刪碼的分布式存儲系統(tǒng)數(shù)據(jù)修復(fù)在現(xiàn)階段主要考慮的重要因素之一是從存活磁盤讀取的數(shù)據(jù)量最優(yōu),因此本文的研究重點(diǎn)為以下兩方面： 一、研究分布式存儲系統(tǒng)中單節(jié)點(diǎn)故障時的磁盤數(shù)據(jù)修復(fù)問題。通過針對分布式存儲系統(tǒng)中存儲介質(zhì)的實(shí)際讀取特性,設(shè)計(jì)了一種新型的基于磁盤連續(xù)讀的故障修復(fù)方案。本文提出的基于連續(xù)讀的修復(fù)方案在保持單磁盤故障修復(fù)過程數(shù)據(jù)量讀取量最小的前提下,最大程度維持磁盤訪問的連續(xù)性,減少磁盤的跳躍性讀取,加快單磁盤故障的修復(fù)效率。本文針對RDP編碼提出了相應(yīng)的基于磁盤連續(xù)讀的單節(jié)點(diǎn)故障修復(fù)方案,理論和實(shí)驗(yàn)均表明,該修復(fù)方案可以顯著提高單節(jié)點(diǎn)故障修復(fù)的速率,減少修復(fù)時間。 二、設(shè)計(jì)開發(fā)支持糾刪碼容錯存儲技術(shù)的分布式存儲研究平臺DSRP,該平臺不僅可以類似普通文件系統(tǒng)對文件和目錄的進(jìn)行存取、創(chuàng)建、刪除等操作,還能支持各種糾刪碼編解碼容錯機(jī)制、系統(tǒng)擴(kuò)容以及系統(tǒng)重復(fù)數(shù)據(jù)刪除等功能。該系統(tǒng)還可以為糾刪碼故障修復(fù)算法、重復(fù)數(shù)據(jù)刪除技術(shù)以及系統(tǒng)磁盤擴(kuò)容等算法提供實(shí)驗(yàn)驗(yàn)證平臺和豐富的數(shù)據(jù)統(tǒng)計(jì)。
【關(guān)鍵詞】：分布式存儲系統(tǒng) RDP編碼 磁盤連續(xù) 單節(jié)點(diǎn)故障修復(fù)
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要5-6
• Abstract6-9
• 第1章 緒論9-17
• 1.1 研究背景與意義9-13
• 1.1.1 分布式存儲9-11
• 1.1.2 分布式存儲的容錯意義11-12
• 1.1.3 容錯機(jī)制及主要容錯策略12-13
• 1.1.4 數(shù)據(jù)快速有效修復(fù)的意義13
• 1.2 基于糾刪碼的容錯機(jī)制研究現(xiàn)狀13-14
• 1.3 本文主要工作14
• 1.4 本文組織結(jié)構(gòu)14-17
• 第2章 分布式存儲系統(tǒng)容錯問題及相關(guān)技術(shù)17-33
• 2.1 引言17
• 2.2 復(fù)制與糾刪碼策略17-23
• 2.2.1 復(fù)制策略17-19
• 2.2.2 糾刪碼策略19-21
• 2.2.3 糾刪碼性質(zhì)21-22
• 2.2.4 糾刪碼分類22-23
• 2.3 RAID技術(shù)23-31
• 2.3.1 RAID技術(shù)的提出24
• 2.3.2 RAID級別24-28
• 2.3.3 RAID陣列主要技術(shù)28-30
• 2.3.4 RAID6系統(tǒng)中廣泛采用的編碼方案30-31
• 2.3.5 分布式系統(tǒng)中關(guān)于RAID技術(shù)的應(yīng)用31
• 2.4 分布式存儲系統(tǒng)容錯問題的主要優(yōu)化目標(biāo)31-32
• 2.5 本章小結(jié)32-33
• 第3章 基于RDP編碼的分布式存儲系統(tǒng)連續(xù)讀優(yōu)化算法33-47
• 3.1 引言33
• 3.2 RIDP編碼33-34
• 3.3 單節(jié)點(diǎn)故障修復(fù)研究34-36
• 3.4 磁盤讀寫性能及主要優(yōu)化措施36-37
• 3.5 基于連續(xù)讀的RDP單節(jié)點(diǎn)修復(fù)37-46
• 3.5.1 RDP單節(jié)點(diǎn)修復(fù)連續(xù)讀次數(shù)下界38-41
• 3.5.2 基于連續(xù)讀的RDP最優(yōu)單盤修復(fù)算法41-42
• 3.5.3 實(shí)驗(yàn)與分析42-46
• 3.6 本章小結(jié)46-47
• 第4章 支持糾刪碼容錯技術(shù)的分布式存儲研究平臺DSRP47-67
• 4.1 引言47
• 4.2 工作描述及技術(shù)基礎(chǔ)47-49
• 4.3 系統(tǒng)總體設(shè)計(jì)框架49-50
• 4.4 系統(tǒng)主要功能模塊50-54
• 4.4.1 NCFS文件系統(tǒng)51-52
• 4.4.2 后臺系統(tǒng)操作52-53
• 4.4.3 通訊協(xié)議53-54
• 4.5 系統(tǒng)實(shí)現(xiàn)54-67
• 4.5.1 文件系統(tǒng)層功能模塊與接口54-59
• 4.5.2 編碼層功能模塊與接口59-62
• 4.5.3 Cache層功能模塊與接口62-64
• 4.5.4 存儲層功能模塊與接口64
• 4.5.5 DSRP通訊模塊與接口64-67
• 第5章 總結(jié)與展望67-69
• 5.1 文章總結(jié)67-68
• 5.2 工作展望68-69
• 參考文獻(xiàn)69-73
• 致謝73-75
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果75

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 奚慧興;;Reed-Solomon算法在RAID系統(tǒng)中的應(yīng)用[J];鞍山師范學(xué)院學(xué)報(bào);2010年02期

  本文關(guān)鍵詞：基于RDP編碼的分布式存儲系統(tǒng)磁盤故障修復(fù)

  更多相關(guān)文章： 分布式存儲系統(tǒng) RDP編碼 磁盤連續(xù) 單節(jié)點(diǎn)故障修復(fù)

，

本文編號：512772