本文關鍵詞：基于RDP編碼的分布式存儲系統(tǒng)磁盤故障修復

  更多相關文章： 分布式存儲系統(tǒng) RDP編碼 磁盤連續(xù) 單節(jié)點故障修復

【摘要】：建立維護可靠的、可擴展、低成本、高性能的分布式存儲系統(tǒng)是云計算、大數(shù)據(jù)以及互聯(lián)網(wǎng)公司應用后臺基礎的主要目標。分布式存儲系統(tǒng)擁有著傳統(tǒng)集中式存儲所無法比擬的優(yōu)勢,然而,由于分布式存儲系統(tǒng)組件的不可靠,運行過程中存在著種種異常情況,在各種異常中磁盤故障發(fā)生的概率最高,因此如何高效、透明地恢復磁盤故障,重構磁盤數(shù)據(jù),是分布式存儲系統(tǒng)所面臨的重大問題。 在容多錯的分布式存儲系統(tǒng)中存在著頻繁的單節(jié)點故障,使得單節(jié)點故障數(shù)據(jù)修復問題成為研究的熱點�；诩m刪碼的分布式存儲系統(tǒng)數(shù)據(jù)修復在現(xiàn)階段主要考慮的重要因素之一是從存活磁盤讀取的數(shù)據(jù)量最優(yōu),因此本文的研究重點為以下兩方面： 一、研究分布式存儲系統(tǒng)中單節(jié)點故障時的磁盤數(shù)據(jù)修復問題。通過針對分布式存儲系統(tǒng)中存儲介質的實際讀取特性,設計了一種新型的基于磁盤連續(xù)讀的故障修復方案。本文提出的基于連續(xù)讀的修復方案在保持單磁盤故障修復過程數(shù)據(jù)量讀取量最小的前提下,最大程度維持磁盤訪問的連續(xù)性,減少磁盤的跳躍性讀取,加快單磁盤故障的修復效率。本文針對RDP編碼提出了相應的基于磁盤連續(xù)讀的單節(jié)點故障修復方案,理論和實驗均表明,該修復方案可以顯著提高單節(jié)點故障修復的速率,減少修復時間。 二、設計開發(fā)支持糾刪碼容錯存儲技術的分布式存儲研究平臺DSRP,該平臺不僅可以類似普通文件系統(tǒng)對文件和目錄的進行存取、創(chuàng)建、刪除等操作,還能支持各種糾刪碼編解碼容錯機制、系統(tǒng)擴容以及系統(tǒng)重復數(shù)據(jù)刪除等功能。該系統(tǒng)還可以為糾刪碼故障修復算法、重復數(shù)據(jù)刪除技術以及系統(tǒng)磁盤擴容等算法提供實驗驗證平臺和豐富的數(shù)據(jù)統(tǒng)計。
【關鍵詞】：分布式存儲系統(tǒng) RDP編碼 磁盤連續(xù) 單節(jié)點故障修復
【學位授予單位】：中國科學技術大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要5-6
• Abstract6-9
• 第1章 緒論9-17
• 1.1 研究背景與意義9-13
• 1.1.1 分布式存儲9-11
• 1.1.2 分布式存儲的容錯意義11-12
• 1.1.3 容錯機制及主要容錯策略12-13
• 1.1.4 數(shù)據(jù)快速有效修復的意義13
• 1.2 基于糾刪碼的容錯機制研究現(xiàn)狀13-14
• 1.3 本文主要工作14
• 1.4 本文組織結構14-17
• 第2章 分布式存儲系統(tǒng)容錯問題及相關技術17-33
• 2.1 引言17
• 2.2 復制與糾刪碼策略17-23
• 2.2.1 復制策略17-19
• 2.2.2 糾刪碼策略19-21
• 2.2.3 糾刪碼性質21-22
• 2.2.4 糾刪碼分類22-23
• 2.3 RAID技術23-31
• 2.3.1 RAID技術的提出24
• 2.3.2 RAID級別24-28
• 2.3.3 RAID陣列主要技術28-30
• 2.3.4 RAID6系統(tǒng)中廣泛采用的編碼方案30-31
• 2.3.5 分布式系統(tǒng)中關于RAID技術的應用31
• 2.4 分布式存儲系統(tǒng)容錯問題的主要優(yōu)化目標31-32
• 2.5 本章小結32-33
• 第3章 基于RDP編碼的分布式存儲系統(tǒng)連續(xù)讀優(yōu)化算法33-47
• 3.1 引言33
• 3.2 RIDP編碼33-34
• 3.3 單節(jié)點故障修復研究34-36
• 3.4 磁盤讀寫性能及主要優(yōu)化措施36-37
• 3.5 基于連續(xù)讀的RDP單節(jié)點修復37-46
• 3.5.1 RDP單節(jié)點修復連續(xù)讀次數(shù)下界38-41
• 3.5.2 基于連續(xù)讀的RDP最優(yōu)單盤修復算法41-42
• 3.5.3 實驗與分析42-46
• 3.6 本章小結46-47
• 第4章 支持糾刪碼容錯技術的分布式存儲研究平臺DSRP47-67
• 4.1 引言47
• 4.2 工作描述及技術基礎47-49
• 4.3 系統(tǒng)總體設計框架49-50
• 4.4 系統(tǒng)主要功能模塊50-54
• 4.4.1 NCFS文件系統(tǒng)51-52
• 4.4.2 后臺系統(tǒng)操作52-53
• 4.4.3 通訊協(xié)議53-54
• 4.5 系統(tǒng)實現(xiàn)54-67
• 4.5.1 文件系統(tǒng)層功能模塊與接口54-59
• 4.5.2 編碼層功能模塊與接口59-62
• 4.5.3 Cache層功能模塊與接口62-64
• 4.5.4 存儲層功能模塊與接口64
• 4.5.5 DSRP通訊模塊與接口64-67
• 第5章 總結與展望67-69
• 5.1 文章總結67-68
• 5.2 工作展望68-69
• 參考文獻69-73
• 致謝73-75
• 在讀期間發(fā)表的學術論文與取得的研究成果75

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 奚慧興;;Reed-Solomon算法在RAID系統(tǒng)中的應用[J];鞍山師范學院學報;2010年02期

  本文關鍵詞：基于RDP編碼的分布式存儲系統(tǒng)磁盤故障修復

  更多相關文章： 分布式存儲系統(tǒng) RDP編碼 磁盤連續(xù) 單節(jié)點故障修復

，

本文編號：512772