存儲系統(tǒng)規(guī)模增大導致數(shù)據(jù)丟失成為常態(tài)。糾刪碼技術由于具有低存儲開銷的特點,因此被存儲系統(tǒng)所廣泛采用。然而糾刪碼的引入也改變了存儲系統(tǒng)正常的I/O訪問和失效修復方式。本文從性能優(yōu)化角度,從編碼設計、條帶內局部寫、單盤失效修復和多點協(xié)同再生等四個方面對糾刪碼存儲系統(tǒng)展開研究。?提出了一種新的RAID-6編碼――橫縱碼(Horizontal-Vertical Code,HV碼)。HV碼利用橫式校驗鏈優(yōu)化降級讀操作和同行條帶內局部寫操作,構建縱式校驗鏈以優(yōu)化跨行條帶內局部寫操作,并均勻放置校驗元素以均衡負載。實驗結果表明,相比于其他具有代表性的RAID-6編碼,HV碼在綜合性能上具有更好的表現(xiàn)。?提出了一種基于XOR編碼的存儲系統(tǒng)的條帶內局部寫操作優(yōu)化方法――基于校驗轉換的數(shù)據(jù)布局方法(Parity-Switched Data Placement,PDP)。PDP利用連續(xù)數(shù)據(jù)元素生成校驗元素,并優(yōu)化校驗元素的生成順序,以減少條帶內局部寫操作的額外更新。實驗結果表明,PDP雖然需要少量存儲開銷,但是其能減少31.9%的數(shù)據(jù)更新并提升27.9%的寫速度。?提出了一種單盤失效修復中尋道操作和修復帶寬兼顧的優(yōu)化方法――高效尋道修復算法(Seek-Efficient I/O Recovery,SIOR)。SIOR采用現(xiàn)有的優(yōu)化方法減少每個條帶所需修復帶寬,并設計基于禁忌搜索的貪心算法和填充算法進一步減少修復過程中的尋道操作。實驗結果表明,SIOR能夠明顯減少搜索時間并減少31.8%～65.1%的尋道操作。?提出了異構存儲網(wǎng)絡下的一種新的協(xié)同再生框架,并設計了該框架下的路由選擇算法――異構協(xié)同再生算法(Heterogeneous-aware Cooperative Regeneration,HCR)。該框架根據(jù)節(jié)點的異構性分離新來節(jié)點的再生過程,以減少再生過程中的網(wǎng)絡開銷。HCR進一步設計貪心算法,高效實現(xiàn)已有再生方案在該框架下的路由選擇。實驗結果表明,HCR僅引入少量的網(wǎng)絡傳輸數(shù)據(jù),并減少高達75.4%的網(wǎng)絡開銷。
【學位單位】：清華大學
【學位級別】：博士
【學位年份】：2015
【中圖分類】：TP333
【文章目錄】：
摘要
ABSTRACT
第1章 引言
    1.1 研究背景與意義
    1.2 糾刪碼存儲系統(tǒng)概述
        1.2.1 糾刪碼的基本概念
        1.2.2 糾刪碼概述
        1.2.3 糾刪碼存儲系統(tǒng)主要性能指標
    1.3 研究內容和主要貢獻
        1.3.1 研究內容
        1.3.2 主要貢獻
第2章 相關工作
    2.1 RAID-6編碼
        2.1.1 RAID-6碼中的橫式編碼
        2.1.2 RAID-6碼中的縱式編碼
    2.2 條帶內局部寫操作
    2.3 單盤失效修復
    2.4 異構環(huán)境多點協(xié)同再生
        2.4.1 多點協(xié)同再生
        2.4.2 異構環(huán)境修復
    2.5 本章小結
第3章 HV碼：一種面向多個性能指標的RAID-6編碼
    3.1 概述
    3.2 研究背景與動機
        3.2.1 研究背景
        3.2.2 負載均衡問題
        3.2.3 條帶內局部寫問題
        3.2.4 磁盤失效恢復問題
        3.2.5 降級讀問題
        3.2.6 研究動機
    3.3 HV碼的構建方法
        3.3.1 布局和編碼規(guī)則
        3.3.2 HV碼構建過程
        3.3.3 HV碼的正確性證明
        3.3.4 數(shù)據(jù)修復
    3.4 HV碼的特征分析
        3.4.1 最優(yōu)的存儲效率
        3.4.2 最優(yōu)的編碼/重構/更新效率
        3.4.3 有效的負載均衡
        3.4.4 快速的數(shù)據(jù)修復
        3.4.5 優(yōu)化的條帶內寫操作性能
    3.5 性能評估
        3.5.1 實驗環(huán)境
        3.5.2 實驗準備
        3.5.3 條帶內寫操作性能
        3.5.4 降級讀操作性能
        3.5.5 單盤恢復性能
        3.5.6 HV碼與其他典型RAID-6編碼的對比總結
    3.6 本章小結
第4章 基于XOR編碼的存儲系統(tǒng)的條帶內局部寫操作優(yōu)化方法
    4.1 概述
    4.2 研究背景
        4.2.1 橫式數(shù)據(jù)布局
        4.2.2 縱式數(shù)據(jù)布局
        4.2.3 當前針對條帶內局部寫操作的優(yōu)化工作
        4.2.4 當前工作所存在的不足
    4.3 研究動機和挑戰(zhàn)
        4.3.1 數(shù)據(jù)分布規(guī)則
        4.3.2 校驗元素生成順序
        4.3.3 數(shù)據(jù)元素順序調整
    4.4 PDP設計
        4.4.1 校驗元素生成順序
        4.4.2 數(shù)據(jù)元素順序調整
        4.4.3 其他優(yōu)化方法
        4.4.4 復雜度分析
    4.5 性能評估
        4.5.1 實驗環(huán)境
        4.5.2 實驗負載
        4.5.3 實驗方法
        4.5.4 評價指標
        4.5.5 測試結果
        4.5.6 對比總結
    4.6 本章小結
第5章 單盤修復中尋道操作和修復帶寬兼顧的優(yōu)化方法
    5.1 概述
    5.2 研究背景
        5.2.1 單盤失效問題
        5.2.2 當前工作所存在的不足
    5.3 研究動機
    5.4 SIOR設計
        5.4.1 初始修復方案選擇
        5.4.2 初始修復方案優(yōu)化
    5.5 性能評估
        5.5.1 迭代步數(shù)的影響
        5.5.2 系統(tǒng)規(guī)模的影響
        5.5.3 最優(yōu)性和計算效率
        5.5.4 修復帶寬比較
        5.5.5 元素大小的影響
        5.5.6 總結
    5.6 本章小結
第6章 異構存儲網(wǎng)絡中多點協(xié)同再生的高效路由方法
    6.1 概述
    6.2 研究背景
    6.3 問題描述
        6.3.1 傳統(tǒng)協(xié)同再生框架
        6.3.2 傳統(tǒng)協(xié)同再生的限制條件
        6.3.3 新的協(xié)同再生框架
        6.3.4 優(yōu)化模型
        6.3.5 例子
    6.4 異構協(xié)同再生方案
        6.4.1 最小聚合路由的尋找
        6.4.2 擴張節(jié)點的選擇
        6.4.3 供應節(jié)點的選擇
        6.4.4 節(jié)點選擇的復雜度分析
    6.5 性能評估
        6.5.1 測試設置
        6.5.2 測試結果
    6.6 本章小結
第7章 總結與展望
    7.1 論文的主要工作
    7.2 未來工作展望
參考文獻
致謝
個人簡歷、在學期間發(fā)表的學術論文與研究成果

【相似文獻】

相關期刊論文 前10條

1 李紅;藍光存儲系統(tǒng) 光盤容量高達23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應用卓越獎 醫(yī)療行業(yè)應用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應用研究[J];計算機光盤軟件與應用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應用探討[J];數(shù)字技術與應用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期

10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期

相關博士學位論文 前10條

1 趙雨虹;云存儲系統(tǒng)資源調度技術研究[D];華中科技大學;2015年

2 王福偉;列存儲系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡性能優(yōu)化模型研究[D];燕山大學;2016年

3 張菁;大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術研究[D];國防科學技術大學;2015年

4 沈志榮;糾刪碼存儲系統(tǒng)性能優(yōu)化研究[D];清華大學;2015年

5 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學;2010年

6 聶雪軍;內容感知存儲系統(tǒng)中信息信息生命周期管理關鍵技術研究[D];華中科技大學;2011年

7 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關鍵技術研究[D];華中科技大學;2011年

8 聶雪軍;內容感知存儲系統(tǒng)中信息生命周期管理關鍵技術研究[D];華中科技大學;2010年

9 王鵬;低密度奇偶校驗碼應用于存儲系統(tǒng)的關鍵技術研究[D];華中科技大學;2013年

10 刁瑩;用數(shù)學建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學;2013年

相關碩士學位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學;2015年

2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

3 蔣靜遠;基于數(shù)據(jù)通道的非結構化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學;2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結構化存儲系統(tǒng)存儲引擎設計與實現(xiàn)[D];電子科技大學;2014年

7 王曉;混合存儲系統(tǒng)高效快照技術研究[D];北京理工大學;2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設計與實現(xiàn)[D];大連理工大學;2015年

9 張致元;電子商品存儲系統(tǒng)設計與研究[D];復旦大學;2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學;2015年

本文編號：2854689