發(fā)布時(shí)間：2020-10-24 16:11

　　 存儲(chǔ)系統(tǒng)規(guī)模增大導(dǎo)致數(shù)據(jù)丟失成為常態(tài)。糾刪碼技術(shù)由于具有低存儲(chǔ)開(kāi)銷的特點(diǎn),因此被存儲(chǔ)系統(tǒng)所廣泛采用。然而糾刪碼的引入也改變了存儲(chǔ)系統(tǒng)正常的I/O訪問(wèn)和失效修復(fù)方式。本文從性能優(yōu)化角度,從編碼設(shè)計(jì)、條帶內(nèi)局部寫、單盤失效修復(fù)和多點(diǎn)協(xié)同再生等四個(gè)方面對(duì)糾刪碼存儲(chǔ)系統(tǒng)展開(kāi)研究。?提出了一種新的RAID-6編碼――橫縱碼(Horizontal-Vertical Code,HV碼)。HV碼利用橫式校驗(yàn)鏈優(yōu)化降級(jí)讀操作和同行條帶內(nèi)局部寫操作,構(gòu)建縱式校驗(yàn)鏈以優(yōu)化跨行條帶內(nèi)局部寫操作,并均勻放置校驗(yàn)元素以均衡負(fù)載。實(shí)驗(yàn)結(jié)果表明,相比于其他具有代表性的RAID-6編碼,HV碼在綜合性能上具有更好的表現(xiàn)。?提出了一種基于XOR編碼的存儲(chǔ)系統(tǒng)的條帶內(nèi)局部寫操作優(yōu)化方法――基于校驗(yàn)轉(zhuǎn)換的數(shù)據(jù)布局方法(Parity-Switched Data Placement,PDP)。PDP利用連續(xù)數(shù)據(jù)元素生成校驗(yàn)元素,并優(yōu)化校驗(yàn)元素的生成順序,以減少條帶內(nèi)局部寫操作的額外更新。實(shí)驗(yàn)結(jié)果表明,PDP雖然需要少量存儲(chǔ)開(kāi)銷,但是其能減少31.9%的數(shù)據(jù)更新并提升27.9%的寫速度。?提出了一種單盤失效修復(fù)中尋道操作和修復(fù)帶寬兼顧的優(yōu)化方法――高效尋道修復(fù)算法(Seek-Efficient I/O Recovery,SIOR)。SIOR采用現(xiàn)有的優(yōu)化方法減少每個(gè)條帶所需修復(fù)帶寬,并設(shè)計(jì)基于禁忌搜索的貪心算法和填充算法進(jìn)一步減少修復(fù)過(guò)程中的尋道操作。實(shí)驗(yàn)結(jié)果表明,SIOR能夠明顯減少搜索時(shí)間并減少31.8%～65.1%的尋道操作。?提出了異構(gòu)存儲(chǔ)網(wǎng)絡(luò)下的一種新的協(xié)同再生框架,并設(shè)計(jì)了該框架下的路由選擇算法――異構(gòu)協(xié)同再生算法(Heterogeneous-aware Cooperative Regeneration,HCR)。該框架根據(jù)節(jié)點(diǎn)的異構(gòu)性分離新來(lái)節(jié)點(diǎn)的再生過(guò)程,以減少再生過(guò)程中的網(wǎng)絡(luò)開(kāi)銷。HCR進(jìn)一步設(shè)計(jì)貪心算法,高效實(shí)現(xiàn)已有再生方案在該框架下的路由選擇。實(shí)驗(yàn)結(jié)果表明,HCR僅引入少量的網(wǎng)絡(luò)傳輸數(shù)據(jù),并減少高達(dá)75.4%的網(wǎng)絡(luò)開(kāi)銷。
【學(xué)位單位】：清華大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2015
【中圖分類】：TP333
【文章目錄】：
摘要
ABSTRACT
第1章 引言
    1.1 研究背景與意義
    1.2 糾刪碼存儲(chǔ)系統(tǒng)概述
        1.2.1 糾刪碼的基本概念
        1.2.2 糾刪碼概述
        1.2.3 糾刪碼存儲(chǔ)系統(tǒng)主要性能指標(biāo)
    1.3 研究?jī)?nèi)容和主要貢獻(xiàn)
        1.3.1 研究?jī)?nèi)容
        1.3.2 主要貢獻(xiàn)
第2章 相關(guān)工作
    2.1 RAID-6編碼
        2.1.1 RAID-6碼中的橫式編碼
        2.1.2 RAID-6碼中的縱式編碼
    2.2 條帶內(nèi)局部寫操作
    2.3 單盤失效修復(fù)
    2.4 異構(gòu)環(huán)境多點(diǎn)協(xié)同再生
        2.4.1 多點(diǎn)協(xié)同再生
        2.4.2 異構(gòu)環(huán)境修復(fù)
    2.5 本章小結(jié)
第3章 HV碼：一種面向多個(gè)性能指標(biāo)的RAID-6編碼
    3.1 概述
    3.2 研究背景與動(dòng)機(jī)
        3.2.1 研究背景
        3.2.2 負(fù)載均衡問(wèn)題
        3.2.3 條帶內(nèi)局部寫問(wèn)題
        3.2.4 磁盤失效恢復(fù)問(wèn)題
        3.2.5 降級(jí)讀問(wèn)題
        3.2.6 研究動(dòng)機(jī)
    3.3 HV碼的構(gòu)建方法
        3.3.1 布局和編碼規(guī)則
        3.3.2 HV碼構(gòu)建過(guò)程
        3.3.3 HV碼的正確性證明
        3.3.4 數(shù)據(jù)修復(fù)
    3.4 HV碼的特征分析
        3.4.1 最優(yōu)的存儲(chǔ)效率
        3.4.2 最優(yōu)的編碼/重構(gòu)/更新效率
        3.4.3 有效的負(fù)載均衡
        3.4.4 快速的數(shù)據(jù)修復(fù)
        3.4.5 優(yōu)化的條帶內(nèi)寫操作性能
    3.5 性能評(píng)估
        3.5.1 實(shí)驗(yàn)環(huán)境
        3.5.2 實(shí)驗(yàn)準(zhǔn)備
        3.5.3 條帶內(nèi)寫操作性能
        3.5.4 降級(jí)讀操作性能
        3.5.5 單盤恢復(fù)性能
        3.5.6 HV碼與其他典型RAID-6編碼的對(duì)比總結(jié)
    3.6 本章小結(jié)
第4章 基于XOR編碼的存儲(chǔ)系統(tǒng)的條帶內(nèi)局部寫操作優(yōu)化方法
    4.1 概述
    4.2 研究背景
        4.2.1 橫式數(shù)據(jù)布局
        4.2.2 縱式數(shù)據(jù)布局
        4.2.3 當(dāng)前針對(duì)條帶內(nèi)局部寫操作的優(yōu)化工作
        4.2.4 當(dāng)前工作所存在的不足
    4.3 研究動(dòng)機(jī)和挑戰(zhàn)
        4.3.1 數(shù)據(jù)分布規(guī)則
        4.3.2 校驗(yàn)元素生成順序
        4.3.3 數(shù)據(jù)元素順序調(diào)整
    4.4 PDP設(shè)計(jì)
        4.4.1 校驗(yàn)元素生成順序
        4.4.2 數(shù)據(jù)元素順序調(diào)整
        4.4.3 其他優(yōu)化方法
        4.4.4 復(fù)雜度分析
    4.5 性能評(píng)估
        4.5.1 實(shí)驗(yàn)環(huán)境
        4.5.2 實(shí)驗(yàn)負(fù)載
        4.5.3 實(shí)驗(yàn)方法
        4.5.4 評(píng)價(jià)指標(biāo)
        4.5.5 測(cè)試結(jié)果
        4.5.6 對(duì)比總結(jié)
    4.6 本章小結(jié)
第5章 單盤修復(fù)中尋道操作和修復(fù)帶寬兼顧的優(yōu)化方法
    5.1 概述
    5.2 研究背景
        5.2.1 單盤失效問(wèn)題
        5.2.2 當(dāng)前工作所存在的不足
    5.3 研究動(dòng)機(jī)
    5.4 SIOR設(shè)計(jì)
        5.4.1 初始修復(fù)方案選擇
        5.4.2 初始修復(fù)方案優(yōu)化
    5.5 性能評(píng)估
        5.5.1 迭代步數(shù)的影響
        5.5.2 系統(tǒng)規(guī)模的影響
        5.5.3 最優(yōu)性和計(jì)算效率
        5.5.4 修復(fù)帶寬比較
        5.5.5 元素大小的影響
        5.5.6 總結(jié)
    5.6 本章小結(jié)
第6章 異構(gòu)存儲(chǔ)網(wǎng)絡(luò)中多點(diǎn)協(xié)同再生的高效路由方法
    6.1 概述
    6.2 研究背景
    6.3 問(wèn)題描述
        6.3.1 傳統(tǒng)協(xié)同再生框架
        6.3.2 傳統(tǒng)協(xié)同再生的限制條件
        6.3.3 新的協(xié)同再生框架
        6.3.4 優(yōu)化模型
        6.3.5 例子
    6.4 異構(gòu)協(xié)同再生方案
        6.4.1 最小聚合路由的尋找
        6.4.2 擴(kuò)張節(jié)點(diǎn)的選擇
        6.4.3 供應(yīng)節(jié)點(diǎn)的選擇
        6.4.4 節(jié)點(diǎn)選擇的復(fù)雜度分析
    6.5 性能評(píng)估
        6.5.1 測(cè)試設(shè)置
        6.5.2 測(cè)試結(jié)果
    6.6 本章小結(jié)
第7章 總結(jié)與展望
    7.1 論文的主要工作
    7.2 未來(lái)工作展望
參考文獻(xiàn)
致謝
個(gè)人簡(jiǎn)歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國(guó)計(jì)算機(jī)用戶;2005年31期

4 謝世誠(chéng);;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國(guó)有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國(guó)計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

相關(guān)博士學(xué)位論文 前10條

1 趙雨虹;云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲(chǔ)系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲(chǔ)系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2015年

4 沈志榮;糾刪碼存儲(chǔ)系統(tǒng)性能優(yōu)化研究[D];清華大學(xué);2015年

5 陸承濤;存儲(chǔ)系統(tǒng)性能管理問(wèn)題的研究[D];華中科技大學(xué);2010年

6 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

7 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

8 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

9 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

10 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲(chǔ)模塊的研究與實(shí)現(xiàn)[D];中國(guó)艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng)存儲(chǔ)引擎設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲(chǔ)系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲(chǔ)系統(tǒng)設(shè)計(jì)與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲(chǔ)環(huán)境下的混合存儲(chǔ)算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

本文編號(hào)：2854689