隨著IT信息化和移動互聯(lián)網(wǎng)的飛速發(fā)展,數(shù)據(jù)存儲量快速增長。隨著存儲設(shè)備使用量的增加,存儲設(shè)備的能耗已達(dá)到數(shù)據(jù)中心的26%~40%。因此,存儲設(shè)備的節(jié)能研究具有重要意義。近年來,連續(xù)數(shù)據(jù)存儲的應(yīng)用日益廣泛,如視頻監(jiān)控、連續(xù)數(shù)據(jù)保護(hù)、虛擬磁帶庫、備份、歸檔等。連續(xù)數(shù)據(jù)存儲系統(tǒng)具有特定的數(shù)據(jù)訪問模式和存儲特性,例如以順序數(shù)據(jù)訪問為主,對隨機(jī)性能要求不高;對帶寬的要求不高,但對數(shù)據(jù)的可靠性、存儲空間要求較高;負(fù)載以寫操作為主等。針對連續(xù)數(shù)據(jù)存儲系統(tǒng)的節(jié)能研究需要充分考慮到上述因素,在磁盤陣列存儲系統(tǒng)的組織結(jié)構(gòu)、節(jié)能機(jī)制和調(diào)度算法方面進(jìn)行適應(yīng)性研究,以充分發(fā)揮存儲設(shè)備的效能,降低存儲系統(tǒng)的能耗。S-RAID是一種適用于連續(xù)數(shù)據(jù)存儲的節(jié)能磁盤陣列,采用局部并行策略,通過改變數(shù)據(jù)塊地址排列方式使局部磁盤并行而降低存儲系統(tǒng)能耗。S-RAID均衡了存儲系統(tǒng)的性能與能耗,在保證性能需求的前提下,降低存儲系統(tǒng)的能耗。本文在現(xiàn)有S-RAID研究的基礎(chǔ)上,面向連續(xù)數(shù)據(jù)存儲的磁盤陣列的節(jié)能與性能優(yōu)化等方面進(jìn)行了如下研究:(1)S-RAID的局部并行數(shù)據(jù)布局是靜態(tài)的,適合單一平穩(wěn)的工作負(fù)載,難以適應(yīng)較高強(qiáng)度的波動負(fù)載或突發(fā)負(fù)載。為此,針對連續(xù)數(shù)據(jù)存儲的復(fù)雜應(yīng)用負(fù)載,提出一種動態(tài)節(jié)能數(shù)據(jù)布局DEEDL。DEEDL在局部并行節(jié)能策略基礎(chǔ)上,采用地址空間動態(tài)映射機(jī)制,根據(jù)I/O寫負(fù)載需求的變化動態(tài)分配具有合適并行度的存儲空間。DEEDL能夠更好地適應(yīng)波動負(fù)載或突發(fā)負(fù)載。實(shí)驗(yàn)表明,在滿足性能需求及單盤容錯的條件下,DEEDL的節(jié)能效果相比S-RAID、PARAID和eRAID 5等有明顯的優(yōu)勢,其功耗為S-RAID功耗的83%、PARAID功耗的29%、eRAID 5功耗的31%。(2)為保證更多磁盤待機(jī)節(jié)能,S-RAID執(zhí)行“讀─改─寫”的“小寫”操作,在小寫過程中,由于寫操作引入了額外的、等量的讀操作,因此S-RAID中單位磁盤的寫性能較低。為此,提出一種基于預(yù)讀與I/O聚合的性能優(yōu)化方法,通過減少I/O數(shù)和尋道次數(shù),增大I/O尺寸來提高磁盤的傳輸率,包括:識別來自上層應(yīng)用的寫請求順序流;由寫請求順序流觸發(fā)大粒度異步預(yù)讀,預(yù)讀小寫操作所需要的舊數(shù)據(jù)、舊校驗(yàn)數(shù)據(jù);進(jìn)行寫操作聚合,將若干個寫請求合并為大尺寸的寫請求;建立基于預(yù)讀、寫緩存、寫回的寫操作流水線等。這些策略充分利用了連續(xù)數(shù)據(jù)存儲應(yīng)用的存儲特性以及現(xiàn)代磁盤的性能優(yōu)勢,顯著提高了S-RAID的寫性能。采用98%順序?qū)懙呢?fù)載測試,性能至少提高47%,而在交織寫順序流下的寫性能則可提高56%以上。(3)連續(xù)數(shù)據(jù)存儲應(yīng)用以順序訪問為主,存在少量隨機(jī)訪問,而這些少量隨機(jī)訪問也會顯著降低磁盤性能;同時,由于S-RAID突出的小寫問題,影響了其寫性能。為此,在S-RAID的基礎(chǔ)上提出了面向該類存儲系統(tǒng)的磁盤陣列——Ripple-RAID,Ripple-RAID對順序訪問進(jìn)行了布局和讀寫性能的優(yōu)化,采用了新的局部并行數(shù)據(jù)布局,綜合運(yùn)用基于SSD的地址映射和數(shù)據(jù)更新、基于流水技術(shù)漸進(jìn)生成校驗(yàn)、Cache優(yōu)化等策略,在單盤容錯條件下,寫性能和能耗兩項(xiàng)指標(biāo)均優(yōu)于S-RAID 5。24小時節(jié)能實(shí)驗(yàn)中,在80%順序?qū)懾?fù)載條件下,請求長度為512KB時,寫性能為S-RAID 5的3.9倍,Hibernator、MAID寫性能的1.9倍,PARAID、eRAID 5寫性能的0.49倍;而比S-RAID 5節(jié)能20%,比Hibernator、MAID節(jié)能33%,比eRAID節(jié)能70%,比PARAID節(jié)能72%。
【學(xué)位單位】：北京理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位年份】：2015
【中圖分類】：TP333
【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 磁盤技術(shù)發(fā)展
        1.2.2 磁盤陣列
        1.2.3 磁盤節(jié)能技術(shù)
    1.3 論文研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第2章 存儲系統(tǒng)節(jié)能技術(shù)相關(guān)機(jī)制分析
    2.1 存儲系統(tǒng)節(jié)能技術(shù)發(fā)展
        2.1.1 單磁盤節(jié)能技術(shù)
        2.1.2 磁盤陣列節(jié)能技術(shù)
        2.1.3 系統(tǒng)級節(jié)能技術(shù)
    2.2 存儲系統(tǒng)節(jié)能技術(shù)分析
        2.2.1 節(jié)能技術(shù)效果分析
        2.2.2 節(jié)能常用技術(shù)分析
    2.3 節(jié)能磁盤陣列—S‐RAID
        2.3.1 S‐RAID 4 數(shù)據(jù)布局
        2.3.2 S‐RAID 5 數(shù)據(jù)布局
    2.4 本章小結(jié)
第3章 連續(xù)數(shù)據(jù)存儲中的動態(tài)節(jié)能數(shù)據(jù)布局研究
    3.1 引言
    3.2 相關(guān)研究
        3.2.1 研究現(xiàn)狀
        3.2.2 S‐RAID存在的問題
    3.3 DEEDL的實(shí)現(xiàn)
        3.3.1 基本數(shù)據(jù)布局
        3.3.2 存儲空間動態(tài)映射
        3.3.3 訪問沖突避讓
        3.3.4 性能需求感知
        3.3.5 性能與節(jié)能優(yōu)化
    3.4 實(shí)驗(yàn)測試
        3.4.1 實(shí)驗(yàn)環(huán)境
        3.4.2 性能測試
        3.4.3 節(jié)能測試
    3.5 本章小結(jié)
第4章 基于預(yù)讀與I/O聚合的S‐RAID性能優(yōu)化方法
    4.1 引言
    4.2 相關(guān)研究
    4.3 小寫預(yù)讀算法
        4.3.1 預(yù)讀數(shù)據(jù)結(jié)構(gòu)
        4.3.2 預(yù)讀算法
        4.3.3 預(yù)讀觸發(fā)條件
        4.3.4 預(yù)讀窗.設(shè)定
        4.3.5 小寫預(yù)讀實(shí)例
    4.4 寫操作聚合
    4.5 小寫操作流水
    4.6 實(shí)驗(yàn)測試
    4.7 本章小結(jié)
第5章 面向順序數(shù)據(jù)訪問的節(jié)能磁盤陣列RIPPLE‐RAID
    5.1 引言
    5.2 相關(guān)研究
        5.2.1 “小寫”優(yōu)化策略研究現(xiàn)狀
        5.2.2 SSD分級存儲及其在節(jié)能研究中的應(yīng)用
        5.2.3 Ripple‐RAID磁盤陣列
    5.3 RIPPLE‐RAID數(shù)據(jù)布局
        5.3.1 Ripple‐RAID 5 數(shù)據(jù)布局
        5.3.2 Ripple‐RAID 6 數(shù)據(jù)布局
        5.3.3 Ripple‐RAID數(shù)據(jù)容錯及恢復(fù)
    5.4 基于寫操作優(yōu)化和流水式校驗(yàn)的節(jié)能策略
        5.4.1 寫操作優(yōu)化
        5.4.2 流水式校驗(yàn)生成
    5.5 基于SSD的節(jié)能優(yōu)化
        5.5.1 基于SSD的“小寫”優(yōu)化
        5.5.2 基于SSD的流水式校驗(yàn)生成
    5.6 基于CACHE的RIPPLE‐RAID校驗(yàn)優(yōu)化
        5.6.1 Cache優(yōu)化策略整體結(jié)構(gòu)
        5.6.2 Cache校驗(yàn)優(yōu)化策略
    5.7 實(shí)驗(yàn)測試
        5.7.1 實(shí)驗(yàn)環(huán)境
        5.7.2 冗余磁盤
        5.7.3 性能測試
        5.7.4 節(jié)能測試
    5.8 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀學(xué)位期間發(fā)表論文與研究成果清單
致謝
作者簡介

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 許平帥;IDE“老調(diào)”陣列“新彈”[J];微電腦世界;2002年06期

2 曹克松;;磁盤陣列管理 提升安全檔次[J];金融電子化;2002年10期

3 周杰,劉曉光,王剛,劉璟;基于鏡像和奇偶校驗(yàn)容許兩個盤故障的磁盤陣列數(shù)據(jù)布局[J];計算機(jī)工程與應(yīng)用;2002年18期

4 馮丹,袁圣權(quán),張江陵;磁盤陣列附網(wǎng)存儲技術(shù)的研究[J];計算機(jī)工程;2002年10期

5 王朗;磁盤陣列存貯系統(tǒng)及其選擇[J];高校圖書館工作;2003年01期

6 陶春雨;兩塊硬盤出故障時磁盤陣列中的數(shù)據(jù)拯救[J];計算機(jī)時代;2003年04期

7 黃秋志,施亮,吳智銘;分布式磁盤陣列的結(jié)構(gòu)及冗余策略[J];微型電腦應(yīng)用;2003年07期

8 尤春燕,張濤;磁盤陣列的維護(hù)與操作[J];石家莊鐵路工程職業(yè)技術(shù)學(xué)院學(xué)報;2004年03期

9 顏軍;磁盤陣列高可靠應(yīng)用技巧[J];微電腦世界;2004年09期

10 萬武南;孟慶春;王曉京;;基于V碼的高可靠性磁盤陣列容錯模型[J];計算機(jī)工程;2007年08期

相關(guān)博士學(xué)位論文 前10條

1 吳素貞;磁盤陣列高可用技術(shù)研究[D];華中科技大學(xué);2010年

2 王剛;網(wǎng)絡(luò)磁盤陣列結(jié)構(gòu)和數(shù)據(jù)布局研究[D];南開大學(xué);2002年

3 李明強(qiáng);磁盤陣列的糾刪碼技術(shù)研究[D];清華大學(xué);2011年

4 萬勝剛;磁盤陣列高容錯模式及重構(gòu)技術(shù)研究[D];華中科技大學(xué);2010年

5 鄧玉輝;基于網(wǎng)絡(luò)磁盤陣列的海量信息存儲系統(tǒng)[D];華中科技大學(xué);2004年

6 羅象宏;磁盤陣列的編碼與容錯技術(shù)研究[D];清華大學(xué);2014年

7 王繼彬;磁盤陣列快速重構(gòu)，擴(kuò)容及性能優(yōu)化研究[D];華中科技大學(xué);2013年

8 鄧振杰;提高海量磁記錄系統(tǒng)性能的方法研究[D];河北工業(yè)大學(xué);2010年

9 李元章;磁盤陣列節(jié)能數(shù)據(jù)布局與性能優(yōu)化的研究[D];北京理工大學(xué);2015年

10 毛波;盤陣列的數(shù)據(jù)布局技術(shù)研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 張玲;磁盤陣列的模擬方法研究[D];遼寧師范大學(xué);2009年

2 武文智;磁盤陣列擴(kuò)容技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2008年

3 陳明宇;基于網(wǎng)絡(luò)的高可用性軟磁盤陣列[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;1997年

4 胡維;基于智能預(yù)警和自修復(fù)的高可靠磁盤陣列關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

5 程波;磁盤陣列級節(jié)能技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

6 朱波杰;磁盤陣列的動力學(xué)分析及研究[D];電子科技大學(xué);2012年

7 李海東;磁盤陣列節(jié)能技術(shù)研究與實(shí)現(xiàn)[D];華中科技大學(xué);2009年

8 劉方;高速磁盤陣列存儲控制系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];山東大學(xué);2014年

9 黃修偉;磁盤陣列在地震勘探儀器中的應(yīng)用及研究[D];西安石油大學(xué);2014年

10 彭麗;光纖通道磁盤陣列設(shè)備驅(qū)動與在線擴(kuò)容技術(shù)研究[D];華中科技大學(xué);2006年

本文編號：2838725