當今社會信息化程度日益提高,數(shù)據(jù)已經(jīng)成為我們?nèi)粘９ぷ骱蜕畹闹匾Y源。人們早已進入一個數(shù)據(jù)爆炸的時代,全球數(shù)據(jù)總量正在以驚人的速度增長。據(jù)統(tǒng)計,2018年全球產(chǎn)生的數(shù)據(jù)總量為33ZB,而到2025年該數(shù)值預(yù)計將達到175ZB。隨著數(shù)據(jù)規(guī)模的不斷增大,海量數(shù)據(jù)的存儲成為迫切的需求。另一方面,海量數(shù)據(jù)存儲所帶來的高能耗問題也越來越凸顯。據(jù)統(tǒng)計,2017年中國數(shù)據(jù)中心總耗電量達到了 1300億千瓦時,該數(shù)值遠超過當年三峽大壩全年發(fā)電總量976億千瓦時。在數(shù)據(jù)中心能源消耗中,存儲設(shè)備能耗所占的比例為25-35%。此外,存儲設(shè)備運行過程中產(chǎn)生的熱量會加重機房制冷系統(tǒng)的負擔,從而這又進一步提高了數(shù)據(jù)中心的能源開銷。因此,合理降低存儲系統(tǒng)的能源開銷對實現(xiàn)數(shù)據(jù)中心節(jié)能環(huán)保具有十分重要的意義。在數(shù)據(jù)中心,通常只有10～15%的數(shù)據(jù)處于被頻繁訪問的狀態(tài),而剩余部分數(shù)據(jù)則被稱為冷數(shù)據(jù)。對于冷數(shù)據(jù)存儲節(jié)點而言,其沒有較高的計算能力需求,而傳統(tǒng)的存儲系統(tǒng)通常采用單一的高性能存儲方案,因此會產(chǎn)生硬件成本高、系統(tǒng)功耗高等問題。特別是當存儲規(guī)模逐步擴大時,硬件成本和能耗開銷將顯著攀升。本文對大規(guī)模冷數(shù)據(jù)的高效存儲相關(guān)... 

【文章頁數(shù)】：143 頁

【學位級別】：博士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 存儲系統(tǒng)發(fā)展簡介
        1.2.1 硬盤驅(qū)動器
        1.2.2 硬盤陣列
        1.2.3 傳統(tǒng)網(wǎng)絡(luò)存儲
        1.2.4 分布式存儲系統(tǒng)
    1.3 存儲系統(tǒng)相關(guān)技術(shù)研究現(xiàn)狀
        1.3.1 數(shù)據(jù)校驗技術(shù)
        1.3.2 數(shù)據(jù)容錯技術(shù)
        1.3.3 硬盤故障預(yù)測技術(shù)
        1.3.4 存儲系統(tǒng)節(jié)能技術(shù)
    1.4 論文的研究內(nèi)容與創(chuàng)新點
        1.4.1 并行CRC算法
        1.4.2 基于硬件加速的Reed-Solomon編碼
        1.4.3 基于LSTM的硬盤健康狀態(tài)預(yù)測方法
        1.4.4 大規(guī)模低功耗存儲系統(tǒng)設(shè)計與實現(xiàn)
    1.5 論文結(jié)構(gòu)
第二章 并行CRC算法
    2.1 概述
    2.2 CRC算法
        2.2.1 算法描述
        2.2.2 Sarwate算法
        2.2.3 Slicing-by-4算法
    2.3 多數(shù)據(jù)流并行CRC算法
        2.3.1 數(shù)據(jù)折疊
        2.3.2 多數(shù)據(jù)流交織的CRC并行算法
    2.4 多線程并行CRC算法
        2.4.1 模乘法運算
        2.4.2 系數(shù)β_p的快速計算
    2.5 實驗與算法評估
        2.5.1 實驗環(huán)境及流程
        2.5.2 多數(shù)據(jù)流并行CRC算法實驗結(jié)果
        2.5.3 多線程并行CRC算法實驗結(jié)果
    2.6 本章小結(jié)
第三章 基于硬件加速的Reed-Solomon編碼
    3.1 概述
    3.2 Reed-Solomon編碼
        3.2.1 Reed-Solomon算法的編碼策略
        3.2.2 Reed-Solomon算法的編碼過程
        3.2.3 Reed-Solomon編碼的恢復(fù)過程
        3.2.4 有限域上的運算
    3.3 基于硬件加速的Reed-Solomon編碼
        3.3.1 指令集簡介
        3.3.2 算法設(shè)計
    3.4 實驗與算法評估
        3.4.1 實驗環(huán)境及流程
        3.4.2 實驗結(jié)果分析
    3.5 本章小結(jié)
第四章 基于LSTM的硬盤健康狀態(tài)預(yù)測方法
    4.1 概述
    4.2 理論背景
        4.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        4.2.2 長短期記憶網(wǎng)絡(luò)
        4.2.3 隨機森林
    4.3 基于LSTM的硬盤健康狀態(tài)預(yù)測方法
        4.3.1 特征選擇
        4.3.2 SMART屬性變化率特征
        4.3.3 硬盤健康等級劃分
        4.3.4 構(gòu)建預(yù)測模型
        4.3.5 遷移學習
    4.4 實驗與模型評估
        4.4.1 數(shù)據(jù)集
        4.4.2 數(shù)據(jù)預(yù)處理
        4.4.3 性能評估指標
        4.4.4 實驗設(shè)置
        4.4.5 實驗結(jié)果
    4.5 本章小結(jié)
第五章 大規(guī)模低功耗存儲系統(tǒng)設(shè)計與實現(xiàn)
    5.1 概述
    5.2 系統(tǒng)整體框架介紹
        5.2.1 虛擬節(jié)點
        5.2.2 元數(shù)據(jù)節(jié)點
        5.2.3 傳輸節(jié)點
        5.2.4 存儲節(jié)點
        5.2.5 客戶端
    5.3 名稱空間管理
        5.3.1 文件元數(shù)據(jù)記錄
        5.3.2 名稱空間相關(guān)操作
    5.4 存儲空間管理
        5.4.1 數(shù)據(jù)塊大小
        5.4.2 硬盤組
        5.4.3 可用空間列表
        5.4.4 硬盤空間分配算法
    5.5 系統(tǒng)性能測試
        5.5.1 系統(tǒng)硬件配置
        5.5.2 實驗結(jié)果
    5.6 本章小結(jié)
第六章 總結(jié)與展望
    6.1 本文主要工作總結(jié)
    6.2 未來工作的展望
參考文獻
附錄: 縮寫詞說明
致謝
攻讀學位期間發(fā)表的學術(shù)論文和專利目錄


【參考文獻】：
期刊論文
[1]如何存儲“冷數(shù)據(jù)”?[J]. 郭嘉凱.  軟件和信息服務(wù). 2013(10)



本文編號：3716923