基于開放通道固態(tài)盤的數(shù)據(jù)去重技術(shù)研究
發(fā)布時間:2021-04-13 23:55
基于NAND閃存的固態(tài)盤由于其性能優(yōu)于機械磁盤而被廣泛部署在存儲系統(tǒng)中,但由于寫放大以及閃存介質(zhì)磨損等原因,減少寫操作可提高固態(tài)盤的性能與可靠性。此外,統(tǒng)計表明常見的數(shù)據(jù)集中普遍存在重復(fù)數(shù)據(jù),利用數(shù)據(jù)去重技術(shù)可以有效減少寫入固態(tài)盤的數(shù)據(jù)量,改善其性能與可靠性。但是傳統(tǒng)的基于固態(tài)盤的數(shù)據(jù)去重開銷較大,會成為固態(tài)盤的性能瓶頸。針對上述問題,設(shè)計了基于開放通道固態(tài)盤的數(shù)據(jù)去重系統(tǒng)D-pblk,它可利用主機端高性能處理器快速計算指紋,減少指紋計算開銷。D-pblk采用了雙指紋哈希校驗策略,首先采用CRC32計算弱指紋過濾大部分非重復(fù)數(shù)據(jù),并當(dāng)數(shù)據(jù)可能重復(fù)時,再采用SHA-1計算強指紋準(zhǔn)確識別數(shù)據(jù)是否重復(fù),從而減小指紋計算開銷,并且D-pblk能充分利用主機端的計算資源,加速指紋的計算,降低數(shù)據(jù)去重在數(shù)據(jù)寫請求關(guān)鍵路徑上帶來的延遲。此外,D-pblk還實現(xiàn)了雙環(huán)形緩沖區(qū)策略,有效解決了去重后的數(shù)據(jù)大小可能無法匹配寫一個閃存頁大小的問題。經(jīng)實驗測試表明,基于開放通道固態(tài)盤的數(shù)據(jù)去重系統(tǒng)D-pblk對常見的6種工作負(fù)載,去重率在4.61%到31.63%之間。相較于未進(jìn)行數(shù)據(jù)去重的系統(tǒng),在基本不影響讀...
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:73 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
1 緒論
1.1 研究背景及意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 本文研究內(nèi)容
1.4 論文結(jié)構(gòu)
2 基于開放通道固態(tài)盤的數(shù)據(jù)去重設(shè)計
2.1 設(shè)計思想與系統(tǒng)整體設(shè)計
2.2 雙環(huán)形緩沖區(qū)設(shè)計
2.3 數(shù)據(jù)去重模塊設(shè)計
2.4 本章小結(jié)
3 基于開放通道固態(tài)盤的數(shù)據(jù)去重實現(xiàn)
3.1 雙環(huán)形緩沖區(qū)實現(xiàn)
3.2 數(shù)據(jù)去重模塊實現(xiàn)
3.3 讀寫模塊實現(xiàn)
3.4 本章小結(jié)
4 測試
4.1 測試環(huán)境與測試負(fù)載選擇
4.2 系統(tǒng)性能測試分析
4.3 本章小結(jié)
5 總結(jié)和展望
5.1 論文總結(jié)
5.2 展望
致謝
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間發(fā)表論文目錄
【參考文獻(xiàn)】:
期刊論文
[1]存儲系統(tǒng)重復(fù)數(shù)據(jù)刪除技術(shù)研究綜述[J]. 謝平. 計算機科學(xué). 2014(01)
博士論文
[1]數(shù)據(jù)備份系統(tǒng)中冗余數(shù)據(jù)的高性能消除技術(shù)研究[D]. 夏文.華中科技大學(xué) 2014
碩士論文
[1]基于閃存固態(tài)盤的重復(fù)數(shù)據(jù)刪除技術(shù)的設(shè)計與實現(xiàn)[D]. 陳正國.國防科學(xué)技術(shù)大學(xué) 2015
本文編號:3136245
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:73 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
1 緒論
1.1 研究背景及意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 本文研究內(nèi)容
1.4 論文結(jié)構(gòu)
2 基于開放通道固態(tài)盤的數(shù)據(jù)去重設(shè)計
2.1 設(shè)計思想與系統(tǒng)整體設(shè)計
2.2 雙環(huán)形緩沖區(qū)設(shè)計
2.3 數(shù)據(jù)去重模塊設(shè)計
2.4 本章小結(jié)
3 基于開放通道固態(tài)盤的數(shù)據(jù)去重實現(xiàn)
3.1 雙環(huán)形緩沖區(qū)實現(xiàn)
3.2 數(shù)據(jù)去重模塊實現(xiàn)
3.3 讀寫模塊實現(xiàn)
3.4 本章小結(jié)
4 測試
4.1 測試環(huán)境與測試負(fù)載選擇
4.2 系統(tǒng)性能測試分析
4.3 本章小結(jié)
5 總結(jié)和展望
5.1 論文總結(jié)
5.2 展望
致謝
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間發(fā)表論文目錄
【參考文獻(xiàn)】:
期刊論文
[1]存儲系統(tǒng)重復(fù)數(shù)據(jù)刪除技術(shù)研究綜述[J]. 謝平. 計算機科學(xué). 2014(01)
博士論文
[1]數(shù)據(jù)備份系統(tǒng)中冗余數(shù)據(jù)的高性能消除技術(shù)研究[D]. 夏文.華中科技大學(xué) 2014
碩士論文
[1]基于閃存固態(tài)盤的重復(fù)數(shù)據(jù)刪除技術(shù)的設(shè)計與實現(xiàn)[D]. 陳正國.國防科學(xué)技術(shù)大學(xué) 2015
本文編號:3136245
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3136245.html
最近更新
教材專著