基于軟件定義存儲的小文件性能優(yōu)化研究
發(fā)布時間:2021-01-04 12:03
大量云存儲系統(tǒng)支持多租戶技術(shù),以有效降低基礎(chǔ)設(shè)施成本,因而云存儲系統(tǒng)的性能對于多租戶應(yīng)用至關(guān)重要。然而在面對大量小文件存取訪問時,云存儲系統(tǒng)在元數(shù)據(jù)管理、緩存管理以及數(shù)據(jù)布局等多個方面面臨挑戰(zhàn),系統(tǒng)的整體讀寫性能不佳,F(xiàn)有工作主要使用合并和預(yù)取技術(shù)來改善小文件的訪問性能,但對于多租戶應(yīng)用場景,還需考慮三個問題:(1)存儲系統(tǒng)的靜態(tài)配置不能滿足不同租戶需求,例如同一預(yù)取或緩存替換算法很難適用于多個具有不同訪問特征的租戶;(2)多個租戶的小文件的混合合并存儲使得合并塊內(nèi)文件關(guān)聯(lián)度較低,影響預(yù)取性能;(3)租戶之間的資源競爭,例如高請求率租戶占據(jù)更多緩存資源,會影響其他租戶的訪問性能。為解決上述問題,設(shè)計了一種面向多租戶小文件訪問的軟件定義對象存儲系統(tǒng)(Software Defined Object Storage System,SD-OSS)。SD-OSS的控制平面可以為數(shù)據(jù)平面配置不同的合并塊閾值和緩存替換策略,從而適應(yīng)多個租戶的不同訪問特征和多種小文件類型。SD-OSS的數(shù)據(jù)平面提供一種基于租戶分類的小文件合并機(jī)制,該機(jī)制將小文件按照租戶和文件類型合理劃分后再合并存儲,能夠有效提升合并...
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:82 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景與意義
1.2 國內(nèi)外研究概況
1.3 本文主要研究內(nèi)容
1.4 本文組織結(jié)構(gòu)
2 相關(guān)技術(shù)概述
2.1 OpenStack Swift系統(tǒng)概述
2.2 多租戶技術(shù)
2.3 軟件定義存儲
2.4 本章小結(jié)
3 SD-OSS系統(tǒng)小文件性能優(yōu)化方案設(shè)計
3.1 SD-OSS系統(tǒng)總體架構(gòu)設(shè)計
3.2 控制模塊
3.3 負(fù)載信息監(jiān)控模塊
3.4 分類處理模塊
3.5 本章小結(jié)
4 SD-OSS系統(tǒng)小文件性能優(yōu)化方案實現(xiàn)
4.1 控制模塊
4.2 負(fù)載信息監(jiān)控模塊
4.3 分類處理模塊
4.4 本章小結(jié)
5 性能測試與結(jié)果分析
5.1 測試環(huán)境與測試負(fù)載
5.2 測試對照方案
5.3 測試結(jié)果分析
5.4 本章小結(jié)
6 總結(jié)與展望
致謝
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間發(fā)表的論文和專利
【參考文獻(xiàn)】:
期刊論文
[1]云計算時代的軟件定義存儲技術(shù)[J]. 郭佳琳. 黑龍江科技信息. 2016(30)
[2]面向下一代數(shù)據(jù)中心的軟件定義存儲技術(shù)研究[J]. 孫振正,龔靖,段勇,雷俊智. 電信科學(xué). 2014(01)
[3]基于Redis的海量小文件分布式存儲方法研究[J]. 劉高軍,王帝澳. 計算機(jī)工程與科學(xué). 2013(10)
[4]基于Hadoop的海量MP3文件存儲架構(gòu)[J]. 趙曉永,楊揚(yáng),孫莉莉,陳宇. 計算機(jī)應(yīng)用. 2012(06)
本文編號:2956731
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:82 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景與意義
1.2 國內(nèi)外研究概況
1.3 本文主要研究內(nèi)容
1.4 本文組織結(jié)構(gòu)
2 相關(guān)技術(shù)概述
2.1 OpenStack Swift系統(tǒng)概述
2.2 多租戶技術(shù)
2.3 軟件定義存儲
2.4 本章小結(jié)
3 SD-OSS系統(tǒng)小文件性能優(yōu)化方案設(shè)計
3.1 SD-OSS系統(tǒng)總體架構(gòu)設(shè)計
3.2 控制模塊
3.3 負(fù)載信息監(jiān)控模塊
3.4 分類處理模塊
3.5 本章小結(jié)
4 SD-OSS系統(tǒng)小文件性能優(yōu)化方案實現(xiàn)
4.1 控制模塊
4.2 負(fù)載信息監(jiān)控模塊
4.3 分類處理模塊
4.4 本章小結(jié)
5 性能測試與結(jié)果分析
5.1 測試環(huán)境與測試負(fù)載
5.2 測試對照方案
5.3 測試結(jié)果分析
5.4 本章小結(jié)
6 總結(jié)與展望
致謝
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間發(fā)表的論文和專利
【參考文獻(xiàn)】:
期刊論文
[1]云計算時代的軟件定義存儲技術(shù)[J]. 郭佳琳. 黑龍江科技信息. 2016(30)
[2]面向下一代數(shù)據(jù)中心的軟件定義存儲技術(shù)研究[J]. 孫振正,龔靖,段勇,雷俊智. 電信科學(xué). 2014(01)
[3]基于Redis的海量小文件分布式存儲方法研究[J]. 劉高軍,王帝澳. 計算機(jī)工程與科學(xué). 2013(10)
[4]基于Hadoop的海量MP3文件存儲架構(gòu)[J]. 趙曉永,楊揚(yáng),孫莉莉,陳宇. 計算機(jī)應(yīng)用. 2012(06)
本文編號:2956731
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2956731.html
最近更新
教材專著