基于軟件定義存儲(chǔ)的小文件性能優(yōu)化研究
發(fā)布時(shí)間:2021-01-04 12:03
大量云存儲(chǔ)系統(tǒng)支持多租戶技術(shù),以有效降低基礎(chǔ)設(shè)施成本,因而云存儲(chǔ)系統(tǒng)的性能對(duì)于多租戶應(yīng)用至關(guān)重要。然而在面對(duì)大量小文件存取訪問(wèn)時(shí),云存儲(chǔ)系統(tǒng)在元數(shù)據(jù)管理、緩存管理以及數(shù)據(jù)布局等多個(gè)方面面臨挑戰(zhàn),系統(tǒng)的整體讀寫(xiě)性能不佳,F(xiàn)有工作主要使用合并和預(yù)取技術(shù)來(lái)改善小文件的訪問(wèn)性能,但對(duì)于多租戶應(yīng)用場(chǎng)景,還需考慮三個(gè)問(wèn)題:(1)存儲(chǔ)系統(tǒng)的靜態(tài)配置不能滿足不同租戶需求,例如同一預(yù)取或緩存替換算法很難適用于多個(gè)具有不同訪問(wèn)特征的租戶;(2)多個(gè)租戶的小文件的混合合并存儲(chǔ)使得合并塊內(nèi)文件關(guān)聯(lián)度較低,影響預(yù)取性能;(3)租戶之間的資源競(jìng)爭(zhēng),例如高請(qǐng)求率租戶占據(jù)更多緩存資源,會(huì)影響其他租戶的訪問(wèn)性能。為解決上述問(wèn)題,設(shè)計(jì)了一種面向多租戶小文件訪問(wèn)的軟件定義對(duì)象存儲(chǔ)系統(tǒng)(Software Defined Object Storage System,SD-OSS)。SD-OSS的控制平面可以為數(shù)據(jù)平面配置不同的合并塊閾值和緩存替換策略,從而適應(yīng)多個(gè)租戶的不同訪問(wèn)特征和多種小文件類(lèi)型。SD-OSS的數(shù)據(jù)平面提供一種基于租戶分類(lèi)的小文件合并機(jī)制,該機(jī)制將小文件按照租戶和文件類(lèi)型合理劃分后再合并存儲(chǔ),能夠有效提升合并...
【文章來(lái)源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:82 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景與意義
1.2 國(guó)內(nèi)外研究概況
1.3 本文主要研究?jī)?nèi)容
1.4 本文組織結(jié)構(gòu)
2 相關(guān)技術(shù)概述
2.1 OpenStack Swift系統(tǒng)概述
2.2 多租戶技術(shù)
2.3 軟件定義存儲(chǔ)
2.4 本章小結(jié)
3 SD-OSS系統(tǒng)小文件性能優(yōu)化方案設(shè)計(jì)
3.1 SD-OSS系統(tǒng)總體架構(gòu)設(shè)計(jì)
3.2 控制模塊
3.3 負(fù)載信息監(jiān)控模塊
3.4 分類(lèi)處理模塊
3.5 本章小結(jié)
4 SD-OSS系統(tǒng)小文件性能優(yōu)化方案實(shí)現(xiàn)
4.1 控制模塊
4.2 負(fù)載信息監(jiān)控模塊
4.3 分類(lèi)處理模塊
4.4 本章小結(jié)
5 性能測(cè)試與結(jié)果分析
5.1 測(cè)試環(huán)境與測(cè)試負(fù)載
5.2 測(cè)試對(duì)照方案
5.3 測(cè)試結(jié)果分析
5.4 本章小結(jié)
6 總結(jié)與展望
致謝
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間發(fā)表的論文和專(zhuān)利
【參考文獻(xiàn)】:
期刊論文
[1]云計(jì)算時(shí)代的軟件定義存儲(chǔ)技術(shù)[J]. 郭佳琳. 黑龍江科技信息. 2016(30)
[2]面向下一代數(shù)據(jù)中心的軟件定義存儲(chǔ)技術(shù)研究[J]. 孫振正,龔靖,段勇,雷俊智. 電信科學(xué). 2014(01)
[3]基于Redis的海量小文件分布式存儲(chǔ)方法研究[J]. 劉高軍,王帝澳. 計(jì)算機(jī)工程與科學(xué). 2013(10)
[4]基于Hadoop的海量MP3文件存儲(chǔ)架構(gòu)[J]. 趙曉永,楊揚(yáng),孫莉莉,陳宇. 計(jì)算機(jī)應(yīng)用. 2012(06)
本文編號(hào):2956731
【文章來(lái)源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:82 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景與意義
1.2 國(guó)內(nèi)外研究概況
1.3 本文主要研究?jī)?nèi)容
1.4 本文組織結(jié)構(gòu)
2 相關(guān)技術(shù)概述
2.1 OpenStack Swift系統(tǒng)概述
2.2 多租戶技術(shù)
2.3 軟件定義存儲(chǔ)
2.4 本章小結(jié)
3 SD-OSS系統(tǒng)小文件性能優(yōu)化方案設(shè)計(jì)
3.1 SD-OSS系統(tǒng)總體架構(gòu)設(shè)計(jì)
3.2 控制模塊
3.3 負(fù)載信息監(jiān)控模塊
3.4 分類(lèi)處理模塊
3.5 本章小結(jié)
4 SD-OSS系統(tǒng)小文件性能優(yōu)化方案實(shí)現(xiàn)
4.1 控制模塊
4.2 負(fù)載信息監(jiān)控模塊
4.3 分類(lèi)處理模塊
4.4 本章小結(jié)
5 性能測(cè)試與結(jié)果分析
5.1 測(cè)試環(huán)境與測(cè)試負(fù)載
5.2 測(cè)試對(duì)照方案
5.3 測(cè)試結(jié)果分析
5.4 本章小結(jié)
6 總結(jié)與展望
致謝
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間發(fā)表的論文和專(zhuān)利
【參考文獻(xiàn)】:
期刊論文
[1]云計(jì)算時(shí)代的軟件定義存儲(chǔ)技術(shù)[J]. 郭佳琳. 黑龍江科技信息. 2016(30)
[2]面向下一代數(shù)據(jù)中心的軟件定義存儲(chǔ)技術(shù)研究[J]. 孫振正,龔靖,段勇,雷俊智. 電信科學(xué). 2014(01)
[3]基于Redis的海量小文件分布式存儲(chǔ)方法研究[J]. 劉高軍,王帝澳. 計(jì)算機(jī)工程與科學(xué). 2013(10)
[4]基于Hadoop的海量MP3文件存儲(chǔ)架構(gòu)[J]. 趙曉永,楊揚(yáng),孫莉莉,陳宇. 計(jì)算機(jī)應(yīng)用. 2012(06)
本文編號(hào):2956731
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2956731.html
最近更新
教材專(zhuān)著