高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)配置關(guān)鍵技術(shù)研究
發(fā)布時(shí)間:2020-11-06 14:16
結(jié)合云計(jì)算優(yōu)點(diǎn)、專門針對(duì)高性能應(yīng)用而設(shè)計(jì)的云平臺(tái)近幾年來受到廣泛關(guān)注。相比于傳統(tǒng)云計(jì)算平臺(tái),高性能云平臺(tái)獨(dú)占式分配虛擬機(jī)從而避免性能干擾,采用萬兆以太網(wǎng)而非千兆以太網(wǎng)互聯(lián),集成高性能服務(wù)器專用處理器、更大的內(nèi)存、容量更大的本地塊存儲(chǔ)設(shè)備。研究表明,對(duì)大量計(jì)算密集型和內(nèi)存密集型高性能計(jì)算程序,高性能云平臺(tái)的計(jì)算資源及服務(wù)能提供可比本地集群的性能。但是,高性能云平臺(tái)往往沒有直接提供支持并行讀寫的服務(wù),用戶通常需要在虛擬集群上自行搭建存儲(chǔ)系統(tǒng)。普通用戶根據(jù)應(yīng)用程序的特點(diǎn)配置存儲(chǔ)系統(tǒng)變成可能,但是如何選取優(yōu)化配置十分具有挑戰(zhàn)性。本文的主要研究工作從定義高性能云平臺(tái)存儲(chǔ)系統(tǒng)的可配置性出發(fā),建立自動(dòng)化選取優(yōu)化配置的預(yù)測(cè)模型,最后提出并實(shí)現(xiàn)一個(gè)快速、有效的評(píng)測(cè)方法。 本文的主要工作包括: (1)系統(tǒng)地定義了高性能云平臺(tái)存儲(chǔ)系統(tǒng)的可配置性,并首次提出利用該可配置性優(yōu)化性能或降低成本。本文以亞馬遜高性能云平臺(tái)為例,量化分析了存儲(chǔ)系統(tǒng)的可配置空間,發(fā)現(xiàn)不同存儲(chǔ)系統(tǒng)配置對(duì)不同應(yīng)用程序具有顯著的性能和成本差異,因此用戶在高性能云平臺(tái)上進(jìn)行配置時(shí)需要分析并結(jié)合目標(biāo)應(yīng)用程序的行為特征實(shí)現(xiàn)優(yōu)化配置。 (2)基于部分代表性數(shù)據(jù),建立了輸入輸出負(fù)載特征到存儲(chǔ)系統(tǒng)優(yōu)化配置的映射模型,可根據(jù)用戶輸入的負(fù)載特征預(yù)測(cè)優(yōu)化配置。為建立預(yù)測(cè)模型,本文提出基于眾包方式漸進(jìn)式探索可配置空間,并給出一種從可配置探索空間中收集代表性數(shù)據(jù)的方法。在該方法指導(dǎo)下,本文從真實(shí)云平臺(tái)上收集了初始可用數(shù)據(jù)集,建立了面向特定應(yīng)用程序負(fù)載特征的優(yōu)化配置預(yù)測(cè)模型,集成并評(píng)估了兩種成熟的機(jī)器學(xué)習(xí)算法。 (3)首次設(shè)計(jì)并實(shí)現(xiàn)自動(dòng)生成精簡(jiǎn)程序的原型系統(tǒng)。本文利用程序切片方法自動(dòng)從原始程序中抽取輸入輸出操作的相關(guān)語句,生成和原始應(yīng)用輸入輸出負(fù)載特征一致的精簡(jiǎn)程序,用于對(duì)高性能云平臺(tái)存儲(chǔ)系統(tǒng)配置的快速、有效評(píng)測(cè)。
【學(xué)位單位】:清華大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位年份】:2014
【中圖分類】:TP333
【文章目錄】:
摘要
Abstract
主要符號(hào)對(duì)照表
第1章 引言
1.1 論文背景及意義
1.1.1 高性能云計(jì)算平臺(tái)的發(fā)展
1.1.2 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)的配置
1.1.3 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)的性能評(píng)測(cè)
1.2 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)配置面臨的關(guān)鍵問題
1.3 本文研究的主要內(nèi)容和貢獻(xiàn)
1.3.1 本文的研究?jī)?nèi)容
1.3.2 本文的主要貢獻(xiàn)
第2章 相關(guān)工作
2.1 高性能云平臺(tái)相關(guān)研究
2.2 存儲(chǔ)系統(tǒng)管理相關(guān)研究
2.3 高性能存儲(chǔ)系統(tǒng)性能評(píng)測(cè)相關(guān)研究
2.4 存儲(chǔ)系統(tǒng)基準(zhǔn)測(cè)試程序生成方法相關(guān)研究
第3章 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)的可配置性
3.1 高性能云計(jì)算平臺(tái):以亞馬遜為例
3.2 高性能云計(jì)算平臺(tái)的存儲(chǔ)系統(tǒng)配置的探索空間
3.2.1 高性能云平臺(tái)存儲(chǔ)系統(tǒng)可配置棧
3.2.2 高性能程序存儲(chǔ)行為分析
3.2.3 總探索空間的定義
3.3 探索可配置空間的必要性
3.4 探索空間參數(shù)重要性分析
3.5 小結(jié)
第4章 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)優(yōu)化配置預(yù)測(cè)方法
4.1 系統(tǒng)框架
4.2 訓(xùn)練數(shù)據(jù)采集方法
4.3 優(yōu)化配置預(yù)測(cè)模型
4.3.1 分類和回歸的決策樹模型
4.3.2 基于排名算法的預(yù)測(cè)模型
4.4 實(shí)驗(yàn)結(jié)果
4.4.1 應(yīng)用程序
4.4.2 事實(shí)最優(yōu)配置分析
4.4.3 預(yù)測(cè)結(jié)果評(píng)價(jià)
4.4.4 參數(shù)敏感性分析
4.4.5 成本分析
4.5 案例分析:與手動(dòng)配置比較
4.6 小結(jié)
第5章 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)快速評(píng)測(cè)技術(shù)
5.1 高性能云平臺(tái)存儲(chǔ)系統(tǒng)評(píng)測(cè)方法
5.2 基于程序切片的測(cè)試程序自動(dòng)生成方法
5.2.1 方法介紹
5.2.2 舉例介紹
5.2.3 設(shè)計(jì)和實(shí)現(xiàn)
5.2.4 評(píng)測(cè)程序源代碼生成
5.3 切片效果分析
5.3.1 實(shí)驗(yàn)環(huán)境
5.3.2 初步實(shí)驗(yàn)結(jié)果
5.4 小結(jié)
第6章 總結(jié)與展望
6.1 本文解決的問題和解決方法
6.2 進(jìn)一步工作:挑戰(zhàn)和機(jī)遇并存
參考文獻(xiàn)
致謝
附錄A 性能預(yù)測(cè)模型采用的決策樹
個(gè)人簡(jiǎn)歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果
【參考文獻(xiàn)】
本文編號(hào):2873249
【學(xué)位單位】:清華大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位年份】:2014
【中圖分類】:TP333
【文章目錄】:
摘要
Abstract
主要符號(hào)對(duì)照表
第1章 引言
1.1 論文背景及意義
1.1.1 高性能云計(jì)算平臺(tái)的發(fā)展
1.1.2 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)的配置
1.1.3 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)的性能評(píng)測(cè)
1.2 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)配置面臨的關(guān)鍵問題
1.3 本文研究的主要內(nèi)容和貢獻(xiàn)
1.3.1 本文的研究?jī)?nèi)容
1.3.2 本文的主要貢獻(xiàn)
第2章 相關(guān)工作
2.1 高性能云平臺(tái)相關(guān)研究
2.2 存儲(chǔ)系統(tǒng)管理相關(guān)研究
2.3 高性能存儲(chǔ)系統(tǒng)性能評(píng)測(cè)相關(guān)研究
2.4 存儲(chǔ)系統(tǒng)基準(zhǔn)測(cè)試程序生成方法相關(guān)研究
第3章 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)的可配置性
3.1 高性能云計(jì)算平臺(tái):以亞馬遜為例
3.2 高性能云計(jì)算平臺(tái)的存儲(chǔ)系統(tǒng)配置的探索空間
3.2.1 高性能云平臺(tái)存儲(chǔ)系統(tǒng)可配置棧
3.2.2 高性能程序存儲(chǔ)行為分析
3.2.3 總探索空間的定義
3.3 探索可配置空間的必要性
3.4 探索空間參數(shù)重要性分析
3.5 小結(jié)
第4章 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)優(yōu)化配置預(yù)測(cè)方法
4.1 系統(tǒng)框架
4.2 訓(xùn)練數(shù)據(jù)采集方法
4.3 優(yōu)化配置預(yù)測(cè)模型
4.3.1 分類和回歸的決策樹模型
4.3.2 基于排名算法的預(yù)測(cè)模型
4.4 實(shí)驗(yàn)結(jié)果
4.4.1 應(yīng)用程序
4.4.2 事實(shí)最優(yōu)配置分析
4.4.3 預(yù)測(cè)結(jié)果評(píng)價(jià)
4.4.4 參數(shù)敏感性分析
4.4.5 成本分析
4.5 案例分析:與手動(dòng)配置比較
4.6 小結(jié)
第5章 高性能云計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)快速評(píng)測(cè)技術(shù)
5.1 高性能云平臺(tái)存儲(chǔ)系統(tǒng)評(píng)測(cè)方法
5.2 基于程序切片的測(cè)試程序自動(dòng)生成方法
5.2.1 方法介紹
5.2.2 舉例介紹
5.2.3 設(shè)計(jì)和實(shí)現(xiàn)
5.2.4 評(píng)測(cè)程序源代碼生成
5.3 切片效果分析
5.3.1 實(shí)驗(yàn)環(huán)境
5.3.2 初步實(shí)驗(yàn)結(jié)果
5.4 小結(jié)
第6章 總結(jié)與展望
6.1 本文解決的問題和解決方法
6.2 進(jìn)一步工作:挑戰(zhàn)和機(jī)遇并存
參考文獻(xiàn)
致謝
附錄A 性能預(yù)測(cè)模型采用的決策樹
個(gè)人簡(jiǎn)歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果
【參考文獻(xiàn)】
相關(guān)期刊論文 前1條
1 ;New generation of multi-scale NWP system (GRAPES):general scientific design[J];Chinese Science Bulletin;2008年22期
本文編號(hào):2873249
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2873249.html
最近更新
教材專著