隨著云計(jì)算的迅速發(fā)展,如何處理和挖掘由社會(huì)網(wǎng)絡(luò)、生物信息學(xué)、電子商務(wù)和醫(yī)療保健等各式應(yīng)用程序生成的大型數(shù)據(jù)集已成為一個(gè)重要且具有挑戰(zhàn)性的問(wèn)題。為了便于大數(shù)據(jù)分析,業(yè)界涌現(xiàn)出了許多不斷發(fā)展的框架來(lái)執(zhí)行并行數(shù)據(jù)處理。大數(shù)據(jù)處理框架(例如Spark)擁有100多個(gè)配置參數(shù),用來(lái)控制應(yīng)用程序的行為,并且往往對(duì)應(yīng)用程序性能有著決定性影響。但通常用戶不具備大數(shù)據(jù)框架的領(lǐng)域知識(shí),能夠結(jié)合應(yīng)用程序的特征和框架的特性設(shè)置配置參數(shù),往往采用默認(rèn)配置。因此如何自動(dòng)優(yōu)化Spark配置參數(shù),提升應(yīng)用程序性能,減少時(shí)間成本是亟待解決的問(wèn)題。為了解決這個(gè)問(wèn)題,國(guó)內(nèi)外提出了很多自動(dòng)化參數(shù)優(yōu)化方法。但是這些現(xiàn)存方法不是忽略了實(shí)際場(chǎng)景下的優(yōu)化成本,就是需要對(duì)軟件的特定版本進(jìn)行內(nèi)部分析,難以投入實(shí)際應(yīng)用,因此本文提出了一種自動(dòng)化優(yōu)化配置參數(shù)的工具AutoTune。在考慮了實(shí)際應(yīng)用場(chǎng)景下優(yōu)化時(shí)間限制和高維參數(shù)搜索空間的前提下,提出了與實(shí)際環(huán)境受配置影響相同的測(cè)試床(Testbed)環(huán)境構(gòu)建方法和廣泛覆蓋搜索空間的優(yōu)化算法,從而實(shí)現(xiàn)了高效的自動(dòng)化配置優(yōu)化。本文具體包含的工作有以下幾個(gè)方面:(1)分析和定義了Spark框架性能預(yù)測(cè)與優(yōu)化問(wèn)題,對(duì)該問(wèn)題進(jìn)行數(shù)學(xué)建模,同時(shí)描述了優(yōu)化方法流程,確定了待優(yōu)化配置參數(shù)空間。(2)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)Testbed構(gòu)建方法,用來(lái)解決在實(shí)際應(yīng)用場(chǎng)景下由于存在優(yōu)化時(shí)間限制,無(wú)法進(jìn)行過(guò)多次數(shù)搜索或者獲取訓(xùn)練樣本的問(wèn)題。通過(guò)在小規(guī)模,但是足夠精確地捕獲實(shí)際生產(chǎn)環(huán)境受配置影響的Testbed環(huán)境下,運(yùn)行縮減了輸入數(shù)據(jù)量的應(yīng)用,減少單次配置運(yùn)行時(shí)間,從而獲得更多的訓(xùn)練樣本,提高性能預(yù)測(cè)模型的準(zhǔn)確性。(3)提出一個(gè)結(jié)合了機(jī)器學(xué)習(xí)算法和搜索算法的迭代式參數(shù)優(yōu)化算法。通過(guò)采用探索策略,使用拉丁超立方體采樣算法來(lái)保證在高維參數(shù)搜索空間上的搜索樣本的廣泛性。通過(guò)采用開發(fā)策略,使用參數(shù)縮減算法不斷地減小搜索范圍,尋找局部最優(yōu)解。迭代過(guò)程中不斷優(yōu)化隨機(jī)森林模型,預(yù)測(cè)不同配置下的性能表現(xiàn),指導(dǎo)探索和開發(fā)過(guò)程。通過(guò)實(shí)驗(yàn)檢驗(yàn)本文提出的Testbed構(gòu)建方法和性能預(yù)測(cè)與優(yōu)化算法。實(shí)驗(yàn)驗(yàn)證主要包括兩部分,首先使用歸一化折現(xiàn)累積增益指標(biāo)比較相同時(shí)間下Testbed和實(shí)際生產(chǎn)環(huán)境下訓(xùn)練得到的機(jī)器學(xué)習(xí)模型的準(zhǔn)確性。然后分別使用本文優(yōu)化算法與其它5種優(yōu)化方法搜尋最佳配置,比較其優(yōu)化結(jié)果。經(jīng)過(guò)實(shí)驗(yàn)證明,優(yōu)化算法產(chǎn)出的優(yōu)化配置比默認(rèn)配置平均有63.70%的性能提升,而且,在使用Testbed的情況下,對(duì)于所有優(yōu)化算法,得到的最佳配置都優(yōu)于實(shí)際生產(chǎn)系統(tǒng)。
【學(xué)位單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP311.13
【部分圖文】：

初始化、探索和開發(fā)階段、驗(yàn)證階段都存在，且探索和開發(fā)階段占大比例時(shí)間情況下，優(yōu)化效果比較好。圖5.4 不同控制參數(shù)實(shí)驗(yàn)結(jié)果5.3 本章小結(jié)本章主要介紹了研究課題所需要的實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)過(guò)程。然后，將同樣時(shí)間下Testbed 得到的應(yīng)用預(yù)測(cè)模型同實(shí)際生產(chǎn)環(huán)境下的模型，采用 nDCG 指標(biāo)進(jìn)行比較和

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王國(guó)棟;劉相華;劉振宇;;鋼材熱軋過(guò)程中組織-性能預(yù)測(cè)技術(shù)的發(fā)展現(xiàn)狀和趨勢(shì)[J];鋼鐵;2007年10期

2 楊軍虎,張學(xué)靜;離心泵的性能預(yù)測(cè)進(jìn)展[J];通用機(jī)械;2003年12期

3 王建峰,徐正平,何仁;區(qū)間數(shù)學(xué)在汽車性能預(yù)測(cè)中的應(yīng)用探討[J];機(jī)械設(shè)計(jì)與制造工程;1998年05期

4 韋彩新;;利用性能預(yù)測(cè)方法確定電站最優(yōu)運(yùn)行工況[J];湖北水力發(fā)電;1992年02期

5 許以軍;郭永環(huán);秦真江;侯玉潔;;模糊神經(jīng)網(wǎng)絡(luò)在焊接性能預(yù)測(cè)中的應(yīng)用現(xiàn)狀[J];電焊機(jī);2014年06期

6 崔文華;劉曉冰;王偉;王介生;;基于遞階支持向量機(jī)的產(chǎn)品族配置性能預(yù)測(cè)[J];計(jì)算機(jī)集成制造系統(tǒng);2013年08期

7 馬文博;吳斌;朱天;楊娟;;基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的熱軋產(chǎn)品性能預(yù)測(cè)[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年03期

8 李軍紅;周天瑞;鄭榮;;基于神經(jīng)網(wǎng)絡(luò)的冷軋帶肋鋼筋機(jī)械性能預(yù)測(cè)[J];中國(guó)機(jī)械工程;2006年15期

9 孫建平,張克危,賈宗謨;泵優(yōu)化水力設(shè)計(jì)的現(xiàn)狀及展望[J];水泵技術(shù);1994年05期

10 三階春夫;吳廣位;;離心式壓氣機(jī)的性能預(yù)測(cè)(笫一部預(yù)測(cè)方法與計(jì)算實(shí)例)[J];國(guó)外內(nèi)燃機(jī)車;1986年05期

相關(guān)會(huì)議論文 前10條

1 陳華鵬;劉昌雨;;橋梁服役狀態(tài)評(píng)估與性能預(yù)測(cè)[A];第九屆橋梁與隧道工程技術(shù)論壇論文集[C];2019年

2 唐小偉;;氣動(dòng)性能預(yù)測(cè)研究數(shù)據(jù)向應(yīng)用數(shù)據(jù)轉(zhuǎn)化的探討[A];第八屆全國(guó)高超聲速科技學(xué)術(shù)會(huì)議論文摘要集[C];2015年

3 王彥利;田秀;曲建俊;;超聲波電機(jī)性能預(yù)測(cè)方法[A];中國(guó)宇航學(xué)會(huì)深空探測(cè)技術(shù)專業(yè)委員會(huì)第七屆學(xué)術(shù)年會(huì)論文集[C];2010年

4 畢海權(quán);雷波;;基于神經(jīng)網(wǎng)絡(luò)方法的空調(diào)機(jī)組性能預(yù)測(cè)[A];全國(guó)暖通空調(diào)制冷2000年學(xué)術(shù)年會(huì)資料集[C];2000年

5 陳紅偉;;HyperMorph在汽車開發(fā)中的應(yīng)用[A];2015Altair技術(shù)大會(huì)論文集[C];2015年

6 朱永光;郭朝霞;于建;;基于神經(jīng)網(wǎng)絡(luò)的復(fù)合材料的改性及其性能預(yù)測(cè)[A];2005年全國(guó)高分子學(xué)術(shù)論文報(bào)告會(huì)論文摘要集[C];2005年

7 曲建俊;王彥利;;超聲波電動(dòng)機(jī)性能預(yù)測(cè)方法[A];第十六屆中國(guó)小電機(jī)技術(shù)研討會(huì)論文摘要集[C];2011年

8 劉軍;張立群;;聚合物納米復(fù)合材料模擬研究:結(jié)構(gòu)設(shè)計(jì)與性能預(yù)測(cè)[A];2015年全國(guó)高分子學(xué)術(shù)論文報(bào)告會(huì)論文摘要集——主題E 高分子理論計(jì)算模擬[C];2015年

9 崔俊芝;;多尺度顆粒隨機(jī)分布材料的性能預(yù)測(cè)方法[A];計(jì)算機(jī)技術(shù)在工程建設(shè)中的應(yīng)用——第十二屆全國(guó)工程建設(shè)計(jì)算機(jī)應(yīng)用學(xué)術(shù)會(huì)議演講輯錄[C];2004年

10 段小容;陳友明;趙云峰;;基于神經(jīng)網(wǎng)絡(luò)的冷卻塔性能預(yù)測(cè)與評(píng)估[A];全國(guó)暖通空調(diào)制冷2010年學(xué)術(shù)年會(huì)資料集[C];2010年

相關(guān)重要報(bào)紙文章 前5條

1 記者 王亞麗;DNV新推石化行業(yè)性能預(yù)測(cè)軟件[N];中國(guó)化工報(bào);2009年

2 王小慶;Intel公布安騰2性能預(yù)測(cè)[N];中國(guó)電子報(bào);2002年

3 本報(bào)記者 王洪剛　通訊員 張國(guó)東 李止庸;10年磨劍 品質(zhì)鑄就輝煌[N];西部時(shí)報(bào);2011年

4 胡恒法;滿足多樣化、個(gè)性化生產(chǎn)需求[N];中國(guó)冶金報(bào);2010年

5 本報(bào)記者 郭川;5G將帶來(lái)真正互聯(lián)的世界[N];人民郵電;2014年

相關(guān)博士學(xué)位論文 前10條

1 于曉慧;高溫?zé)岜孟到y(tǒng)性能及性能預(yù)測(cè)研究[D];天津大學(xué);2014年

2 黃宸武;基于相似理論風(fēng)力機(jī)氣動(dòng)性能預(yù)測(cè)研究[D];中國(guó)科學(xué)院研究生院（工程熱物理研究所）;2012年

3 鄧天勇;基于組織性能預(yù)測(cè)的柔性化軋制工藝制定方法[D];東北大學(xué);2008年

4 張賦;復(fù)合材料微結(jié)構(gòu)仿真與性能預(yù)測(cè)一體化研究[D];蘭州理工大學(xué);2013年

5 王宏強(qiáng);目標(biāo)融合跟蹤技術(shù)及性能預(yù)測(cè)研究[D];中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué);2002年

6 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

7 肖惠民;基于計(jì)算流體動(dòng)力學(xué)的水輪機(jī)及水電站尾水系統(tǒng)數(shù)值研究[D];武漢大學(xué);2005年

8 張超煒;離心壓氣機(jī)性能預(yù)測(cè)模型及氣動(dòng)設(shè)計(jì)方法研究[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程熱物理研究所);2020年

9 徐志;超臨界循環(huán)流化床鍋爐數(shù)學(xué)模擬與設(shè)計(jì)方案優(yōu)化[D];浙江大學(xué);2013年

10 李倩;復(fù)雜背景雜波量化及光電成像系統(tǒng)性能預(yù)測(cè)研究[D];西安電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 陳煒昭;Spark框架性能預(yù)測(cè)與優(yōu)化技術(shù)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2019年

2 張競(jìng)旭;基于AMD Tonga架構(gòu)的GPU性能預(yù)測(cè)研究[D];西安電子科技大學(xué);2018年

3 丁亞男;Q&P熱沖壓過(guò)程相變模型研究與性能預(yù)測(cè)[D];上海交通大學(xué);2017年

4 王厚同;基于機(jī)器學(xué)習(xí)的TBM性能預(yù)測(cè)方法[D];山東大學(xué);2019年

5 姜傳奇;基于條件變分自編碼器的網(wǎng)絡(luò)性能預(yù)測(cè)和優(yōu)化方法研究[D];山東大學(xué);2019年

6 羅華;基于線性回歸和深度置信網(wǎng)絡(luò)的TBM性能預(yù)測(cè)研究[D];浙江大學(xué);2018年

7 衣晨陽(yáng);動(dòng)車組橫向止擋減振器有限元仿真及性能預(yù)測(cè)研究[D];青島科技大學(xué);2017年

8 阮江洋;激光干擾下紅外成像系統(tǒng)性能預(yù)測(cè)研究[D];西安電子科技大學(xué);2011年

9 宋玲玲;基于進(jìn)化算法的高性能混凝土性能預(yù)測(cè)與配比優(yōu)化研究[D];河北農(nóng)業(yè)大學(xué);2010年

10 陳凱;紅外成像系統(tǒng)野外鑒別性能預(yù)測(cè)新方法研究[D];西安電子科技大學(xué);2010年

本文編號(hào)：2829419