近年來,關(guān)于機(jī)器學(xué)習(xí)的研究與應(yīng)用在各個(gè)領(lǐng)域都取得了豐碩的成果,這些成果主要依賴于機(jī)器學(xué)習(xí)專家對機(jī)器學(xué)習(xí)各環(huán)節(jié)的大量人工干預(yù),尤其是在算法選擇和超參數(shù)調(diào)優(yōu)階段。自動(dòng)機(jī)器學(xué)習(xí)（AutoML）的出現(xiàn)減輕了專家的負(fù)擔(dān),使其將工作重心從繁瑣、重復(fù)的選型和調(diào)參任務(wù)轉(zhuǎn)移到數(shù)據(jù)分析上來。眾所周知,人們通常通過調(diào)整超參數(shù)的設(shè)置來提升模型的性能,這個(gè)過程稱為超參數(shù)調(diào)優(yōu),它是AutoML中最耗時(shí)的階段,在此過程中因?yàn)椴煌瑓?shù)對模型性能的影響差異較大,所以選擇關(guān)鍵超參數(shù)對提高AutoML性能具有十分重要的應(yīng)用價(jià)值和研究意義。本文面向傳統(tǒng)監(jiān)督式機(jī)器學(xué)習(xí)中的算法選擇和超參數(shù)優(yōu)化的組合優(yōu)化問題（簡稱CASH問題）,重點(diǎn)分析超參數(shù)與模型性能之間的內(nèi)在關(guān)系,并對AutoML配置器在運(yùn)行過程中的搜索策略進(jìn)行了深入研究。針對其性能瓶頸,設(shè)計(jì)并實(shí)現(xiàn)了基于關(guān)鍵超參數(shù)選擇技術(shù)的性能優(yōu)化組件。主要研究內(nèi)容包括:（1）分析監(jiān)督式AutoML配置器SMAC的性能瓶頸,發(fā)現(xiàn)在配置生成階段,配置器中的采集函數(shù)因低性能配置具有高不確定性而產(chǎn)生額外不必要的評估開銷;（2）分析超參數(shù)與模型性能之間的內(nèi)在關(guān)系,利用平均不純度下降法（MDI）量化... 

【文章來源】：貴州大學(xué)貴州省 211工程院校

【文章頁數(shù)】：54 頁

【學(xué)位級別】：碩士

【部分圖文】：

AutoML的通用結(jié)構(gòu)

圖 3-1 SMAC 的組件框架圖 配置器支持使用不同代理模型表示優(yōu)化問題（即對于給定模型性能的內(nèi)在關(guān)系），包括高斯隨機(jī)過程模型和隨機(jī)森斯隨機(jī)過程模型的方法在具有數(shù)值型超參數(shù)的低維問題回歸模型在高維結(jié)構(gòu)化的離散型問題中表現(xiàn)較好[58]，且高維混合型問題，所以本文選擇隨機(jī)森林回歸模型作為代來預(yù)測候選配置遠(yuǎn)比實(shí)際求解候選配置性能的計(jì)算成本的精確度依賴于樣本量的大小和選擇的候選配置。 配置器中候選配置的生成過程由“選擇配置”組件控制。“機(jī)搜索和本地搜索得到一組候選配置，然后使用期望改進(jìn)評估候選配置的潛力，從高到底排序后再進(jìn)行實(shí)際訓(xùn)練數(shù)權(quán)衡了候選配置生成過程中的開發(fā)潛力（在已知包含良化超參數(shù)）與探索潛力（在未開發(fā)區(qū)域中嘗試超參數(shù)配置

圖 4-1 性能歷史數(shù)據(jù)結(jié)構(gòu)據(jù)計(jì)算得到的超參數(shù)重要性來篩選關(guān)鍵超間，具體的修剪過程如圖 4-2 所示。修剪組剪搜索空間的，因此可將其視為從歷史實(shí)驗(yàn)其中學(xué)習(xí)知識和應(yīng)用知識兩個(gè)階段是交替進(jìn)一步，超參數(shù)重要性的計(jì)算，計(jì)算方法已在關(guān)鍵超參數(shù)的篩選，對前一步計(jì)算得到的超 p 的超參數(shù)作為關(guān)鍵超參數(shù)，重要性小于q分方式比較簡單直接，整個(gè)過程屬于遞歸消算結(jié)果的影響較大。

【參考文獻(xiàn)】：
期刊論文
[1]梯度下降法在機(jī)器學(xué)習(xí)中的應(yīng)用[J]. 孫婭楠,林文斌.  蘇州科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[2]人工智能革命“助燃劑”:機(jī)器學(xué)習(xí)[J]. 祝葉華.  科技導(dǎo)報(bào). 2016(07)
[3]大數(shù)據(jù)機(jī)器學(xué)習(xí)系統(tǒng)研究進(jìn)展[J]. 黃宜華.  大數(shù)據(jù). 2015(01)
[4]遷移學(xué)習(xí)研究進(jìn)展[J]. 莊福振,羅平,何清,史忠植.  軟件學(xué)報(bào). 2015(01)
[5]概念漂移數(shù)據(jù)流分類研究綜述[J]. 文益民,強(qiáng)保華,范志剛.  智能系統(tǒng)學(xué)報(bào). 2013(02)
[6]選擇性集成學(xué)習(xí)算法綜述[J]. 張春霞,張講社.  計(jì)算機(jī)學(xué)報(bào). 2011(08)
[7]基于梯度算法的支持向量機(jī)參數(shù)優(yōu)化方法[J]. 劉昌平,范明鈺,王光衛(wèi),馬素麗.  控制與決策. 2008(11)
[8]利用粒子群算法優(yōu)化SVM分類器的超參數(shù)[J]. 王東,吳湘濱.  計(jì)算機(jī)應(yīng)用. 2008(01)
[9]基于啟發(fā)式遺傳算法的SVM模型自動(dòng)選擇[J]. 鄭春紅,焦李成,丁愛玲.  控制理論與應(yīng)用. 2006(02)
[10]強(qiáng)化學(xué)習(xí)研究綜述[J]. 高陽,陳世福,陸鑫.  自動(dòng)化學(xué)報(bào). 2004(01)



本文編號：3126972