近年來,關于機器學習的研究與應用在各個領域都取得了豐碩的成果,這些成果主要依賴于機器學習專家對機器學習各環(huán)節(jié)的大量人工干預,尤其是在算法選擇和超參數調優(yōu)階段。自動機器學習（AutoML）的出現(xiàn)減輕了專家的負擔,使其將工作重心從繁瑣、重復的選型和調參任務轉移到數據分析上來。眾所周知,人們通常通過調整超參數的設置來提升模型的性能,這個過程稱為超參數調優(yōu),它是AutoML中最耗時的階段,在此過程中因為不同超參數對模型性能的影響差異較大,所以選擇關鍵超參數對提高AutoML性能具有十分重要的應用價值和研究意義。本文面向傳統(tǒng)監(jiān)督式機器學習中的算法選擇和超參數優(yōu)化的組合優(yōu)化問題（簡稱CASH問題）,重點分析超參數與模型性能之間的內在關系,并對AutoML配置器在運行過程中的搜索策略進行了深入研究。針對其性能瓶頸,設計并實現(xiàn)了基于關鍵超參數選擇技術的性能優(yōu)化組件。主要研究內容包括:（1）分析監(jiān)督式AutoML配置器SMAC的性能瓶頸,發(fā)現(xiàn)在配置生成階段,配置器中的采集函數因低性能配置具有高不確定性而產生額外不必要的評估開銷;（2）分析超參數與模型性能之間的內在關系,利用平均不純度下降法（MDI）量化... 

【文章來源】：貴州大學貴州省 211工程院校

【文章頁數】：54 頁

【學位級別】：碩士

【部分圖文】：

AutoML的通用結構

圖 3-1 SMAC 的組件框架圖 配置器支持使用不同代理模型表示優(yōu)化問題（即對于給定模型性能的內在關系），包括高斯隨機過程模型和隨機森斯隨機過程模型的方法在具有數值型超參數的低維問題回歸模型在高維結構化的離散型問題中表現(xiàn)較好[58]，且高維混合型問題，所以本文選擇隨機森林回歸模型作為代來預測候選配置遠比實際求解候選配置性能的計算成本的精確度依賴于樣本量的大小和選擇的候選配置。 配置器中候選配置的生成過程由“選擇配置”組件控制�！皺C搜索和本地搜索得到一組候選配置，然后使用期望改進評估候選配置的潛力，從高到底排序后再進行實際訓練數權衡了候選配置生成過程中的開發(fā)潛力（在已知包含良化超參數）與探索潛力（在未開發(fā)區(qū)域中嘗試超參數配置

圖 4-1 性能歷史數據結構據計算得到的超參數重要性來篩選關鍵超間，具體的修剪過程如圖 4-2 所示。修剪組剪搜索空間的，因此可將其視為從歷史實驗其中學習知識和應用知識兩個階段是交替進一步，超參數重要性的計算，計算方法已在關鍵超參數的篩選，對前一步計算得到的超 p 的超參數作為關鍵超參數，重要性小于q分方式比較簡單直接，整個過程屬于遞歸消算結果的影響較大。

【參考文獻】：
期刊論文
[1]梯度下降法在機器學習中的應用[J]. 孫婭楠,林文斌.  蘇州科技大學學報(自然科學版). 2018(02)
[2]人工智能革命“助燃劑”:機器學習[J]. 祝葉華.  科技導報. 2016(07)
[3]大數據機器學習系統(tǒng)研究進展[J]. 黃宜華.  大數據. 2015(01)
[4]遷移學習研究進展[J]. 莊福振,羅平,何清,史忠植.  軟件學報. 2015(01)
[5]概念漂移數據流分類研究綜述[J]. 文益民,強保華,范志剛.  智能系統(tǒng)學報. 2013(02)
[6]選擇性集成學習算法綜述[J]. 張春霞,張講社.  計算機學報. 2011(08)
[7]基于梯度算法的支持向量機參數優(yōu)化方法[J]. 劉昌平,范明鈺,王光衛(wèi),馬素麗.  控制與決策. 2008(11)
[8]利用粒子群算法優(yōu)化SVM分類器的超參數[J]. 王東,吳湘濱.  計算機應用. 2008(01)
[9]基于啟發(fā)式遺傳算法的SVM模型自動選擇[J]. 鄭春紅,焦李成,丁愛玲.  控制理論與應用. 2006(02)
[10]強化學習研究綜述[J]. 高陽,陳世福,陸鑫.  自動化學報. 2004(01)



本文編號：3126972