近年來,機器學習算法廣泛應用于多個領(lǐng)域.超參數(shù)的選擇直接影響了算法模型的性能,然而超參數(shù)優(yōu)化過程往往依賴于專業(yè)知識和長期經(jīng)驗的積累.為了解決上述問題,本文提出了一種基于強化學習的自動超參數(shù)優(yōu)化方法.該方法將超參數(shù)優(yōu)化問題作為序列決策問題并建模為馬爾科夫決策過程,通過使用一個強化學習智能體（agent）,自動為機器學習算法選擇超參數(shù).該智能體以最大化待優(yōu)化模型在驗證數(shù)據(jù)集上的準確率為目標,將模型在驗證數(shù)據(jù)集上的準確率作為獎賞值（reward）,通過策略梯度算法訓練智能體.為了減小訓練過程中的方差,我們設(shè)計了數(shù)據(jù)引導池模塊.實驗將隨機森林和XGBoost算法作為優(yōu)化對象,在五個數(shù)據(jù)集上與隨機搜索、貝葉斯優(yōu)化、TPE、CM-AES和SMAC五種優(yōu)化方法進行了對比.實驗結(jié)果顯示,本文所提出的方法在90%的優(yōu)化任務上表現(xiàn)出更優(yōu)的性能.同時,我們通過執(zhí)行一系列消融實驗驗證了agent結(jié)構(gòu)和數(shù)據(jù)引導池的有效性. 

【文章來源】：小型微型計算機系統(tǒng). 2020,41(04)北大核心CSCD

【文章頁數(shù)】：6 頁

【文章目錄】：
1 引言
2背景及相關(guān)工作
3 基于強化學習的超參數(shù)優(yōu)化方法
    3.1 整體結(jié)構(gòu)
    3.2 詳細設(shè)計
        3.2.1 Agent結(jié)構(gòu)設(shè)計
        3.2.2 Agent訓練
        3.2.3 數(shù)據(jù)引導池(Boot Pool)模塊
4 實驗結(jié)果及分析
    4.1 實驗細節(jié)
    4.2 Agent結(jié)構(gòu)的有效性
    4.3 數(shù)據(jù)引導池模塊對優(yōu)化結(jié)果的影響
    4.4 對比BP-Agent方法與其他優(yōu)化方法
    4.5 討論與分析
5 結(jié)束語



本文編號：3205347