恰當?shù)某瑓?shù)設置是決定深度模型性能的關鍵因素,實現(xiàn)優(yōu)秀高效的超參數(shù)優(yōu)化算法能夠提高深度學習模型的效果,提升模型超參數(shù)搜索調優(yōu)的效率和速度,降低深度學習模型的應用門檻。超參數(shù)優(yōu)化算法的典型代表是貝葉斯優(yōu)化算法（BOA）,此類基于代理模型的全局優(yōu)化算法,相對隨機搜索、網(wǎng)格搜索等簡單算法理論上具備更好的優(yōu)化效率。本文提出基于超限學習機（ELM）對超參數(shù)空間建立確定性代理模型,并改進隨機響應面方法,實現(xiàn)了一種針對深度學習模型的超參數(shù)優(yōu)化算法SurroOpt1。實驗表明,本文提出的算法,在深度卷積網(wǎng)絡模型超參數(shù)優(yōu)化任務中,相對貝葉斯優(yōu)化和TPE算法這2種最先進的已知算法,在函數(shù)求解次數(shù)相同的情況下,具備更好的模型優(yōu)化效果。 

【文章來源】：高技術通訊. 2019,29(12)北大核心

【文章頁數(shù)】：10 頁

【部分圖文】：

超限學習機的網(wǎng)絡結構

得到輸入層和輸出層的權重后,即可根據(jù)式(1)獲得對參數(shù)空間的各點預測。本文所用超限學習機模型的激活函數(shù)為三角激活函數(shù)。圖2為超限學習機對1維函數(shù)y=xsin(x)+xcos(2x), x∈[0,5]基于采樣點對一維參數(shù)空間的擬合,及其與RBF插值模型的對比。3 基于隨機響應面方法的超參數(shù)優(yōu)化算法

3種算法在實驗1上的效率比較

【參考文獻】：
期刊論文
[1]一種基于改進KELM的在線狀態(tài)預測方法[J]. 朱敏,許愛強,陳強強,李睿峰.  北京航空航天大學學報. 2019(07)
[2]滾子包絡端面嚙合蝸桿傳動參數(shù)優(yōu)化[J]. 王凱,王玨翎,劉文革,黃清宇,夏至東.  高技術通訊. 2018(07)



本文編號：3558610