發(fā)布時(shí)間：2024-03-24 23:38

　　本文介紹近年逐漸興起的自動(dòng)化機(jī)器學(xué)習(xí)框架,著重討論其中頗具挑戰(zhàn)的超參調(diào)優(yōu)問題.常用的調(diào)參方法有格子點(diǎn)法、隨機(jī)搜索等批量抽樣策略,還包括Bayes優(yōu)化、群體搜索算法和強(qiáng)化學(xué)習(xí)等序貫策略.由方開泰和王元早在1990年提出的貫序數(shù)論優(yōu)化算法,利用序貫均勻設(shè)計(jì)對(duì)復(fù)雜響應(yīng)曲面尋求全局最優(yōu)值,同樣適用于超參調(diào)優(yōu).本文以支持向量機(jī)和極限梯度推進(jìn)機(jī)這兩種常用的機(jī)器學(xué)習(xí)模型為例,結(jié)合兩組典型的二分類數(shù)據(jù)集,對(duì)多種超參調(diào)優(yōu)方法進(jìn)行測(cè)試.通過比較分析發(fā)現(xiàn)一種改進(jìn)的貫序數(shù)論優(yōu)化算法,對(duì)解決自動(dòng)化機(jī)器學(xué)習(xí)中的調(diào)參問題,頗具潛力.

【文章頁(yè)數(shù)】：16 頁(yè)

【部分圖文】：

圖1(網(wǎng)絡(luò)版彩圖)自動(dòng)化機(jī)器學(xué)習(xí)框架

自動(dòng)化機(jī)器學(xué)習(xí)(automatedmachinelearning,AutoML),旨在實(shí)現(xiàn)機(jī)器學(xué)習(xí)實(shí)踐中涉及的一系列步驟的自動(dòng)化,包括數(shù)據(jù)預(yù)處理、特征工程、模型選擇和超參優(yōu)化等.圖1勾勒了目前常用的一種AutoML框架,其中超參優(yōu)化是最重要的一個(gè)環(huán)節(jié).自動(dòng)化超參調(diào)優(yōu)相較于手工....

圖2(網(wǎng)絡(luò)版彩圖)4種方法的比較:在2維空間生成25個(gè)試驗(yàn)點(diǎn).(a)格子點(diǎn)法;(b)隨機(jī)搜索;(c)超拉丁方抽樣;(d)Sobol序列

格子點(diǎn)法預(yù)先將每一維超參劃分成多個(gè)格點(diǎn),然后對(duì)所有維度的格點(diǎn)組合進(jìn)行窮舉搜索.這種方法由于其簡(jiǎn)單、易操作的特性,在實(shí)踐中被廣泛使用.假設(shè)超參維度為s,每個(gè)超參可以選取的格點(diǎn)數(shù)相同且均為g,窮舉搜索的總次數(shù)即為gs.因?yàn)楦褡狱c(diǎn)數(shù)量會(huì)隨著超參維度的增加呈幾何級(jí)數(shù)增加所以對(duì)于高維超參優(yōu)....

圖3(網(wǎng)絡(luò)版彩圖)Bayes優(yōu)化示例

由Hutter等[6]提出的SMAC方法是另一種經(jīng)典的Bayes優(yōu)化方法.與GP-EI方法類似,SMAC方法將期望提升作為采集函數(shù),并使用隨機(jī)森林作為代理模型來擬合潛在的響應(yīng)曲面.隨機(jī)森林模型最早由Breiman[8]提出,本質(zhì)上是一組并行化的決策樹集成模型,具有較強(qiáng)的非線性擬合....

圖4(網(wǎng)絡(luò)版彩圖)SNTO與SNTO-New示意圖.(a)均勻設(shè)計(jì)U20(202);(b)SNTO;(c)SNTO-New

然后,判斷新的邊界是否超出原始[0,1]s區(qū)間.如果超出,則將縮放空間后的子空間向內(nèi)平移,直到子空間完全處于邊界之內(nèi).(2)在每次生成新的子空間均勻設(shè)計(jì)時(shí),對(duì)每個(gè)試驗(yàn)點(diǎn)的所有因子各自添加一個(gè)隨機(jī)擾動(dòng):

本文編號(hào)：3938194