隨著硬件計(jì)算能力特別是大規(guī)模分布式并行計(jì)算的飛速發(fā)展,機(jī)器學(xué)習(xí)領(lǐng)域得到了長足的發(fā)展。在訓(xùn)練數(shù)據(jù)足夠充分的前提下,機(jī)器學(xué)習(xí)算法的超參數(shù)配置問題是其取得較好效果的關(guān)鍵。超參數(shù)是在某個(gè)機(jī)器學(xué)習(xí)算法運(yùn)行之前,首先需要選取的參數(shù),例如深度學(xué)習(xí)算法中的,控制神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度的學(xué)習(xí)率。超參數(shù)搜索的目的是為某個(gè)應(yīng)用的算法選擇一組好的超參數(shù),使此算法性能達(dá)到最佳。在以往機(jī)器學(xué)習(xí)超參數(shù)選擇問題中,領(lǐng)域內(nèi)研究者一般都是基于個(gè)人經(jīng)驗(yàn)對(duì)超參數(shù)進(jìn)行人工選擇。隨著數(shù)據(jù)規(guī)模指數(shù)級(jí)上升,雖然大規(guī)模計(jì)算加速設(shè)備的飛速進(jìn)展使得深度學(xué)習(xí)特別是深度強(qiáng)化學(xué)習(xí)算法在處理海量的圖片等數(shù)據(jù)方面顯示出強(qiáng)大的優(yōu)勢(shì),但是在超參數(shù)選擇問題上仍然是一個(gè)未解決的難題。近年來隨著深度學(xué)習(xí)模型的不斷增大,其訓(xùn)練成本即超參數(shù)的搜索空間也在不斷變大,然而傳統(tǒng)超參數(shù)搜索算法大部分是基于順序執(zhí)行訓(xùn)練,往往需要等待數(shù)周甚至數(shù)月才有可能找到較優(yōu)的超參數(shù)配置。為解決深度學(xué)習(xí)超參數(shù)搜索時(shí)間長和難以找到較優(yōu)超參數(shù)配置問題,本文提出一種新的超參數(shù)搜索算法——基于種群演化的超參數(shù)異步并行搜索（PEHS）。算法結(jié)合演化算法思想,利用固定資源預(yù)算異步并行搜索種群模型及其超參數(shù)... 

【文章來源】：浙江師范大學(xué)浙江省

【文章頁數(shù)】：64 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

逆強(qiáng)化學(xué)習(xí)示例圖

3基于種群演化的超參數(shù)異步并行搜索算法24圖3.1算法結(jié)構(gòu)流程圖數(shù)。在利用和探索之后，停止性能差的成員，重新生成一個(gè)新的成員，其余成員迭代訓(xùn)練像以前一樣繼續(xù)進(jìn)行演化。通過局部迭代訓(xùn)練和運(yùn)用種群進(jìn)行利用和探索的循環(huán)，直到模型收斂。算法1是基于種群演化的超參數(shù)異步并行搜索算法的偽代碼形式，圖3.1是其算法流程圖。具體流程如下：step1：通過隨機(jī)采樣的方法隨機(jī)選擇超參數(shù)配置，初始化種群P中的成員

3基于種群演化的超參數(shù)異步并行搜索算法29動(dòng)性較大，Hyperband的訓(xùn)練時(shí)間最長，但其波動(dòng)性高于Random；說明PEHS優(yōu)化算法訓(xùn)練收斂速度最快。由（3）四種算法達(dá)到最大精確度的平均迭代次數(shù)圖3.2PEHS，Hyperband，AsyHyperband，Random四種超參數(shù)搜索算法最優(yōu)實(shí)驗(yàn)精確度折線圖。圖3.3PEHS，Hyperband，AsyHyperband，Random四種超參數(shù)搜索算法達(dá)到最大訓(xùn)練精度的平均迭代次數(shù)折線圖。柱狀圖（圖3.3）可知，PEHS的平均迭代次數(shù)最小，性能最優(yōu)，AsyHyperband次之，Random最差。表3.4深度學(xué)習(xí)實(shí)驗(yàn)結(jié)果分析通過數(shù)字的形式展示了PEHS算法最先找到最優(yōu)的超參數(shù)模型，且找到超參數(shù)模型的平均迭代時(shí)間也是最短。綜合以上圖表的分析可知，PEHS算法在深度學(xué)習(xí)超參數(shù)搜索上相對(duì)于

【參考文獻(xiàn)】：
期刊論文
[1]基于交叉熵優(yōu)化的高斯混合模型運(yùn)動(dòng)編碼[J]. 張會(huì)文,張偉,周維佳.  機(jī)器人. 2018(04)
[2]馬爾科夫決策過程在多路徑冗余傳輸調(diào)度算法中的應(yīng)用[J]. 于波,于東,孫建偉.  小型微型計(jì)算機(jī)系統(tǒng). 2012(04)



本文編號(hào)：3137256