本文關(guān)鍵詞：一種組合型的深度學(xué)習(xí)模型學(xué)習(xí)率策略

  更多相關(guān)文章： 深度學(xué)習(xí) 學(xué)習(xí)率 組合學(xué)習(xí)策略 圖像重構(gòu)

【摘要】：一個(gè)設(shè)計(jì)良好的學(xué)習(xí)率策略可以顯著提高深度學(xué)習(xí)模型的收斂速度,減少模型的訓(xùn)練時(shí)間.本文針對(duì)AdaGrad和AdaDec學(xué)習(xí)策略只對(duì)模型所有參數(shù)提供單一學(xué)習(xí)率方式的問(wèn)題,根據(jù)模型參數(shù)的特點(diǎn),提出了一種組合型學(xué)習(xí)策略:AdaMix.該策略為連接權(quán)重設(shè)計(jì)了一個(gè)僅與當(dāng)前梯度有關(guān)的學(xué)習(xí)率,為偏置設(shè)計(jì)使用了冪指數(shù)型學(xué)習(xí)率.利用深度學(xué)習(xí)模型Autoencoder對(duì)圖像數(shù)據(jù)庫(kù)MNIST進(jìn)行重構(gòu),以模型反向微調(diào)過(guò)程中測(cè)試階段的重構(gòu)誤差作為評(píng)價(jià)指標(biāo),驗(yàn)證幾種學(xué)習(xí)策略對(duì)模型收斂性的影響.實(shí)驗(yàn)結(jié)果表明,AdaMix比AdaGrad和AdaDec的重構(gòu)誤差小并且計(jì)算量也低,具有更快的收斂速度.
【作者單位】： 西北工業(yè)大學(xué)航海學(xué)院;
【關(guān)鍵詞】： 深度學(xué)習(xí) 學(xué)習(xí)率 組合學(xué)習(xí)策略 圖像重構(gòu)
【基金】：國(guó)家自然科學(xué)基金(61271143)資助~~
【分類(lèi)號(hào)】：TP391.41;TP181
【正文快照】： 深度學(xué)習(xí)[1-6]是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)新的研究方向,與傳統(tǒng)的機(jī)器學(xué)習(xí)和信號(hào)處理方法相比,深度學(xué)習(xí)模擬人類(lèi)視覺(jué)神經(jīng)系統(tǒng)的層次體系,含有更多的隱含單元層,通過(guò)對(duì)原始 數(shù)據(jù)逐層的非線性變換,可以得到更高層次的、更加抽象的特征表達(dá),高層次的表達(dá)能夠強(qiáng)化輸入數(shù)據(jù)的區(qū)分能力,同時(shí)

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 杜利民,侯自強(qiáng);多層前饋神經(jīng)網(wǎng)絡(luò)快速學(xué)習(xí)算法的實(shí)現(xiàn)[J];電子學(xué)報(bào);1992年10期

2 曹均闊,舒遠(yuǎn)仲,葉水生;一種結(jié)構(gòu)自組織的改進(jìn)BP網(wǎng)絡(luò)[J];計(jì)算機(jī)工程;2005年17期

3 李琳娜;;基于變學(xué)習(xí)率的多agent學(xué)習(xí)算法的研究[J];長(zhǎng)春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年04期

4 孔繼利;賈國(guó)柱;欒世超;司曉玲;;考慮學(xué)習(xí)率和搬運(yùn)時(shí)間的人工作業(yè)系統(tǒng)批量加工模式研究[J];系統(tǒng)工程理論與實(shí)踐;2013年08期

5 王子才,施云惠,崔明根;一種具有動(dòng)態(tài)最優(yōu)學(xué)習(xí)率的BP算法[J];系統(tǒng)仿真學(xué)報(bào);2001年06期

6 酈小敏,王衛(wèi)紅,王宗學(xué);RBFN輸出層學(xué)習(xí)率的一種穩(wěn)定算法[J];計(jì)算機(jī)仿真;2004年02期

7 張聰,劉希玉;基于改進(jìn)的動(dòng)態(tài)因子多層前饋網(wǎng)絡(luò)學(xué)習(xí)算法[J];山東交通學(xué)院學(xué)報(bào);2004年04期

8 吳立鋒;吳經(jīng)龍;;BP算法學(xué)習(xí)率自適應(yīng)性研究[J];大眾科技;2011年12期

9 王科俊,李國(guó)斌;幾種變學(xué)習(xí)率的快速BP算法比較研究[J];哈爾濱工程大學(xué)學(xué)報(bào);1997年03期

10 陳國(guó)安,尤肖虎;基于學(xué)習(xí)率與慣性因子動(dòng)態(tài)聯(lián)合優(yōu)化的快速BP算法[J];東南大學(xué)學(xué)報(bào);1999年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 詹濤;張春路;丁國(guó)良;;基于學(xué)習(xí)率優(yōu)化和調(diào)整方向選擇的改進(jìn)BP算法在制冷系統(tǒng)仿真中的應(yīng)用[A];上海市制冷學(xué)會(huì)一九九九年學(xué)術(shù)年會(huì)論文集[C];1999年

2 胡上尉;劉瓊蓀;孫海雷;;基于三項(xiàng)BP算法的最優(yōu)學(xué)習(xí)參數(shù)估計(jì)[A];2006中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

，

本文編號(hào)：915131