【摘要】：動量算法理論上可以加速受限玻爾茲曼機(Restricted Boltzmann machine,RBM)網(wǎng)絡(luò)的訓(xùn)練速度.本文通過對現(xiàn)有動量算法進行仿真研究,發(fā)現(xiàn)現(xiàn)有動量算法在受限玻爾茲曼機網(wǎng)絡(luò)訓(xùn)練中加速效果較差,且在訓(xùn)練后期逐漸失去了加速性能.針對以上問題,本文首先基于Gibbs采樣收斂性定理對現(xiàn)有動量算法進行了理論分析,證明了現(xiàn)有動量算法的加速效果是以犧牲網(wǎng)絡(luò)權(quán)值為代價的;然后,本文進一步對網(wǎng)絡(luò)權(quán)值進行研究,發(fā)現(xiàn)網(wǎng)絡(luò)權(quán)值中包含大量真實梯度的方向信息,這些方向信息可以用來對網(wǎng)絡(luò)進行訓(xùn)練;基于此,本文提出了基于網(wǎng)絡(luò)權(quán)值的權(quán)值動量算法,最后給出了仿真實驗.實驗結(jié)果表明,本文提出的動量算法具有更好的加速效果,并且在訓(xùn)練后期仍然能夠保持較好的加速性能,可以很好地彌補現(xiàn)有動量算法的不足.
[Abstract]:Momentum algorithm can accelerate the training speed of constrained Boltzmann machine (Restricted Boltzmann machine,RBM) network theoretically. Based on the simulation of the existing momentum algorithms, it is found that the current momentum algorithms have poor acceleration effect in the constrained Boltzmann network training, and gradually lose the acceleration performance in the later stage of training. Aiming at the above problems, this paper firstly analyzes the existing momentum algorithm based on the Gibbs sampling convergence theorem, and proves that the acceleration effect of the existing momentum algorithm is at the expense of the network weight. This paper further studies the network weights, and finds that the network weights contain a large number of real gradient directional information, which can be used to train the network. Based on this, this paper proposes a weight momentum algorithm based on network weights. Finally, the simulation experiment is given. The experimental results show that the momentum algorithm proposed in this paper has better acceleration effect, and can still maintain better acceleration performance in the later training period, which can make up for the deficiency of the existing momentum algorithm.
【作者單位】： 西北工業(yè)大學(xué)電子信息學(xué)院;
【基金】：國家自然科學(xué)基金(61305133,61573285)資助~~
【分類號】：TP181

【相似文獻】

相關(guān)期刊論文 前10條

1 許道云;;全息算法的原理及應(yīng)用[J];計算機科學(xué)與探索;2011年02期

2 段海濱,王道波,朱家強,黃向華;蟻群算法理論及應(yīng)用研究的進展[J];控制與決策;2004年12期

3 段海濱;王道波;于秀芬;;幾種新型仿生優(yōu)化算法的比較研究[J];計算機仿真;2007年03期

4 劉永廣;葉梧;馮穗力;;一種基于非線性長度的多約束路由算法[J];計算機應(yīng)用研究;2008年11期

5 劉永廣;葉梧;馮穗力;;一種基于蟻群算法和非線性長度的多約束路由算法[J];通信技術(shù);2009年08期

6 劉振;胡云安;;一種多粒度模式蟻群算法及其在路徑規(guī)劃中的應(yīng)用[J];中南大學(xué)學(xué)報(自然科學(xué)版);2013年09期

7 羅景峰;;智能算法求解效果評價的物元模型[J];微電子學(xué)與計算機;2011年04期

8 劉芳,李陽陽;量子克隆進化算法[J];電子學(xué)報;2003年S1期

9 周雅蘭;;細(xì)菌覓食優(yōu)化算法的研究與應(yīng)用[J];計算機工程與應(yīng)用;2010年20期

10 胡紅莉;張建州;;螺旋錐束CT重建的近似逆算法[J];計算機工程與應(yīng)用;2011年21期

相關(guān)會議論文 前1條

1 董家瑞;王精業(yè);潘麗君;;改進的Dijksta算法在裝備保障系統(tǒng)中的應(yīng)用[A];圖像圖形技術(shù)與應(yīng)用進展——第三屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2008年

相關(guān)博士學(xué)位論文 前9條

1 高衛(wèi)峰;人工蜂群算法及其應(yīng)用的研究[D];西安電子科技大學(xué);2013年

2 張捷;進化算法及智能數(shù)據(jù)挖掘若干問題研究[D];西安電子科技大學(xué);2013年

3 程世娟;改進蟻群算法及其在結(jié)構(gòu)系統(tǒng)可靠性優(yōu)化中的應(yīng)用[D];西南交通大學(xué);2009年

4 楊振宇;基于自然計算的實值優(yōu)化算法與應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2010年

5 郭慶昌;均值移動算法及在圖像處理和目標(biāo)跟蹤中的應(yīng)用研究[D];哈爾濱工程大學(xué);2008年

6 金勁;群集智能算法在網(wǎng)絡(luò)策略中的研究及其應(yīng)用[D];蘭州理工大學(xué);2011年

7 鄭樂;寬頻帶雷達(dá)目標(biāo)跟蹤理論與算法研究[D];北京理工大學(xué);2015年

8 劉劍;非圓信號波達(dá)方向估計算法研究[D];國防科學(xué)技術(shù)大學(xué);2007年

9 張瑞秋;面向SMT的錐束CT圖像重構(gòu)關(guān)鍵理論與BGA焊點檢測算法[D];華南理工大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 黃林;空間復(fù)用MIMO系統(tǒng)接收端的球形譯碼檢測算法研究[D];寧夏大學(xué);2015年

2 牛麗娟;基于Gossip算法的無線傳感器網(wǎng)絡(luò)分布式參數(shù)場估計[D];哈爾濱工業(yè)大學(xué);2015年

3 卓靜一;液晶相控陣波前相位校正算法研究[D];電子科技大學(xué);2014年

4 張瑩;視頻異常事件檢測算法研究[D];大連理工大學(xué);2015年

5 張博;基于多用戶MIMO系統(tǒng)的魯棒性信號檢測算法研究[D];大連理工大學(xué);2015年

6 陳望;基于混合算法的室內(nèi)WLAN定位研究[D];新疆大學(xué);2015年

7 陳宗文;霍夫森林框架下的多目標(biāo)檢測與跟蹤算法研究[D];東北大學(xué);2013年

8 張亞玲;衛(wèi)星導(dǎo)航抗干擾算法研究及系統(tǒng)設(shè)計[D];西安電子科技大學(xué);2014年

9 賈佳蔚;基于粒子濾波的檢測前跟蹤算法研究[D];電子科技大學(xué);2015年

10 劉洪彬;Hadoop下基于邊聚類的重疊社區(qū)發(fā)現(xiàn)算法研究[D];安徽工業(yè)大學(xué);2015年

，

本文編號：2209006