【摘要】：動量算法理論上可以加速受限玻爾茲曼機(Restricted Boltzmann machine,RBM)網絡的訓練速度.本文通過對現有動量算法進行仿真研究,發(fā)現現有動量算法在受限玻爾茲曼機網絡訓練中加速效果較差,且在訓練后期逐漸失去了加速性能.針對以上問題,本文首先基于Gibbs采樣收斂性定理對現有動量算法進行了理論分析,證明了現有動量算法的加速效果是以犧牲網絡權值為代價的;然后,本文進一步對網絡權值進行研究,發(fā)現網絡權值中包含大量真實梯度的方向信息,這些方向信息可以用來對網絡進行訓練;基于此,本文提出了基于網絡權值的權值動量算法,最后給出了仿真實驗.實驗結果表明,本文提出的動量算法具有更好的加速效果,并且在訓練后期仍然能夠保持較好的加速性能,可以很好地彌補現有動量算法的不足.
[Abstract]:Momentum algorithm can accelerate the training speed of constrained Boltzmann machine (Restricted Boltzmann machine,RBM) network theoretically. Based on the simulation of the existing momentum algorithms, it is found that the current momentum algorithms have poor acceleration effect in the constrained Boltzmann network training, and gradually lose the acceleration performance in the later stage of training. Aiming at the above problems, this paper firstly analyzes the existing momentum algorithm based on the Gibbs sampling convergence theorem, and proves that the acceleration effect of the existing momentum algorithm is at the expense of the network weight. This paper further studies the network weights, and finds that the network weights contain a large number of real gradient directional information, which can be used to train the network. Based on this, this paper proposes a weight momentum algorithm based on network weights. Finally, the simulation experiment is given. The experimental results show that the momentum algorithm proposed in this paper has better acceleration effect, and can still maintain better acceleration performance in the later training period, which can make up for the deficiency of the existing momentum algorithm.
【作者單位】： 西北工業(yè)大學電子信息學院;
【基金】：國家自然科學基金(61305133,61573285)資助~~
【分類號】：TP181

【相似文獻】

相關期刊論文 前10條

1 許道云;;全息算法的原理及應用[J];計算機科學與探索;2011年02期

2 段海濱,王道波,朱家強,黃向華;蟻群算法理論及應用研究的進展[J];控制與決策;2004年12期

3 段海濱;王道波;于秀芬;;幾種新型仿生優(yōu)化算法的比較研究[J];計算機仿真;2007年03期

4 劉永廣;葉梧;馮穗力;;一種基于非線性長度的多約束路由算法[J];計算機應用研究;2008年11期

5 劉永廣;葉梧;馮穗力;;一種基于蟻群算法和非線性長度的多約束路由算法[J];通信技術;2009年08期

6 劉振;胡云安;;一種多粒度模式蟻群算法及其在路徑規(guī)劃中的應用[J];中南大學學報(自然科學版);2013年09期

7 羅景峰;;智能算法求解效果評價的物元模型[J];微電子學與計算機;2011年04期

8 劉芳,李陽陽;量子克隆進化算法[J];電子學報;2003年S1期

9 周雅蘭;;細菌覓食優(yōu)化算法的研究與應用[J];計算機工程與應用;2010年20期

10 胡紅莉;張建州;;螺旋錐束CT重建的近似逆算法[J];計算機工程與應用;2011年21期

相關會議論文 前1條

1 董家瑞;王精業(yè);潘麗君;;改進的Dijksta算法在裝備保障系統(tǒng)中的應用[A];圖像圖形技術與應用進展——第三屆圖像圖形技術與應用學術會議論文集[C];2008年

相關博士學位論文 前9條

1 高衛(wèi)峰;人工蜂群算法及其應用的研究[D];西安電子科技大學;2013年

2 張捷;進化算法及智能數據挖掘若干問題研究[D];西安電子科技大學;2013年

3 程世娟;改進蟻群算法及其在結構系統(tǒng)可靠性優(yōu)化中的應用[D];西南交通大學;2009年

4 楊振宇;基于自然計算的實值優(yōu)化算法與應用研究[D];中國科學技術大學;2010年

5 郭慶昌;均值移動算法及在圖像處理和目標跟蹤中的應用研究[D];哈爾濱工程大學;2008年

6 金勁;群集智能算法在網絡策略中的研究及其應用[D];蘭州理工大學;2011年

7 鄭樂;寬頻帶雷達目標跟蹤理論與算法研究[D];北京理工大學;2015年

8 劉劍;非圓信號波達方向估計算法研究[D];國防科學技術大學;2007年

9 張瑞秋;面向SMT的錐束CT圖像重構關鍵理論與BGA焊點檢測算法[D];華南理工大學;2014年

相關碩士學位論文 前10條

1 黃林;空間復用MIMO系統(tǒng)接收端的球形譯碼檢測算法研究[D];寧夏大學;2015年

2 牛麗娟;基于Gossip算法的無線傳感器網絡分布式參數場估計[D];哈爾濱工業(yè)大學;2015年

3 卓靜一;液晶相控陣波前相位校正算法研究[D];電子科技大學;2014年

4 張瑩;視頻異常事件檢測算法研究[D];大連理工大學;2015年

5 張博;基于多用戶MIMO系統(tǒng)的魯棒性信號檢測算法研究[D];大連理工大學;2015年

6 陳望;基于混合算法的室內WLAN定位研究[D];新疆大學;2015年

7 陳宗文;霍夫森林框架下的多目標檢測與跟蹤算法研究[D];東北大學;2013年

8 張亞玲;衛(wèi)星導航抗干擾算法研究及系統(tǒng)設計[D];西安電子科技大學;2014年

9 賈佳蔚;基于粒子濾波的檢測前跟蹤算法研究[D];電子科技大學;2015年

10 劉洪彬;Hadoop下基于邊聚類的重疊社區(qū)發(fā)現算法研究[D];安徽工業(yè)大學;2015年

，

本文編號：2209006