本文選題：深度學(xué)習(xí) + 受限玻爾茲曼機(jī)��； 參考：《自動(dòng)化學(xué)報(bào)》2017年05期

【摘要】：目前受限玻爾茲曼機(jī)網(wǎng)絡(luò)訓(xùn)練算法主要是基于采樣的算法.當(dāng)用采樣算法進(jìn)行梯度計(jì)算時(shí),得到的采樣梯度是真實(shí)梯度的近似值,采樣梯度和真實(shí)梯度之間存在較大的誤差,這嚴(yán)重影響了網(wǎng)絡(luò)的訓(xùn)練效果.針對(duì)該問(wèn)題,本文首先分析了采樣梯度和真實(shí)梯度之間的數(shù)值誤差和方向誤差,以及它們對(duì)網(wǎng)絡(luò)訓(xùn)練性能的影響,然后從馬爾科夫采樣的角度對(duì)以上問(wèn)題進(jìn)行了理論分析,并建立了梯度修正模型,通過(guò)修正梯度對(duì)采樣梯度進(jìn)行數(shù)值和方向的調(diào)節(jié),并提出了基于改進(jìn)并行回火算法的訓(xùn)練算法,即GFPT(Gradient fixing parallel tempering)算法.最后給出GFPT算法與現(xiàn)有算法的對(duì)比實(shí)驗(yàn),仿真結(jié)果表明,GFPT算法可以極大地減小采樣梯度和真實(shí)梯度之間的誤差,大幅度提升受限玻爾茲曼機(jī)網(wǎng)絡(luò)的訓(xùn)練效果.
[Abstract]:At present, the restricted Boltzmann network training algorithm is mainly based on the sampling algorithm. When using the sampling algorithm to calculate the gradient, the sampling gradient is the approximate value of the real gradient, and there is a large error between the sampling gradient and the real gradient. This seriously affects the training effect of the network. The numerical error and the direction error between the sampling gradient and the real gradient and their influence on the performance of the network training are analyzed. Then the above problems are theoretically analyzed from the angle of Markoff sampling, and the gradient correction model is established, and the improvement of the gradient is adjusted to the value and direction of the sampling gradient, and the improvement is proposed. The training algorithm of parallel backfire algorithm is GFPT (Gradient fixing parallel tempering) algorithm. Finally, the comparison experiment of GFPT algorithm and existing algorithm is given. The simulation results show that the GFPT algorithm can greatly reduce the error between the sampling gradient and the real gradient, and greatly lift the training effect of the limited Boltzmann network.
【作者單位】： 西北工業(yè)大學(xué)電子信息學(xué)院;
【基金】：國(guó)家自然科學(xué)基金(61573285,61305133) 中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)基金(3102015BJ(Ⅱ)GH01)資助~~
【分類號(hào)】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前2條

1 劉來(lái)福，，唐志宇，匡錦瑜;向量玻爾茲曼機(jī)[J];北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版);1996年04期

2 ;[J];;年期

相關(guān)碩士學(xué)位論文 前6條

1 李娟;基于RBM的小分子活性及選擇性研究[D];蘭州大學(xué);2015年

2 萬(wàn)程;自適應(yīng)基數(shù)受限玻爾茲曼機(jī)[D];清華大學(xué);2015年

3 張艷霞;基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)模型及其應(yīng)用[D];電子科技大學(xué);2016年

4 朱常寶;基于深度玻爾茲曼機(jī)的特征學(xué)習(xí)算法研究[D];北京化工大學(xué);2016年

5 張怡康;基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)方法研究[D];北京化工大學(xué);2016年

6 王海麟;通過(guò)信息幾何方法挖掘玻爾茲曼機(jī)的不變性[D];天津大學(xué);2014年

本文編號(hào)：1925218