本文選題：深度置信網(wǎng)絡 + 受限玻爾茲曼機��； 參考：《計算機應用》2017年09期

【摘要】：傳統(tǒng)的深度置信網(wǎng)絡(DBN)采用隨機初始化受限玻爾茲曼機(RBM)的權值和偏置的方法初始化網(wǎng)絡。雖然這在一定程度上克服了由BP算法帶來的易陷入局部最優(yōu)和訓練時間長的問題,但隨機初始化仍然會導致網(wǎng)絡重構和原始輸入的較大差別,這使得網(wǎng)絡無論在準確率還是學習效率上都無法得到進一步提升。針對以上問題,提出一種基于稀疏降噪自編碼器(SDAE)的深度網(wǎng)絡模型,其核心是稀疏降噪自編碼器對數(shù)據(jù)的特征提取。首先,訓練稀疏降噪自編碼;然后,用訓練后得到的權值和偏置來初始化深度置信網(wǎng)絡;最后,訓練深度置信網(wǎng)絡。在Poker Hand紙牌游戲數(shù)據(jù)集和MNIST、USPS手寫數(shù)據(jù)集上測試模型性能,在Poker Hand數(shù)據(jù)集下,方法的誤差率比傳統(tǒng)的深度置信網(wǎng)絡降低46.4%,準確率和召回率依次提升15.56%和14.12%。實驗結果表明,所提方法能有效地改善模型性能。
[Abstract]:The traditional depth confidence network (DBN) initializes the weights and biases of constrained Boltzmann machine (RBM) at random. Although this can overcome the problems of local optimization and long training time brought by BP algorithm, random initialization still leads to the difference between network reconstruction and original input. This makes the network not only in accuracy but also in learning efficiency can not be further improved. In order to solve the above problems, a kind of depth network model based on sparse noise reduction self-encoder (SDAE) is proposed, the core of which is the feature extraction of data by sparse de-noising self-encoder. First, the sparse denoising self-coding is trained; then, the depth confidence network is initialized with the weight and bias obtained by the training; finally, the depth confidence network is trained. The performance of the model is tested on the Poker hand and MNIST / USPS handwritten data sets. Under the Poker hand dataset, the error rate of the method is 46.4% lower than that of the traditional depth confidence network, and the accuracy and recall rate are increased by 15.56% and 14.12% respectively. Experimental results show that the proposed method can effectively improve the performance of the model.
【作者單位】： 廣東工業(yè)大學計算機學院;廣東建設職業(yè)技術學院現(xiàn)代教育技術中心;西蒙弗雷澤大學影像技術實驗室;
【基金】：國家自然科學基金資助項目(61300107) 廣東省自然科學基金資助項目(S2012010010212) 廣州市科技計劃資助項目(201504301341059,201505031501397)~~
【分類號】：TP18

【相似文獻】

相關期刊論文 前2條

1 劉建偉;劉媛;羅雄麟;;玻爾茲曼機研究進展[J];計算機研究與發(fā)展;2014年01期

2 劉來福，唐志宇，，匡錦瑜;向量玻爾茲曼機[J];北京師范大學學報(自然科學版);1996年04期

相關碩士學位論文 前6條

1 李娟;基于RBM的小分子活性及選擇性研究[D];蘭州大學;2015年

2 萬程;自適應基數(shù)受限玻爾茲曼機[D];清華大學;2015年

3 張艷霞;基于受限玻爾茲曼機的深度學習模型及其應用[D];電子科技大學;2016年

4 朱常寶;基于深度玻爾茲曼機的特征學習算法研究[D];北京化工大學;2016年

5 張怡康;基于受限玻爾茲曼機的深度學習方法研究[D];北京化工大學;2016年

6 王海麟;通過信息幾何方法挖掘玻爾茲曼機的不變性[D];天津大學;2014年

本文編號：2035498