本文選題：深度置信網(wǎng)絡(luò) + 受限玻爾茲曼機(jī)　； 參考：《計(jì)算機(jī)應(yīng)用》2017年09期

【摘要】：傳統(tǒng)的深度置信網(wǎng)絡(luò)(DBN)采用隨機(jī)初始化受限玻爾茲曼機(jī)(RBM)的權(quán)值和偏置的方法初始化網(wǎng)絡(luò)。雖然這在一定程度上克服了由BP算法帶來的易陷入局部最優(yōu)和訓(xùn)練時(shí)間長(zhǎng)的問題,但隨機(jī)初始化仍然會(huì)導(dǎo)致網(wǎng)絡(luò)重構(gòu)和原始輸入的較大差別,這使得網(wǎng)絡(luò)無論在準(zhǔn)確率還是學(xué)習(xí)效率上都無法得到進(jìn)一步提升。針對(duì)以上問題,提出一種基于稀疏降噪自編碼器(SDAE)的深度網(wǎng)絡(luò)模型,其核心是稀疏降噪自編碼器對(duì)數(shù)據(jù)的特征提取。首先,訓(xùn)練稀疏降噪自編碼;然后,用訓(xùn)練后得到的權(quán)值和偏置來初始化深度置信網(wǎng)絡(luò);最后,訓(xùn)練深度置信網(wǎng)絡(luò)。在Poker Hand紙牌游戲數(shù)據(jù)集和MNIST、USPS手寫數(shù)據(jù)集上測(cè)試模型性能,在Poker Hand數(shù)據(jù)集下,方法的誤差率比傳統(tǒng)的深度置信網(wǎng)絡(luò)降低46.4%,準(zhǔn)確率和召回率依次提升15.56%和14.12%。實(shí)驗(yàn)結(jié)果表明,所提方法能有效地改善模型性能。
[Abstract]:The traditional depth confidence network (DBN) initializes the weights and biases of constrained Boltzmann machine (RBM) at random. Although this can overcome the problems of local optimization and long training time brought by BP algorithm, random initialization still leads to the difference between network reconstruction and original input. This makes the network not only in accuracy but also in learning efficiency can not be further improved. In order to solve the above problems, a kind of depth network model based on sparse noise reduction self-encoder (SDAE) is proposed, the core of which is the feature extraction of data by sparse de-noising self-encoder. First, the sparse denoising self-coding is trained; then, the depth confidence network is initialized with the weight and bias obtained by the training; finally, the depth confidence network is trained. The performance of the model is tested on the Poker hand and MNIST / USPS handwritten data sets. Under the Poker hand dataset, the error rate of the method is 46.4% lower than that of the traditional depth confidence network, and the accuracy and recall rate are increased by 15.56% and 14.12% respectively. Experimental results show that the proposed method can effectively improve the performance of the model.
【作者單位】： 廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院;廣東建設(shè)職業(yè)技術(shù)學(xué)院現(xiàn)代教育技術(shù)中心;西蒙弗雷澤大學(xué)影像技術(shù)實(shí)驗(yàn)室;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61300107) 廣東省自然科學(xué)基金資助項(xiàng)目(S2012010010212) 廣州市科技計(jì)劃資助項(xiàng)目(201504301341059,201505031501397)~~
【分類號(hào)】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前2條

1 劉建偉;劉媛;羅雄麟;;玻爾茲曼機(jī)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2014年01期

2 劉來福，唐志宇，，匡錦瑜;向量玻爾茲曼機(jī)[J];北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版);1996年04期

相關(guān)碩士學(xué)位論文 前6條

1 李娟;基于RBM的小分子活性及選擇性研究[D];蘭州大學(xué);2015年

2 萬程;自適應(yīng)基數(shù)受限玻爾茲曼機(jī)[D];清華大學(xué);2015年

3 張艷霞;基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)模型及其應(yīng)用[D];電子科技大學(xué);2016年

4 朱常寶;基于深度玻爾茲曼機(jī)的特征學(xué)習(xí)算法研究[D];北京化工大學(xué);2016年

5 張怡康;基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)方法研究[D];北京化工大學(xué);2016年

6 王海麟;通過信息幾何方法挖掘玻爾茲曼機(jī)的不變性[D];天津大學(xué);2014年

本文編號(hào)：2035498