本文關(guān)鍵詞： 深度置信網(wǎng) 受限玻爾茲曼機(jī) 稀疏表示 arctan函數(shù) 彈性網(wǎng)絡(luò)　出處：《廣東工業(yè)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：深度學(xué)習(xí)(Deep Learning),作為發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示的方法,引起了機(jī)器學(xué)習(xí)領(lǐng)域普遍的關(guān)注.在深度學(xué)習(xí)方法中,深度置信網(wǎng)(Deep Belief Network,DBN)是最著名的方法之一,并已經(jīng)成功地應(yīng)用到各種機(jī)器學(xué)習(xí)任務(wù).受限玻爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)是一個(gè)生成模型,能夠在無監(jiān)督學(xué)習(xí)場景下自動(dòng)提取數(shù)據(jù)特征.目前,RBM因其自身強(qiáng)大的特征提取能力以及作為深度置信網(wǎng)的基本構(gòu)成模塊,引起了機(jī)器學(xué)習(xí)界的密切關(guān)注,在眾多領(lǐng)域中得到了廣泛的應(yīng)用.本文通過分析受限玻爾茲曼機(jī)的學(xué)習(xí)算法--對(duì)比散度(Contrastive Divergence,CD),提出了RBM存在特征同質(zhì)化的傾向.針對(duì)此問題,結(jié)合稀疏表示,本文嘗試對(duì)受限玻爾茲曼機(jī)進(jìn)行改進(jìn).1.結(jié)合稀疏表示,本文我們使用arctan函數(shù)來迫使隱含單元稀疏,提出了新的稀疏RBM,稱之為AtanRBM.AtanRBM使用arctan函數(shù)來約束隱含單元總的激活概率來獲得稀疏表示,從而避免特征同質(zhì)化問題的出現(xiàn).在本方法中,每個(gè)隱含單元的稀疏度水平能夠根據(jù)手頭的任務(wù)自動(dòng)地學(xué)習(xí).在MNIST數(shù)據(jù)集的實(shí)驗(yàn)表明,相對(duì)于RBM和稀疏受限玻爾茲曼機(jī)(Sparse Restricted Boltzmann Machine,SRBM),AtanRBM能夠?qū)W習(xí)到更加稀疏更有辨別力的特征.同時(shí),應(yīng)用AtanRBM預(yù)訓(xùn)練深度置信網(wǎng),深度置信網(wǎng)在MNIST數(shù)據(jù)集能夠取得不錯(cuò)的分類效果.2.鑒于隱含單元之間可能存在統(tǒng)計(jì)相關(guān)性,我們提出了基于彈性網(wǎng)絡(luò)的新RBM模型,稱之為EN-RBM.其中,我們采取適當(dāng)?shù)牟呗詫椥跃W(wǎng)絡(luò)懲罰項(xiàng)引入RBM的對(duì)數(shù)似然函數(shù)中.該策略通過RBM隱含單元的特征的相似性進(jìn)行自適應(yīng)分組,將隱含單元分為兩組,并分別使用1L范數(shù)和2L范數(shù)對(duì)其相應(yīng)的隱含單元的激活概率進(jìn)行約束,以確保表示的稀疏和泛化能力.在MNIST數(shù)據(jù)集的實(shí)驗(yàn)表明,EN-RBM具備更強(qiáng)的非監(jiān)督學(xué)習(xí)能力.與此同時(shí),應(yīng)用EN-RBM構(gòu)建深度置信網(wǎng),深度置信網(wǎng)在MNIST數(shù)據(jù)集上能夠更好地完成分類任務(wù).
[Abstract]:In this paper , we put forward a new RBM model based on elastic network . In this method , we use arctan function to constrain the total activation probability of hidden units to obtain sparse representation .

【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP181

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張春霞;姬楠楠;王冠偉;;受限波爾茲曼機(jī)[J];工程數(shù)學(xué)學(xué)報(bào);2015年02期

相關(guān)博士學(xué)位論文 前1條

1 羅恒;基于協(xié)同過濾視角的受限玻爾茲曼機(jī)研究[D];上海交通大學(xué);2011年

，

本文編號(hào)：1514862