本文關(guān)鍵詞：基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)方法研究

  更多相關(guān)文章： 受限玻爾茲曼機(jī) 膠質(zhì)細(xì)胞 自組織網(wǎng)絡(luò) 特征提取

【摘要】：深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要研究方向,在近年來(lái)發(fā)展迅速。深度學(xué)習(xí)的主要思想是通過(guò)構(gòu)建多層的深度網(wǎng)絡(luò)結(jié)構(gòu),使用高效的算法逐級(jí)提取數(shù)據(jù)的高級(jí)特征,來(lái)完成多種無(wú)監(jiān)督或有監(jiān)督學(xué)習(xí)任務(wù)。深度學(xué)習(xí)方法可看作神經(jīng)網(wǎng)絡(luò)相關(guān)研究的進(jìn)一步發(fā)展與延伸,解決了以往多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的缺陷,同時(shí)也在神經(jīng)科學(xué)研究中獲取靈感,并結(jié)合其他機(jī)器學(xué)習(xí)理論和方法不斷改進(jìn)。在深度學(xué)習(xí)的主流模型中,受限玻爾茲曼機(jī)是一種重要的結(jié)構(gòu)組成單元,由兩層單元組成,借助于受限玻爾茲曼機(jī)的概率特性,其組成的多層深度結(jié)構(gòu)可以首先使用逐層訓(xùn)練,然后整體使用神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法進(jìn)行參數(shù)的微調(diào)。這種方式不僅簡(jiǎn)化了訓(xùn)練過(guò)程,也提高了深度網(wǎng)絡(luò)對(duì)無(wú)標(biāo)簽數(shù)據(jù)特征提取的效率。本文主要研究基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)方法,建立新的模型結(jié)構(gòu),并改進(jìn)其訓(xùn)練算法。主要研究成果為：1.考慮到受限波爾茲曼機(jī)層內(nèi)單元間沒(méi)有相互連接的特殊結(jié)構(gòu),數(shù)據(jù)內(nèi)部的關(guān)聯(lián)信息將會(huì)丟失,因此提出基于膠質(zhì)細(xì)胞鏈的改進(jìn)受限玻爾茲曼機(jī)及深度信念網(wǎng)絡(luò)模型。膠質(zhì)細(xì)胞是人腦中的一種特殊的神經(jīng)細(xì)胞,與一般神經(jīng)元相連,不僅可以調(diào)控神經(jīng)元的狀態(tài),還可向其他膠質(zhì)細(xì)胞傳遞信號(hào)。本文向受限玻爾茲曼機(jī)中引入了膠質(zhì)細(xì)胞鏈,定義了相關(guān)激活更新規(guī)則,組成了多層的深度網(wǎng)絡(luò)結(jié)構(gòu),并提出了種改進(jìn)的訓(xùn)練算法,使深度網(wǎng)絡(luò)的訓(xùn)練速度提高,并增強(qiáng)了數(shù)據(jù)特征提取的性能。2.膠質(zhì)細(xì)胞鏈?zhǔn)沟檬芟薏柶澛鼨C(jī)層內(nèi)單元間可以相互傳遞信息,但其單元的激活并沒(méi)有受到約束,導(dǎo)致提取出的特征區(qū)分性較差。因此本文結(jié)合神經(jīng)網(wǎng)絡(luò)中的一種結(jié)構(gòu)自組織網(wǎng)絡(luò)相關(guān)理論,構(gòu)建出了基于自組織網(wǎng)絡(luò)和膠質(zhì)細(xì)胞鏈的改進(jìn)受限玻爾茲曼機(jī)模型,并提出了對(duì)應(yīng)的改進(jìn)訓(xùn)練算法,進(jìn)一步提高學(xué)習(xí)效率,獲取更優(yōu)秀的圖像特征。3.深度學(xué)習(xí)方法應(yīng)用廣泛,本文主要研究了受限玻爾茲曼機(jī)及其改進(jìn)結(jié)構(gòu)組成的深度網(wǎng)絡(luò)在圖像分類上的應(yīng)用,通過(guò)在三個(gè)標(biāo)準(zhǔn)圖像數(shù)據(jù)集上的大量實(shí)驗(yàn),以及在人臉識(shí)別中的實(shí)際應(yīng)用,測(cè)試并驗(yàn)證所提出的改進(jìn)模型的分類準(zhǔn)確率,收斂速度,并嘗試調(diào)整相關(guān)人工參數(shù),以適應(yīng)圖像分類及識(shí)別應(yīng)用任務(wù),達(dá)到其最優(yōu)性能。
【關(guān)鍵詞】：受限玻爾茲曼機(jī) 膠質(zhì)細(xì)胞 自組織網(wǎng)絡(luò) 特征提取
【學(xué)位授予單位】：北京化工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP181
【目錄】：

• 摘要4-6
• ABSTRACT6-15
• 第一章 緒論15-23
• 1.1 課題研究背景15
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀15-20
• 1.2.1 深度學(xué)習(xí)領(lǐng)域研究現(xiàn)狀15-17
• 1.2.2 RBM及DBN研究現(xiàn)狀17-18
• 1.2.3 膠質(zhì)細(xì)胞研究現(xiàn)狀18-19
• 1.2.4 SOM研究現(xiàn)狀19-20
• 1.3 課題研究?jī)?nèi)容20-21
• 1.4 論文組織結(jié)構(gòu)21-23
• 第二章 受限玻爾茲曼機(jī)與深度信念網(wǎng)絡(luò)23-35
• 2.1 概率圖模型23-25
• 2.1.1 無(wú)向圖模型和馬爾可夫隨機(jī)域23-24
• 2.1.2 無(wú)監(jiān)督學(xué)習(xí)24-25
• 2.2 馬爾可夫鏈和馬爾科夫鏈蒙特卡洛方法25-27
• 2.2.1 馬爾可夫鏈和平穩(wěn)性收斂25-26
• 2.2.2 吉布斯采樣26-27
• 2.3 受限玻爾茲曼機(jī)27-31
• 2.3.1 RBM對(duì)數(shù)似然函數(shù)梯度30-31
• 2.4 RBM訓(xùn)練算法31-32
• 2.5 深度信念網(wǎng)絡(luò)32-34
• 2.6 本章小結(jié)34-35
• 第三章 膠質(zhì)細(xì)胞鏈改進(jìn)的RBM及DBN35-49
• 3.1 膠質(zhì)細(xì)胞及其生物機(jī)制35
• 3.2 基于膠質(zhì)細(xì)胞鏈的改進(jìn)RBM及DBN35-39
• 3.2.1 改進(jìn)RBM隱含層單元輸出更新規(guī)則36-37
• 3.2.2 改進(jìn)RBM及DBN的學(xué)習(xí)算法37-39
• 3.3 實(shí)驗(yàn)測(cè)試39-48
• 3.3.1 MNIST數(shù)據(jù)集40-42
• 3.3.2 CIFAR-10數(shù)據(jù)集42-44
• 3.3.3 Rectangles images數(shù)據(jù)集44-45
• 3.3.4 基于膠質(zhì)細(xì)胞改進(jìn)模型的參數(shù)選擇45-48
• 3.4 本章小結(jié)48-49
• 第四章 基于SOM和膠質(zhì)細(xì)胞鏈的改進(jìn)RBM及DBN49-63
• 4.1 SOM網(wǎng)絡(luò)及訓(xùn)練算法49-56
• 4.1.1 SOM網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)49-50
• 4.1.2 向量量化與SOM50-52
• 4.1.3 SOM中的相似度規(guī)則52-53
• 4.1.4 SOM網(wǎng)絡(luò)結(jié)構(gòu)53-54
• 4.1.5 SOM訓(xùn)練算法54-56
• 4.2 基于SOM和膠質(zhì)細(xì)胞鏈的改進(jìn)RBM及DBN訓(xùn)練算法56-57
• 4.2.1 RBM采樣階段56
• 4.2.2 SOM競(jìng)爭(zhēng)階段56-57
• 4.2.3 膠質(zhì)效果更新階段57
• 4.2.4 RBM參數(shù)更新階段57
• 4.3 實(shí)驗(yàn)測(cè)試57-62
• 4.3.1 MNIST數(shù)據(jù)集58-59
• 4.3.2 CIFAR-10數(shù)據(jù)集59-61
• 4.3.3 Rectangles images數(shù)據(jù)集61-62
• 4.4 本章小結(jié)62-63
• 第五章 改進(jìn)模型在人臉識(shí)別中的應(yīng)用63-69
• 5.1 數(shù)據(jù)預(yù)處理63-65
• 5.2 訓(xùn)練基于膠質(zhì)細(xì)胞鏈的改進(jìn)DBN模型65-66
• 5.3 訓(xùn)練基于SOM和膠質(zhì)細(xì)胞鏈的改進(jìn)DBN模型66-67
• 5.4 本章小結(jié)67-69
• 第六章 結(jié)論與展望69-71
• 6.1 結(jié)論69-70
• 6.2 展望70-71
• 參考文獻(xiàn)71-77
• 致謝77-79
• 研究成果及發(fā)表的學(xué)術(shù)論文79-81
• 作者與導(dǎo)師簡(jiǎn)介81-83
• 北京化工大學(xué)碩士研究生學(xué)位論文答辯委員會(huì)決議書83-84

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前3條

1 劉來(lái)福，，唐志宇，匡錦瑜;向量玻爾茲曼機(jī)[J];北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版);1996年04期

2 秦勝君;盧志平;;基于限制玻爾茲曼機(jī)的無(wú)極性標(biāo)注情感分類研究[J];科學(xué)技術(shù)與工程;2013年35期

3 ;[J];;年期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 李娟;基于RBM的小分子活性及選擇性研究[D];蘭州大學(xué);2015年

2 葉睿;基于深度學(xué)習(xí)的人臉檢測(cè)方法研究[D];哈爾濱工業(yè)大學(xué);2015年

3 張衛(wèi)東;深度信念網(wǎng)絡(luò)及其在手寫字體識(shí)別中的應(yīng)用[D];成都理工大學(xué);2015年

4 施維劏;門限玻爾茲曼機(jī)在人臉識(shí)別中的魯棒性研究[D];北京交通大學(xué);2015年

5 萬(wàn)程;自適應(yīng)基數(shù)受限玻爾茲曼機(jī)[D];清華大學(xué);2015年

6 李亦錟;受限的玻爾茲曼機(jī)在背景建模和文本建模中的研究與應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

7 張艷霞;基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)模型及其應(yīng)用[D];電子科技大學(xué);2016年

8 朱常寶;基于深度玻爾茲曼機(jī)的特征學(xué)習(xí)算法研究[D];北京化工大學(xué);2016年

9 張怡康;基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)方法研究[D];北京化工大學(xué);2016年

10 王海麟;通過(guò)信息幾何方法挖掘玻爾茲曼機(jī)的不變性[D];天津大學(xué);2014年

本文編號(hào)：972951