【摘要】：人工智能在我們生活中的各個(gè)領(lǐng)域有著廣泛的應(yīng)用,它極大地提高了我們的工作效率和生活便捷性。而機(jī)器學(xué)習(xí)技術(shù)是目標(biāo)實(shí)現(xiàn)人工智能最重要也是最主要的途徑之一。其中,深度學(xué)習(xí)是目前最有前景的技術(shù)途徑。在深度學(xué)習(xí)領(lǐng)域,深度置信網(wǎng)絡(luò)無(wú)論是在監(jiān)督學(xué)習(xí)還是無(wú)監(jiān)督學(xué)習(xí)下都有著廣泛的應(yīng)用。深度置信網(wǎng)絡(luò)的基本構(gòu)成單元是受限玻爾茲曼機(jī),受限玻爾茲曼機(jī)的訓(xùn)練效果對(duì)整個(gè)深度置信網(wǎng)絡(luò)的性能有著至關(guān)重要的影響。因此,設(shè)計(jì)高效快速的受限玻爾茲曼機(jī)訓(xùn)練算法是十分必要的�；谝陨媳尘�,本文提出了三種受限玻爾茲曼機(jī)訓(xùn)練算法,重點(diǎn)研究和分析了算法的收斂特性和分類特性,所取得的成果可以為受限玻爾茲曼機(jī)和深度置信網(wǎng)絡(luò)的訓(xùn)練提供理論和技術(shù)支持。本文主要的研究?jī)?nèi)容與創(chuàng)新點(diǎn)如下:(1)提出了一種動(dòng)態(tài)采樣策略�，F(xiàn)有受限玻爾茲曼機(jī)訓(xùn)練算法在廣義上都是基于固定采樣策略,即固定采樣鏈數(shù),固定采樣步數(shù)和固定采樣初值。單一訓(xùn)練策略在并不能滿足不同訓(xùn)練周期下的訓(xùn)練要求。固定采樣鏈,固定采樣步數(shù),固定初值等采樣策略,其最終性能受數(shù)據(jù)集的復(fù)雜度影響較大,而且不能兼顧整個(gè)訓(xùn)練周期內(nèi)的性能。針對(duì)以上問(wèn)題,我們提出了基于動(dòng)態(tài)采樣策略的受限玻爾茲曼機(jī)訓(xùn)練算法。針對(duì)不同數(shù)據(jù)集,在訓(xùn)練的不同周期內(nèi),分別采取不同的采樣策略,兼顧了算法運(yùn)行時(shí)間、網(wǎng)絡(luò)收斂精度和分類準(zhǔn)確率等多個(gè)指標(biāo)。實(shí)驗(yàn)表明,動(dòng)態(tài)采樣策略更有利于網(wǎng)絡(luò)訓(xùn)練過(guò)程的全局優(yōu)化。(2)提出了一種梯度修正模型�，F(xiàn)有受限玻爾茲曼機(jī)的訓(xùn)練算法都是基于Gibbs采樣理論的,通過(guò)一條或多條Gibbs采樣鏈進(jìn)行采樣迭代,獲得網(wǎng)絡(luò)分布的采樣值,并根據(jù)采樣值來(lái)計(jì)算網(wǎng)絡(luò)梯度。但是在實(shí)際應(yīng)用中,由于所有算法只進(jìn)行有限步迭代,所以最終的網(wǎng)絡(luò)分布采樣值為有偏采樣,基于此的計(jì)算得到的網(wǎng)絡(luò)梯度為近似梯度,這就是現(xiàn)有算法在訓(xùn)練受限玻爾茲曼機(jī)過(guò)程中誤差的主要來(lái)源,這也導(dǎo)致網(wǎng)絡(luò)無(wú)法收斂到更好的狀態(tài)。針對(duì)該問(wèn)題,本文首先根據(jù)Markov采樣理論和受限玻爾茲曼機(jī)本身的重構(gòu)特性,提出了梯度修正模型。在梯度修正模型中,隱層對(duì)可見(jiàn)層的重構(gòu)采樣和可見(jiàn)層本身輸入之間的差值定義為修正目標(biāo)函數(shù),該修正目標(biāo)函數(shù)的梯度作為修正梯度與由傳統(tǒng)采樣算法計(jì)算得來(lái)的近似梯度相結(jié)合,共同完成對(duì)網(wǎng)絡(luò)的訓(xùn)練。實(shí)驗(yàn)發(fā)現(xiàn),該梯度修正算法使網(wǎng)絡(luò)收斂到更好的狀態(tài),提高最終的分類準(zhǔn)確率。(3)提出了一種新的動(dòng)量算法,即權(quán)值動(dòng)量�，F(xiàn)有動(dòng)量算法在訓(xùn)練受限玻爾茲曼機(jī)網(wǎng)絡(luò)時(shí)會(huì)出現(xiàn)兩個(gè)問(wèn)題:前期加速效果不明顯和后期加速失效。針對(duì)該問(wèn)題,我們對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行了研究。通過(guò)實(shí)驗(yàn)分析我們發(fā)現(xiàn),在網(wǎng)絡(luò)權(quán)值中包含大量的梯度信息,而且隨著訓(xùn)練迭代的增加,網(wǎng)絡(luò)不斷收斂,網(wǎng)絡(luò)權(quán)值逐漸接近真實(shí)值,也就說(shuō),網(wǎng)絡(luò)權(quán)值中蘊(yùn)含的梯度信息會(huì)隨著訓(xùn)練迭代的不斷增加而變的越來(lái)越精確。我們認(rèn)為,這些信息完全可以用來(lái)加速網(wǎng)絡(luò)的訓(xùn)練過(guò)程。通過(guò)引入這些新的信息,新的動(dòng)量算法不僅使得前期加速效果更加明顯,而且在后期可以繼續(xù)訓(xùn)練網(wǎng)絡(luò),克服了傳統(tǒng)動(dòng)量算法在訓(xùn)練后期加速失效的問(wèn)題。實(shí)驗(yàn)還表明,將本文提出的權(quán)值動(dòng)量算法與傳統(tǒng)動(dòng)量算法相結(jié)合,可以大幅提高傳統(tǒng)動(dòng)量算法的性能。(4)給出了受限玻爾茲曼機(jī)的實(shí)際軍事應(yīng)用案例分析。我們以無(wú)人機(jī)編隊(duì)打擊恐怖分子為例,研究了受限玻爾茲曼機(jī)在人臉識(shí)別中的能力。我們給出了整個(gè)無(wú)人機(jī)編隊(duì)的任務(wù)流程和控制結(jié)構(gòu),明確了基于受限玻爾茲曼機(jī)的人臉識(shí)別的任務(wù)角色。最后通過(guò)仿真驗(yàn)證,證明了受限玻爾茲曼機(jī)以及本文所提算法在實(shí)際軍事應(yīng)用中的有效性。
【學(xué)位授予單位】：西北工業(yè)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP18
【圖文】：

從而從根本上提高算法性能。3）優(yōu)化算法：對(duì)于機(jī)器學(xué)習(xí)模型而言，獨(dú)立的第三方優(yōu)化算法是除自身訓(xùn)練外，提高網(wǎng)絡(luò)性能的最重要的技術(shù)途徑。如動(dòng)態(tài)學(xué)習(xí)率、動(dòng)量算法等，這些優(yōu)化以與網(wǎng)絡(luò)訓(xùn)練算法進(jìn)行結(jié)合，共同訓(xùn)練網(wǎng)絡(luò)，可以極大地提高網(wǎng)絡(luò)性能�；诖诉墏�?cè)诒疚牡谖逭略O(shè)計(jì)了一種針對(duì)受限玻爾茲曼機(jī)網(wǎng)絡(luò)的優(yōu)化算法：權(quán)值動(dòng)量算法法不僅可以與訓(xùn)練算法進(jìn)行結(jié)合，提高受限玻爾茲曼機(jī)網(wǎng)絡(luò)的分類性能，而且相統(tǒng)動(dòng)量算法有著明顯的性能提升。以上研究思路也就是本文各章節(jié)之間的深層邏輯關(guān)系。下面我們給出本文的各主要研究?jī)?nèi)容及其各組織結(jié)構(gòu)。3 論文研究?jī)?nèi)容及組織結(jié)構(gòu)一章：緒論第七章：總結(jié)第三章：動(dòng)態(tài)采樣策略

受限玻爾茲曼機(jī)在模式識(shí)別、圖像處理、協(xié)同濾波、領(lǐng)域取得了廣泛的應(yīng)用。從廣義上講，受限玻爾茲曼機(jī)屬于馬爾科夫隨機(jī)場(chǎng)的一種。同時(shí)，受限玻爾茲曼機(jī)又具有隨機(jī)不僅可以像馬爾科夫隨機(jī)場(chǎng)那樣對(duì)數(shù)據(jù)分布進(jìn)行建模，同時(shí)的特性。因此，我們從圖模型開(kāi)始，逐步對(duì)受限玻爾茲曼機(jī)和馬爾科夫隨機(jī)場(chǎng)型[120, 121]通過(guò)一定的圖結(jié)構(gòu)來(lái)對(duì)隨機(jī)變量之間的獨(dú)立特性和假設(shè)有兩組隨機(jī)變量 和 ，在給定隨機(jī)變量 的條，則 和 條件獨(dú)立。通過(guò)圖結(jié)構(gòu)進(jìn)行可視化，推理和演化概率模型。同時(shí)，也將復(fù)雜概率問(wèn)題轉(zhuǎn)化為圖結(jié)模型都屬于圖模型，如貝葉斯模型，因子模型和馬爾科夫隨和因子模型屬于有向圖結(jié)構(gòu)，而馬爾科夫隨機(jī)場(chǎng)模型屬于無(wú)

圖 2-2 RBM 網(wǎng)絡(luò)結(jié)構(gòu)示意圖值 RBM[129] [167]，即隨機(jī)變量 取值[167]。由二的聯(lián)合分布滿足 分布 ，其中 為 為網(wǎng)絡(luò)的能量函數(shù)[167]：， 。則輸入層分布 滿足[167]：分函數(shù)： 。理論證明，在給定隱層節(jié)點(diǎn)的條件下近任意 分布 。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周立軍;劉凱;呂海燕;;基于競(jìng)爭(zhēng)學(xué)習(xí)的稀疏受限玻爾茲曼機(jī)機(jī)制[J];計(jì)算機(jī)應(yīng)用;2018年07期

2 劉凱;張立民;范曉磊;;改進(jìn)卷積玻爾茲曼機(jī)的圖像特征深度提取[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2016年05期

3 賀鵬程;;基于類別條件的受限玻爾茲曼機(jī)改進(jìn)設(shè)計(jì)[J];計(jì)算機(jī)與數(shù)字工程;2016年08期

4 劉凱;張立民;張超;;受限玻爾茲曼機(jī)的新混合稀疏懲罰機(jī)制[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2015年06期

5 孫天凱;邵曉根;鞠訓(xùn)光;;基于對(duì)稱受限玻爾茲曼機(jī)的協(xié)同過(guò)濾算法[J];江蘇科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年04期

6 楊瑩;吳誠(chéng)煒;胡蘇;;基于受限玻爾茲曼機(jī)的中文文檔分類[J];科技創(chuàng)新導(dǎo)報(bào);2012年16期

7 劉來(lái)福，唐志宇，匡錦瑜;向量玻爾茲曼機(jī)[J];北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版);1996年04期

8 廖志;;基于受限玻爾茲曼機(jī)的壓縮感知方法研究[J];電腦知識(shí)與技術(shù);2018年35期

9 張俊玲;陳志剛;許旭;張楠;謝貽東;;基于改進(jìn)卷積受限玻爾茲曼機(jī)的滾動(dòng)軸承故障診斷[J];組合機(jī)床與自動(dòng)化加工技術(shù);2019年05期

10 金培源;高波涌;陸慧娟;陳蓮娜;;基于限制玻爾茲曼機(jī)的極限學(xué)習(xí)機(jī)方法[J];數(shù)學(xué)的實(shí)踐與認(rèn)識(shí);2016年11期

相關(guān)會(huì)議論文 前2條

1 劉浩;熊p

本文編號(hào)：2797992