深度學(xué)習(xí)(Deep learning,DL)本質(zhì)上是指一類對具有深層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練的方法,是一種模擬腦神經(jīng)系統(tǒng)對感知信號進行分層處理的深層結(jié)構(gòu)。深度信念網(wǎng)絡(luò)(Deep Belief Network,DBN)是為了簡化邏輯斯蒂信念網(wǎng)絡(luò)的推理困難而提出的一種深度模型,也是目前DL最主要的實現(xiàn)方式之一。DBN由若干個受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)順序堆疊來構(gòu)造,其學(xué)習(xí)過程分為兩個階段,首先對RBM進行逐層無監(jiān)督預(yù)訓(xùn)練,再用反向傳播算法對整個網(wǎng)絡(luò)進行有監(jiān)督的調(diào)優(yōu)。DBN的這種分階段訓(xùn)練方法使其在學(xué)習(xí)深層結(jié)構(gòu)上取得了一定的成功,并在圖像處理、聲音辨識、自然語義理解及回歸和預(yù)測等任務(wù)中得到了關(guān)注和研究。然而,目前的DBN在處理實際復(fù)雜數(shù)據(jù)時,無監(jiān)督預(yù)訓(xùn)練和反向傳播(Back Propagation,BP)調(diào)優(yōu)算法均顯現(xiàn)出了不足,主要表現(xiàn)在預(yù)訓(xùn)練耗時長和調(diào)優(yōu)精度低;另一方面,目前的DBN多數(shù)是通過足夠的經(jīng)驗和充足的數(shù)據(jù)確定其結(jié)構(gòu),且在訓(xùn)練過程中結(jié)構(gòu)將不再調(diào)整。在實際過程中,DBN只是通過改變權(quán)值參數(shù)來適應(yīng)任務(wù)的變化,但如何構(gòu)造一種DBN使其結(jié)構(gòu)在動態(tài)調(diào)整的同時不斷調(diào)整權(quán)值參數(shù),是DBN發(fā)展的趨勢,也是一個開放且尚未解決的問題。研究DBN結(jié)構(gòu)優(yōu)化設(shè)計方法,是為了克服DBN預(yù)訓(xùn)練耗時長和調(diào)優(yōu)精度低兩個缺陷的同時獲得DBN結(jié)構(gòu)動態(tài)調(diào)整的有效方法。根據(jù)設(shè)計要求可知,DBN動態(tài)結(jié)構(gòu)的訓(xùn)練分為兩個階段且結(jié)構(gòu)在訓(xùn)練過程中實時調(diào)整,因此現(xiàn)有的固定結(jié)構(gòu)學(xué)習(xí)算法難以適應(yīng)其訓(xùn)練要求。為了解決DBN結(jié)構(gòu)優(yōu)化設(shè)計過程中的問題,本文在深入分析現(xiàn)有DBN研究成果的基礎(chǔ)之上,設(shè)計了預(yù)訓(xùn)練階段的自適應(yīng)學(xué)習(xí)率;建立了基于偏最小二乘回歸(Partial Least Square Regression,PLSR)的新型DBN有監(jiān)督調(diào)優(yōu)模型和稀疏表述方法;研究了包括增量式結(jié)構(gòu)和增長—刪減機制在內(nèi)的一系列結(jié)構(gòu)自調(diào)整策略;獲得了結(jié)構(gòu)動態(tài)調(diào)整過程中DBN權(quán)值參數(shù)的學(xué)習(xí)算法,并且對結(jié)構(gòu)調(diào)整過程中的算法收斂性進行了深入的分析。同時,探索性地將DBN與強化學(xué)習(xí)(Reinforcement learning,DL)、生成式對抗網(wǎng)絡(luò)(Generative adversarial network,GAN)以及模型預(yù)測控制(Model predictive control,MPC)結(jié)合起來,建立了高效的學(xué)習(xí)和優(yōu)化控制模型。論文主要工作和創(chuàng)新點如下:(1)無監(jiān)督學(xué)習(xí)改進型研究針對DBN無監(jiān)督特征學(xué)習(xí)耗時長的問題,設(shè)計了自適應(yīng)學(xué)習(xí)率算法,旨在提高無監(jiān)督預(yù)訓(xùn)練的學(xué)習(xí)速度和特征提取效率。由于無監(jiān)督預(yù)訓(xùn)練過程中特征提取與原始數(shù)據(jù)重構(gòu)交替進行是一個復(fù)雜度較高的計算過程,現(xiàn)有基于固定學(xué)習(xí)率的對比散度(Contrastive Divergence,CD)參數(shù)調(diào)整算法削弱了無監(jiān)督預(yù)訓(xùn)練的速度。文中提出一種學(xué)習(xí)率自適應(yīng)調(diào)整機制,根據(jù)CD算法中參數(shù)每兩次迭代方向的異同來動態(tài)降低或增大學(xué)習(xí)率,不僅能夠提高學(xué)習(xí)速度,還能避開局部最優(yōu)問題。實驗結(jié)果證明了以上改進型算法在提高學(xué)習(xí)速度和特征提取效率方面上的有效性。(2)深度信念網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)改進型研究針對網(wǎng)絡(luò)輸出魯棒性能差和傳統(tǒng)有監(jiān)督學(xué)習(xí)精度低問題,文中提出一種基于PLSR逐層調(diào)優(yōu)的自適應(yīng)稀疏表述DBN(AS-PLSR-DBN),旨在提高DBN的魯棒性和調(diào)優(yōu)精度。首先,設(shè)計自適應(yīng)學(xué)習(xí)率來加速RBM的訓(xùn)練過程,引入兩個正則化項來實現(xiàn)稀疏表述(AS-RBM)。其次,以最后一個隱含層提取到的特征為自變量,以輸出層的期望輸出為因變量,建立PLSR模型,并以同樣的方法自上而下每兩層建立一個PLSR模型。第三,給出了收斂性分析。最后利用AS-PLSRDBN對Mackey-Glass時間序列預(yù)測、二維函數(shù)逼近以及復(fù)雜系統(tǒng)識別,結(jié)果證明了AS-PLSR-DBN具有較高的學(xué)習(xí)精度和速度,同時具有較強的魯棒性。(3)自組織深度信念網(wǎng)絡(luò)盡管DBN已經(jīng)取得了諸多應(yīng)用上的成功,但目前其結(jié)構(gòu)大多數(shù)是利用人工經(jīng)驗確定且在訓(xùn)練過程不再調(diào)整。這種類似超參數(shù)賦值的固定結(jié)構(gòu)無法滿足數(shù)據(jù)多樣性的任務(wù)要求,也無法實現(xiàn)DBN的高效學(xué)習(xí)。針對DBN的結(jié)構(gòu)設(shè)計問題,提出一種基于隱含層神經(jīng)元激活強度和誤差下降率的結(jié)構(gòu)增長—刪減設(shè)計方法。通過分析隱含層神經(jīng)元在學(xué)習(xí)過程中的激活強度,刪除激活強度小的神經(jīng)元,將激活強度大的神經(jīng)元進行分裂。同時,將網(wǎng)絡(luò)輸出的誤差下降率作為隱含層增減的標(biāo)準(zhǔn),誤差下降率如若遞增則增加隱含層,誤差下降率首次出現(xiàn)遞減則減少隱含層。通過對非線性系統(tǒng)建模、污水處理過程出水總磷濃度預(yù)測以及大氣污染物濃度預(yù)測證明了該方法的有效性。(4)基于遷移學(xué)習(xí)的增量式深度信念網(wǎng)絡(luò)針對自組織結(jié)構(gòu)中反復(fù)權(quán)值初始化導(dǎo)致的訓(xùn)練耗時問題,提出一種基于遷移學(xué)習(xí)策略的結(jié)構(gòu)增量式DBN設(shè)計方法。首先,初始化一個結(jié)構(gòu)簡單的DBN并對其進行學(xué)習(xí)預(yù)訓(xùn)練,預(yù)訓(xùn)練結(jié)束后固定學(xué)習(xí)到的權(quán)值參數(shù)(知識源域)。其次,在初始化DBN的基礎(chǔ)上定量增加神經(jīng)元和隱含層(目標(biāo)域),并設(shè)計一種有效的遷移學(xué)習(xí)策略將知識源域中的知識轉(zhuǎn)移到目標(biāo)域中,從而實現(xiàn)對目標(biāo)域快速有效的預(yù)訓(xùn)練并不斷增加結(jié)構(gòu)規(guī)模。最后,根據(jù)輸出性能的誤差指標(biāo)設(shè)計一個結(jié)構(gòu)增長的停止準(zhǔn)則,結(jié)構(gòu)一旦停止增長將固定不變,并進入有監(jiān)督訓(xùn)練階段。利用增量式DBN對CATS缺失時間序列預(yù)測和污水處理過程出水總磷濃度預(yù)測,結(jié)果證明了基于遷移學(xué)習(xí)的增量式深度信念網(wǎng)絡(luò)具有較好的結(jié)構(gòu)自調(diào)整能力和復(fù)雜非線性系統(tǒng)逼近能力。(5)深度強化學(xué)習(xí)網(wǎng)絡(luò)通過分析可知,實現(xiàn)知識增殖需要強有力的特征感知方法,而實現(xiàn)關(guān)鍵特征識別則需要快速有效的決策方法。深度學(xué)習(xí)能夠利用其強大的無監(jiān)督特征提取能力快速的獲取數(shù)據(jù)的先驗知識,強化學(xué)習(xí)則能以試錯的機制與環(huán)境進行交互,通過最大化累積獎賞的方式來學(xué)習(xí)到最優(yōu)決策方法。針對手寫數(shù)字標(biāo)準(zhǔn)對象MNIST數(shù)據(jù)庫的識別精度低的問題,提出一種將深度學(xué)習(xí)與Q學(xué)習(xí)算法相結(jié)合的新型判別網(wǎng)絡(luò)(Q-ADBN)。首先,利用自適應(yīng)深度自編碼器(ADAE)對原始信號進行抽象特征提取,Q學(xué)習(xí)算法將ADAE對原始信號的編碼特征作為當(dāng)前狀態(tài)。然后,對當(dāng)前狀態(tài)進行分類識別得到一個獎勵值,并將獎勵值返回給Q學(xué)習(xí)算法以便進行迭代更新。對MNIST數(shù)據(jù)庫的實驗結(jié)果證明了Q-ADBN具有快速的學(xué)習(xí)能力和較高的識別精度。(6)基于能量函數(shù)的生成式對抗性深度信念網(wǎng)絡(luò)生成式對抗網(wǎng)絡(luò)是目前人工智能領(lǐng)域的一個研究熱點,引起了眾多學(xué)者的關(guān)注。針對現(xiàn)有生成式對抗網(wǎng)絡(luò)生成模型效率低下和判別模型的梯度消失問題,提出一種基于重構(gòu)誤差的能量函數(shù)意義下的生成式對抗網(wǎng)絡(luò)模型(RE-GADBN)。首先,將自適應(yīng)DBN作為生成模型,來快速學(xué)習(xí)給定樣本數(shù)據(jù)的概率分布并進一步生成相似的樣本數(shù)據(jù)。其次,將自適應(yīng)深度自編碼器的重構(gòu)誤差作為一個表征判別模型性能的能量函數(shù),能量越小表示生成式對抗網(wǎng)絡(luò)學(xué)習(xí)優(yōu)化過程越趨近納什均衡的平衡點,否則反之。在MNIST和CIFAR-10兩個標(biāo)準(zhǔn)數(shù)據(jù)集上的實驗結(jié)果表明,相較于現(xiàn)有的類似模型,RE-GADBN在學(xué)習(xí)速度和數(shù)據(jù)生成能力兩方面均有較大提高。(7)基于深度信念網(wǎng)絡(luò)的模型預(yù)測控制方法在研究一系列DBN結(jié)構(gòu)優(yōu)化設(shè)計方法的同時,注意到變結(jié)構(gòu)DBN具有較強的復(fù)雜系統(tǒng)建模能力。模型預(yù)測控制是一種適用于過程控制的滾動優(yōu)化控制方法,其核心是建立一個能夠以較高精度逼近被控對象的預(yù)測模型�；诖�,探索性的將變結(jié)構(gòu)DBN作為預(yù)測模型,研究變結(jié)構(gòu)DBN與控制策略滾動優(yōu)化的閉環(huán)系統(tǒng)動力學(xué)特性。首先,將變結(jié)構(gòu)DBN作為被控系統(tǒng)的預(yù)測模型,學(xué)習(xí)并預(yù)測被控系統(tǒng)的動力學(xué)特性。其次,根據(jù)預(yù)測模型輸出與被控系統(tǒng)參考輸出之間的誤差以及被控系統(tǒng)控制輸入的變化量,建立二次優(yōu)化模型來求解控制律在每一時刻的最優(yōu)值。對非線性系統(tǒng)的跟蹤控制實驗結(jié)果初步證明了所提方法的有效性。
【學(xué)位單位】：北京工業(yè)大學(xué)
【學(xué)位級別】：博士
【學(xué)位年份】：2019
【中圖分類】：TP18
【部分圖文】：

所以該數(shù)據(jù)庫被視為一種理想的、標(biāo)準(zhǔn)的測試新方法的經(jīng)典對象。取 5000 個樣本用于訓(xùn)練，1000 個樣本用于測試。每張樣本圖像為 0-9 手寫體的阿拉伯?dāng)?shù)字，像素為 28 28, 故可視層神經(jīng)元個數(shù)設(shè)定為 784 個，每個神經(jīng)元接收每張圖像中的一個像素點。5000 個樣本分為 50 批次進行訓(xùn)練, 每批次包含 100 個樣本，每個 RBM 迭代 50 次，故每層神經(jīng)元個數(shù)默認(rèn)為 100，學(xué)習(xí)率增大和減小系數(shù)的根據(jù)經(jīng)驗取值為：A=1.5 和 B=0.5，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置為 784-100-100-784。實驗中根據(jù) RBM 的分布, 進行一次 Gibbs 采樣后所獲樣本與原數(shù)據(jù)的差異稱為重構(gòu)誤差，重構(gòu)誤差變化曲線能直觀的反映出無監(jiān)督學(xué)習(xí)的效果和收斂速度，重構(gòu)誤差可表示為 0 1 1 1 s dij iji jv vREs d(2-33)其中，s為樣本個數(shù), d 為輸入維數(shù)， 1 ijv 為可視層神經(jīng)元的重構(gòu)狀態(tài)， 0 ijv 為真實值，仿真結(jié)果如圖 2-5、2-6、2-7 和 2-8 所示。

所以該數(shù)據(jù)庫被視為一種理想的、標(biāo)準(zhǔn)的測試新方法的經(jīng)典對象。取 5000 個樣本用于訓(xùn)練，1000 個樣本用于測試。每張樣本圖像為 0-9 手寫體的阿拉伯?dāng)?shù)字，像素為 28 28, 故可視層神經(jīng)元個數(shù)設(shè)定為 784 個，每個神經(jīng)元接收每張圖像中的一個像素點。5000 個樣本分為 50 批次進行訓(xùn)練, 每批次包含 100 個樣本，每個 RBM 迭代 50 次，故每層神經(jīng)元個數(shù)默認(rèn)為 100，學(xué)習(xí)率增大和減小系數(shù)的根據(jù)經(jīng)驗取值為：A=1.5 和 B=0.5，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置為 784-100-100-784。實驗中根據(jù) RBM 的分布, 進行一次 Gibbs 采樣后所獲樣本與原數(shù)據(jù)的差異稱為重構(gòu)誤差，重構(gòu)誤差變化曲線能直觀的反映出無監(jiān)督學(xué)習(xí)的效果和收斂速度，重構(gòu)誤差可表示為 0 1 1 1 s dij iji jv vREs d(2-33)其中，s為樣本個數(shù), d 為輸入維數(shù)， 1 ijv 為可視層神經(jīng)元的重構(gòu)狀態(tài)， 0 ijv 為真實值，仿真結(jié)果如圖 2-5、2-6、2-7 和 2-8 所示。

圖 2-7 錯誤識別原圖像 圖 2-8 錯誤識別圖像Fig. 2-7 Original images with classification mistakes Fig. 2-8 Images classification mistakes由圖 2-5 和 2-6 可以看出, 重構(gòu)誤差一開始呈現(xiàn)急速下降趨勢, 當(dāng)?shù)降?0 次時基本達到穩(wěn)定 (收斂), 由此可以看出自適應(yīng)學(xué)習(xí)率提高了算法的收斂速度；底層 RBM 的重構(gòu)誤差比頂層 RBM 的重構(gòu)誤差要大，這主要是因為在順序訓(xùn)練多個 RBM 的過程中，越往頂層學(xué)習(xí)到的特征越抽象，是一種類似稀疏表述的誤差低值遞減特性[69]。圖 2-7 和 2-8 顯示, 對 1000 個樣本進行測試后產(chǎn)生了68 處錯誤。為了更好地展現(xiàn) ALRDBN 的快速收斂性以及更高的識別精度，在相同的實驗環(huán)境和設(shè)置下將 ALRDBN 與其他算法相比較，結(jié)果如表 2-1 所示。表 2-1 MNIST 手寫數(shù)字實驗結(jié)果對比Table 2-1 Result comparison of MNIST experiment方法 隱含層數(shù) 每層節(jié)點數(shù) 正確識別率93.1%運算時間20.0sALRDBN2100
【相似文獻】

相關(guān)期刊論文 前10條

1 劉明明;李震霄;鄭麗麗;薛雪;;一種新的魯棒無監(jiān)督顯著性目標(biāo)檢測方法[J];中國科技論文;2019年12期

2 殷柏濤;一種改進的無監(jiān)督競爭學(xué)習(xí)算法[J];聲學(xué)與電子工程;1995年02期

3 徐峻嶺;周毓明;陳林;徐寶文;;基于互信息的無監(jiān)督特征選擇[J];計算機研究與發(fā)展;2012年02期

4 楊斌;劉衛(wèi)國;;一種基于聚類的無監(jiān)督異常檢測方法[J];計算機工程與應(yīng)用;2008年01期

5 陶美平;馬力;黃文靜;吳雨隆;;基于無監(jiān)督特征學(xué)習(xí)的手勢識別方法[J];微電子學(xué)與計算機;2016年01期

6 梁春林;彭凌西;;基于免疫網(wǎng)絡(luò)的無監(jiān)督式分類算法[J];山東大學(xué)學(xué)報(工學(xué)版);2010年05期

7 史殿習(xí);李勇謀;丁博;;無監(jiān)督特征學(xué)習(xí)的人體活動識別[J];國防科技大學(xué)學(xué)報;2015年05期

8 陳雁;萬壽紅;岳麗華;龔育昌;;一種無需初始化的遙感圖像無監(jiān)督分割方法[J];小型微型計算機系統(tǒng);2010年10期

9 王瑞琴;孔繁勝;;無監(jiān)督詞義消歧研究[J];軟件學(xué)報;2009年08期

10 吳姍;倪志偉;羅賀;鄭盈盈;;一種基于密度的無監(jiān)督聯(lián)系發(fā)現(xiàn)方法[J];中國管理科學(xué);2008年S1期

相關(guān)博士學(xué)位論文 前10條

1 王功明;深度信念網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化設(shè)計方法與應(yīng)用[D];北京工業(yè)大學(xué);2019年

2 陳虹潔;面向低資源場景的語音表示學(xué)習(xí)及其應(yīng)用[D];西北工業(yè)大學(xué);2018年

3 張志銳;面向神經(jīng)機器翻譯的數(shù)據(jù)增強方法及應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2019年

4 劉彥北;高維數(shù)據(jù)無監(jiān)督特征選擇算法研究[D];天津大學(xué);2017年

5 王寅同;無監(jiān)督與半監(jiān)督降維相關(guān)問題研究[D];南京航空航天大學(xué);2016年

6 魏松;人機對話系統(tǒng)中若干關(guān)鍵問題研究[D];北京郵電大學(xué);2007年

7 周楠;基于稀疏和信息論的無監(jiān)督特征學(xué)習(xí)算法研究[D];電子科技大學(xué);2017年

8 楊波;圖驅(qū)動的無監(jiān)督降維和判別子空間學(xué)習(xí)研究及其應(yīng)用[D];南京航空航天大學(xué);2010年

9 宋鳳義;非控制條件下的人臉分析與驗證[D];南京航空航天大學(xué);2014年

10 馮小東;基于稀疏表示的高維數(shù)據(jù)無監(jiān)督挖掘研究[D];北京科技大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 梁潤宇;基于主題情感混合模型的無監(jiān)督微博情感分類[D];天津工業(yè)大學(xué);2019年

2 萬家樂;混合稀疏正則化的多視角無監(jiān)督特征選擇[D];天津大學(xué);2018年

3 桂存斌;基于最小化最大平均差異損失的無監(jiān)督領(lǐng)域自適應(yīng)[D];北京郵電大學(xué);2019年

4 田剛鵬;多模態(tài)下基于遷移學(xué)習(xí)的無監(jiān)督軟測量建模研究與應(yīng)用[D];太原理工大學(xué);2019年

5 趙季娟;基于極限學(xué)習(xí)機的無監(jiān)督領(lǐng)域適應(yīng)學(xué)習(xí)[D];中國礦業(yè)大學(xué);2019年

6 黃迪;基于深度學(xué)習(xí)的無監(jiān)督型圖像語義分析[D];杭州電子科技大學(xué);2018年

7 張建紅;基于無監(jiān)督分割和ELM的織物缺陷檢測和分類方法研究[D];昆明理工大學(xué);2018年

8 鮑國強;無監(jiān)督TSK模糊系統(tǒng)及其應(yīng)用研究[D];江南大學(xué);2018年

9 楊青相;基于卷積神經(jīng)網(wǎng)絡(luò)和雙目視差的無監(jiān)督深度預(yù)測[D];北京工業(yè)大學(xué);2018年

10 劉鑫;無監(jiān)督異常檢測方法研究及其應(yīng)用[D];電子科技大學(xué);2018年

本文編號：2872277