本文關(guān)鍵詞：多隱層前饋神經(jīng)網(wǎng)絡(luò)的隨機賦權(quán)訓(xùn)練算法研究

  更多相關(guān)文章： 模式分類 深度學(xué)習(xí) 極速學(xué)習(xí)機 分類器集成 廣義逆

【摘要】：智能軟件系統(tǒng)已成為軟件工程領(lǐng)域最重要的研發(fā)對象之一。無論是學(xué)術(shù)界還是工業(yè)界,都對能使軟件智能化的算法產(chǎn)生了濃厚的興趣。其中,與模式分類有關(guān)的算法更是得到了業(yè)內(nèi)的廣泛關(guān)注,通過對分類算法的研究、優(yōu)化與創(chuàng)新,使得軟件智能化的水平得到了顯著的提高。最近幾年,人工神經(jīng)網(wǎng)絡(luò)在理論上和應(yīng)用上的突破都引人矚目,尤其是深層神經(jīng)網(wǎng)絡(luò)的優(yōu)越性正逐漸被人們所認可,國內(nèi)外很多學(xué)者都致力于深層神經(jīng)網(wǎng)絡(luò)的研究工作,并提出了大量的優(yōu)秀算法。深層神經(jīng)網(wǎng)絡(luò)模型的種類很多,根據(jù)訓(xùn)練算法來分,其中有兩類,第一類是基于貪婪算法的逐層預(yù)訓(xùn)練的深層神經(jīng)網(wǎng)絡(luò)模型;第二種是通過隨機賦權(quán)方法來構(gòu)造的深層神經(jīng)網(wǎng)絡(luò)模型。本文第一部分的工作主要研究了兩類深層神經(jīng)網(wǎng)絡(luò)模型中具有代表性的兩個模型。其中,基于受限玻爾茲曼機逐層預(yù)訓(xùn)練的方法是深度學(xué)習(xí)的主要方法之一,該方法通過借助物理能量模型來對網(wǎng)絡(luò)中每一層的參數(shù)進行預(yù)訓(xùn)練,之后逐層疊加成深度置信網(wǎng)絡(luò),通過在最后一層加上softmax層輸出網(wǎng)絡(luò)的分類結(jié)果,然后進行網(wǎng)絡(luò)精調(diào),本文以這個方法為基礎(chǔ),結(jié)合廣義逆的知識對該方法進行了簡化的工作,并進行比較研究;另外,用基于極速學(xué)習(xí)機的原理來訓(xùn)練得到的深層網(wǎng)絡(luò)是典型的深層隨機賦權(quán)網(wǎng)絡(luò),該類型的網(wǎng)絡(luò)以效率著稱,并在工業(yè)界得到了廣泛的應(yīng)用。本文第二部分的主要工作是對分類器集成方法的研究,并且利用分類器集成的方法將深層神經(jīng)網(wǎng)絡(luò)模型進行集成,并將這種方法與深度學(xué)習(xí)、深度隨機賦權(quán)網(wǎng)絡(luò)進行了比較研究。在本文的實驗部分,為了使得對比分析結(jié)果具有客觀性,本文選取了多個不同領(lǐng)域的分類數(shù)據(jù)集,并且涵蓋了數(shù)值型和符號型兩類數(shù)據(jù)集,本文通過對深層神經(jīng)網(wǎng)絡(luò)、淺層神經(jīng)網(wǎng)絡(luò)和本文方法在測試精度、訓(xùn)練時間以及模型的擬合程度等多個方面進行比較研究,得出了一些具有一定參考價值的結(jié)論。
【關(guān)鍵詞】：模式分類 深度學(xué)習(xí) 極速學(xué)習(xí)機 分類器集成 廣義逆
【學(xué)位授予單位】：河北大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP183
【目錄】：

• 摘要5-6
• Abstract6-10
• 第1章 緒論10-15
• 1.1 研究背景和意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀及分析11-13
• 1.3 主要研究內(nèi)容13
• 1.4 論文結(jié)構(gòu)13-15
• 第2章 相關(guān)知識15-23
• 2.1 神經(jīng)網(wǎng)絡(luò)算法15-20
• 2.1.1 神經(jīng)網(wǎng)絡(luò)算法概述15-17
• 2.1.2 誤差反向傳播算法17-19
• 2.1.3 訓(xùn)練算法優(yōu)化19-20
• 2.2 分類器集成方法20-22
• 2.2.1 分類器集成模型20-21
• 2.2.2 基于模糊積分的集成方法21-22
• 2.3 本章小結(jié)22-23
• 第3章 深度學(xué)習(xí)23-37
• 3.1 深層神經(jīng)網(wǎng)絡(luò)23-24
• 3.2 受限玻爾茲曼機24-30
• 3.2.1 Gibbs采樣25-26
• 3.2.2 RBM的訓(xùn)練方法26-30
• 3.3 深層置信網(wǎng)絡(luò)30-32
• 3.4 基于廣義逆的改進方法32-35
• 3.5 本章小結(jié)35-37
• 第4章 深層隨機賦權(quán)網(wǎng)絡(luò)集成方法37-47
• 4.1 極速學(xué)習(xí)機37-38
• 4.2 多層隨機賦權(quán)網(wǎng)絡(luò)38-42
• 4.2.1 自動編碼器38-40
• 4.2.2 基于ELM的自動編碼器40-41
• 4.2.3 基于ELM-Autoencoder的多層隨機賦權(quán)神經(jīng)網(wǎng)絡(luò)41-42
• 4.3 分類器的集成方法42-46
• 4.3.1 C-ML-RWN算法介紹42-44
• 4.3.2 C-ML-RWN算法實現(xiàn)44-46
• 4.4 本章小結(jié)46-47
• 第5章 實驗結(jié)果及分析47-56
• 5.1 實驗數(shù)據(jù)集47-49
• 5.2 實驗設(shè)計與實驗結(jié)果49-53
• 5.3 實驗分析53-55
• 5.4 本章小結(jié)55-56
• 第6章 總結(jié)與展望56-57
• 6.1 本文總結(jié)56
• 6.2 工作展望56-57
• 參考文獻57-61
• 致謝61-62
• 攻讀學(xué)位期間取得的科研成果62

，

本文編號：908189