深度學(xué)習(xí)已成為當(dāng)前人工智能領(lǐng)域的研究熱點(diǎn)。受限Boltzmann機(jī)（Restricted Boltzmann Machine,RBM）是深度學(xué)習(xí)模型之一,它將數(shù)據(jù)圖像拉成一維向量來(lái)處理,能夠?qū)W習(xí)到輸入數(shù)據(jù)的概率分布。因其表示能力強(qiáng)、是個(gè)很好的生成模型等優(yōu)點(diǎn)被廣泛用于深度神經(jīng)網(wǎng)絡(luò)。RBM訓(xùn)練優(yōu)劣將直接影響整個(gè)深度網(wǎng)絡(luò)的性能。因此,如何優(yōu)化RBM算法以提高網(wǎng)絡(luò)泛化能力和魯棒性,是網(wǎng)絡(luò)應(yīng)用中的重要問(wèn)題。本文主要針對(duì)RBM梯度近似算法、動(dòng)量算法、正則化方法三個(gè)方面存在的算法性能問(wèn)題、動(dòng)量加速受限、正則化方法計(jì)算效率及泛化能力受限等問(wèn)題展開(kāi)研究及其在圖像識(shí)別和地震數(shù)據(jù)去噪中的應(yīng)用,主要工作如下:（1）提出一種基于RBM專家乘積系統(tǒng)的改進(jìn)方法。將專家乘積系統(tǒng)原理與RBM算法相結(jié)合,采用全是真實(shí)概率值的參數(shù)更新方式會(huì)引起模型識(shí)別效果不理想和帶來(lái)密度問(wèn)題,為此將其更新方式進(jìn)行改進(jìn);為加快網(wǎng)絡(luò)收斂和提高模型識(shí)別能力,采取在RBM預(yù)訓(xùn)練階段和微調(diào)階段引入不同組合方式動(dòng)量項(xiàng)的一種改進(jìn)算法。通過(guò)對(duì)MNIST數(shù)據(jù)庫(kù)中0-9手寫(xiě)數(shù)字體的圖像識(shí)別,Extended Yale B和CMU-PIE數(shù)據(jù)庫(kù)的人臉識(shí)別實(shí)驗(yàn),... 

【文章來(lái)源】：中國(guó)地質(zhì)大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：151 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
作者簡(jiǎn)歷
摘要
abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 神經(jīng)網(wǎng)絡(luò)發(fā)展歷史
        1.2.2 受限Boltzmann機(jī)算法的發(fā)展現(xiàn)狀
    1.3 本文研究?jī)?nèi)容及章節(jié)安排
第二章 受限Boltzmann機(jī)模型及算法概述
    2.1 受限Boltzmann機(jī)模型
        2.1.1 Ising模型
        2.1.2 Hopfield網(wǎng)絡(luò)
        2.1.3 Boltzmann分布
        2.1.4 受限Boltzmann機(jī)模型求解
    2.2 受限Boltzmann機(jī)采樣算法
        2.2.1 Gibbs采樣
        2.2.2 平行退火采樣
        2.2.3 重要性采樣
    2.3 動(dòng)量算法
    2.4 RBM正則化方法
        2.4.1 誤差平方和稀疏懲罰因子
        2.4.2 對(duì)數(shù)和正則化
    本章小結(jié)
第三章 基于RBM的專家乘積系統(tǒng)的改進(jìn)算法
    3.1 引言
    3.2 專家乘積系統(tǒng)
        3.2.1 專家乘積系統(tǒng)的學(xué)習(xí)算法
        3.2.2 RBM學(xué)習(xí)算法與專家乘積系統(tǒng)
    3.3 改進(jìn)動(dòng)量算法
    3.4 圖像識(shí)別的應(yīng)用
        3.4.1 MNIST數(shù)據(jù)庫(kù)手寫(xiě)體識(shí)別
        3.4.2 Extended Yale B數(shù)據(jù)庫(kù)人臉識(shí)別
        3.4.3 CMU-PIE數(shù)據(jù)庫(kù)人臉識(shí)別
    3.5 地震數(shù)據(jù)去噪的應(yīng)用
        3.5.1 人工合成數(shù)據(jù)去噪
        3.5.2 真實(shí)地震數(shù)據(jù)去噪
    本章小結(jié)
第四章 基于動(dòng)量方法的RBM兩種不同梯度近似算法
    4.1 引言
    4.2 受限Boltzmann機(jī)模型的梯度
        4.2.1 RBM第一種梯度近似方法
        4.2.2 RBM第二種梯度近似方法
    4.3 改進(jìn)的動(dòng)量算法
    4.4 修正的動(dòng)量算法
    4.5 改進(jìn)動(dòng)量算法的分析及應(yīng)用
        4.5.1 MNIST數(shù)據(jù)庫(kù)手寫(xiě)體識(shí)別
        4.5.2 Extended Yale B數(shù)據(jù)庫(kù)人臉識(shí)別
        4.5.3 CMU-PIE數(shù)據(jù)庫(kù)人臉識(shí)別
    4.6 修正動(dòng)量算法的分析及應(yīng)用
        4.6.1 MNIST數(shù)據(jù)庫(kù)手寫(xiě)體識(shí)別
        4.6.2 Extended Yale B數(shù)據(jù)庫(kù)人臉識(shí)別
        4.6.3 CMU-PIE數(shù)據(jù)庫(kù)人臉識(shí)別
    本章小結(jié)
第五章 基于權(quán)衰減動(dòng)量RBM的平均對(duì)比散度算法
    5.1 引言
    5.2 RBM梯度近似方法
    5.3 改進(jìn)的ACD算法
        5.3.1 平均對(duì)比散度算法
        5.3.2 改進(jìn)的權(quán)衰減動(dòng)量算法
        5.3.3 修正隱單元偏置
    5.4 圖像識(shí)別的應(yīng)用
        5.4.1 MNIST數(shù)據(jù)庫(kù)手寫(xiě)體識(shí)別
        5.4.2 Extended Yale B數(shù)據(jù)庫(kù)人臉識(shí)別
        5.4.3 CMU-PIE數(shù)據(jù)庫(kù)人臉識(shí)別
    5.5 地震數(shù)據(jù)去噪的應(yīng)用
        5.5.1 人工合成數(shù)據(jù)去噪
        5.5.2 真實(shí)地震數(shù)據(jù)去噪
    本章小結(jié)
第六章 基于梯度改進(jìn)和動(dòng)量結(jié)合的Logsum RBM方法
    6.1 引言
    6.2 RBM優(yōu)化方法
    6.3 改進(jìn)的Logsum RBM方法
        6.3.1 RBM梯度近似
        6.3.2 Logsum正則化稀疏約束RBM
        6.3.3 修正動(dòng)量方法
    6.4 圖像識(shí)別的應(yīng)用
        6.4.1 MNIST數(shù)據(jù)庫(kù)手寫(xiě)體識(shí)別
        6.4.2 Extended Yale B數(shù)據(jù)庫(kù)人臉識(shí)別
        6.4.3 CMU-PIE數(shù)據(jù)庫(kù)人臉識(shí)別
    本章小結(jié)
第七章 總結(jié)與展望
    7.1 論文的主要工作總結(jié)
    7.2 論文的創(chuàng)新點(diǎn)
    7.3 研究展望
致謝
參考文獻(xiàn)


【參考文獻(xiàn)】：
期刊論文
[1]基于多隱層Gibbs采樣的深度信念網(wǎng)絡(luò)訓(xùn)練方法[J]. 史科,陸陽(yáng),劉廣亮,畢翔,王輝.  自動(dòng)化學(xué)報(bào). 2019(05)
[2]基于特征聚類的稀疏自編碼快速算法[J]. 付曉,沈遠(yuǎn)彤,付麗華,楊迪威.  電子學(xué)報(bào). 2018(05)
[3]基于深度學(xué)習(xí)的測(cè)井巖性識(shí)別方法研究與應(yīng)用[J]. 安鵬,曹丹平.  地球物理學(xué)進(jìn)展. 2018(03)
[4]基于權(quán)值動(dòng)量的RBM加速學(xué)習(xí)算法研究[J]. 李飛,高曉光,萬(wàn)開(kāi)方.  自動(dòng)化學(xué)報(bào). 2017(07)
[5]基于改進(jìn)并行回火算法的RBM網(wǎng)絡(luò)訓(xùn)練研究[J]. 李飛,高曉光,萬(wàn)開(kāi)方.  自動(dòng)化學(xué)報(bào). 2017(05)
[6]基于改進(jìn)深層網(wǎng)絡(luò)的人臉識(shí)別算法[J]. 李倩玉,蔣建國(guó),齊美彬.  電子學(xué)報(bào). 2017(03)
[7]基于Fisher約束和字典對(duì)的圖像分類[J]. 郭繼昌,張帆,王楠.  電子與信息學(xué)報(bào). 2017(02)
[8]神經(jīng)采樣[J]. 蕭子豪,朱軍.  計(jì)算機(jī)學(xué)報(bào). 2017(06)
[9]DLPF:基于異構(gòu)體系結(jié)構(gòu)的并行深度學(xué)習(xí)編程框架[J]. 王岳青,竇勇,呂啟,李寶峰,李騰.  計(jì)算機(jī)研究與發(fā)展. 2016(06)
[10]基于動(dòng)態(tài)Gibbs采樣的RBM訓(xùn)練算法研究[J]. 李飛,高曉光,萬(wàn)開(kāi)方.  自動(dòng)化學(xué)報(bào). 2016(06)



本文編號(hào)：3147521