目前,深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成為機器學習領(lǐng)域的一個研究熱點,其本質(zhì)上是一個特征提取的過程,最大的優(yōu)勢在于允許由多個隱含層組成的計算模型逐層抽象自動對數(shù)據(jù)進行特征提取,學習具有代表性和判別性的特征。另外,深度神經(jīng)網(wǎng)絡(luò)能夠使用較少的參數(shù)表示更復(fù)雜的函數(shù),對于新的應(yīng)用可以從訓練數(shù)據(jù)中快速學習得到有效的特征表達,極大地改進了語音識別、視覺對象識別、目標檢測等許多其它領(lǐng)域的技術(shù)。本文針對基于深度神經(jīng)網(wǎng)絡(luò)的特征提取算法進行了分析和研究,論文的主要內(nèi)容有以下三個方面:（1）針對深度信念網(wǎng)絡(luò)（DBN）在微調(diào)過程中易受訓練參數(shù)影響的問題,提出一種基于批量正則化的DBN（BNDBN）方法。該方法首先利用DBN進行無監(jiān)督學習以獲得原始數(shù)據(jù)的高層次表達;然后通過批量正則化算法中尺度變換和平移變換參數(shù)對網(wǎng)絡(luò)中間層的輸出特征每一維進行批量正則化處理;并將處理后的特征輸入到非線性變換激活層中;最后使用小批量隨機梯度下降法對仿射變換參數(shù)以及原始網(wǎng)絡(luò)的參數(shù)進行分批訓練學習,可以進一步地提升網(wǎng)絡(luò)的訓練效率。BNDBN方法減少了梯度對參數(shù)規(guī)模的依賴性,通過變換重構(gòu)可以恢復(fù)原始網(wǎng)絡(luò)所學習的特征分布,有效解決了因網(wǎng)絡(luò)參數(shù)變化而造成的... 

【文章來源】：江南大學江蘇省 211工程院校 教育部直屬院校

【文章頁數(shù)】：81 頁

【學位級別】：碩士

【部分圖文】：

深度學習原理

第二章 深度神經(jīng)網(wǎng)絡(luò)及其相關(guān)模型時代，模式識別、圖像處理方向開始轉(zhuǎn)向結(jié)合深度學習（Deep Learn相關(guān)研究，而深度神經(jīng)網(wǎng)絡(luò)是深度學習技術(shù)的主要模型�；谏疃壬袼惴ㄖ饕峭ㄟ^模型仿照生物神經(jīng)系統(tǒng)機制提取信息特征，篩選數(shù)據(jù)度神經(jīng)網(wǎng)絡(luò)在提取圖像、聲音、文字等信息的特征時，具有優(yōu)異的重介紹深度神經(jīng)網(wǎng)絡(luò)的基本思想及其相關(guān)模型的網(wǎng)絡(luò)結(jié)構(gòu)。的提取式識別中，特征主要用來描述和表示所研究的事物。算法從數(shù)據(jù)中提響模型的表現(xiàn)能力，如何有效提取符合數(shù)據(jù)分布結(jié)構(gòu)的特征一直是該題。傳統(tǒng)的特征提取方法大多是根據(jù)不同的任務(wù)和數(shù)據(jù)設(shè)計選擇特征SIFT[53]、局部二進制模式[54]等。然而設(shè)計一個好的特征并不簡單，尤況下，不僅費時費力，而且要求研究者具備啟發(fā)式專業(yè)知識，很大程氣，否則有可能提取到缺乏泛化性的特征。隨著認知生物學和神經(jīng)學一種可以自動學習特征描述的方法成為學者們研究的重點。

圖 3-3 MNIST 數(shù)據(jù)庫 10 類部分圖像示例，初始學習率的選擇比較慎重，過大或者過小經(jīng)過大量實驗來選擇合適的學習率，為了測試固定的情況下，改變學習率在區(qū)間[0.0005,0 Dropout-DBN、DBN 和 ANN 算法進行實驗.10.15.20.25.30.35BNDBNDropoutDDBNANN

【參考文獻】：
期刊論文
[1]基于隨機Dropout深度信念網(wǎng)絡(luò)的移動用戶行為識別方法[J]. 王忠民,王希,宋輝.  計算機應(yīng)用研究. 2017(12)
[2]面向自然語言處理的深度學習研究[J]. 奚雪峰,周國棟.  自動化學報. 2016(10)
[3]深度學習:多層神經(jīng)網(wǎng)絡(luò)的復(fù)興與變革[J]. 山世光,闞美娜,劉昕,劉夢怡,鄔書哲.  科技導報. 2016(14)
[4]深度學習研究進展[J]. 劉建偉,劉媛,羅雄麟.  計算機應(yīng)用研究. 2014(07)
[5]深度學習研究綜述[J]. 孫志軍,薛磊,許陽明,王正.  計算機應(yīng)用研究. 2012(08)

博士論文
[1]基于深度學習的跨模態(tài)檢索研究[D]. 馮方向.北京郵電大學 2015

碩士論文
[1]基于深度學習的人臉識別算法研究[D]. 王飛.蘭州交通大學 2017
[2]基于深度學習的圖像分類算法研究[D]. 房雪鍵.遼寧大學 2016
[3]基于受限玻爾茲曼機的深度學習模型及其應(yīng)用[D]. 張艷霞.電子科技大學 2016
[4]基于自動編碼器的半監(jiān)督表示學習與分類學習研究[D]. 吳海燕.重慶大學 2015



本文編號：3412107