【摘要】：近年來,深度學(xué)習(xí)已成為了圖像識別領(lǐng)域的研究熱點。在傳統(tǒng)圖像識別的方法中,通過人工經(jīng)驗提取輸入數(shù)據(jù)的特征是圖像預(yù)處理的關(guān)鍵,這種方式在調(diào)節(jié)參數(shù)方面費時費力。深度學(xué)習(xí)是模擬人類視覺系統(tǒng)與人腦認知環(huán)節(jié),通過結(jié)構(gòu)化的提取數(shù)據(jù)特征,最終獲取圖像深層信息的過程。整個訓(xùn)練過程無需人工參與就能得到很好的圖像識別效果。本文主要研究深度學(xué)習(xí)在圖像識別領(lǐng)域的應(yīng)用,對深度學(xué)習(xí)高精度收斂和構(gòu)造合理結(jié)構(gòu)的問題進行深入研究,依次提出附加動量-自適應(yīng)學(xué)習(xí)速率法和構(gòu)造理想模型結(jié)構(gòu)的方案。具體工作如下:1.針對深度學(xué)習(xí)模型在訓(xùn)練階段會出現(xiàn)目標(biāo)代價函數(shù)陷入局部最小值、收斂速度慢和模型過擬合等問題,本文提出了附加動量-自適應(yīng)學(xué)習(xí)速率法的改進方案,并分析了相關(guān)參數(shù)對學(xué)習(xí)過程的影響。在堆疊去噪自動編碼器上利用MNIST數(shù)據(jù)集進行實驗,結(jié)果表明改進的算法方案提高了圖像識別的準(zhǔn)確率,同時縮短了訓(xùn)練時間,驗證了本文提出的優(yōu)化算法在圖像識別方面的可行性和有效性。2.深度學(xué)習(xí)結(jié)構(gòu)的設(shè)計需要設(shè)計者的經(jīng)驗和多次實驗確定,缺乏合理的理論依據(jù)。本文提出四種方法來確定深度學(xué)習(xí)模型的合理結(jié)構(gòu):基于權(quán)閾參數(shù)變量分析法、基于黃金分割原理法、基于網(wǎng)絡(luò)節(jié)點敏感度的結(jié)構(gòu)確定法以及基于卷積金字塔模型結(jié)構(gòu)方法。實驗分析表明四種方案在識別圖像準(zhǔn)確率和訓(xùn)練時間方面都有很好的效果,其中基于網(wǎng)絡(luò)節(jié)點敏感度的結(jié)構(gòu)確定方法相對其它方法效果更優(yōu),可以為深度學(xué)習(xí)在圖像識別應(yīng)用中選取合理結(jié)構(gòu)提供理論依據(jù)。
【圖文】：

第二章深度學(xué)習(xí)相關(guān)理論知識逡逑ＪＳＬ邋９邐輸出層逡逑圖２－１多層深度學(xué)習(xí)網(wǎng)絡(luò)逡逑如圖２－２所示，監(jiān)督學(xué)習(xí)［３４］依賴帶標(biāo)簽樣例的訓(xùn)練樣本，每一個樣例由一個逡逑輸入信號以及相應(yīng)目標(biāo)組成。通過最小化代價函數(shù)來實現(xiàn)特定的輸入與輸出的映逡逑射。監(jiān)督學(xué)習(xí)需要輸入數(shù)據(jù)相對應(yīng)的目標(biāo)值，實際上我們發(fā)現(xiàn)收集帶標(biāo)號的樣例逡逑是費時而昂貴的，在處理大規(guī)模學(xué)習(xí)問題上尤其如此。對于無監(jiān)督的學(xué)習(xí)可以是逡逑無標(biāo)簽的數(shù)據(jù)或有標(biāo)簽的數(shù)據(jù)，學(xué)習(xí)過程依賴網(wǎng)絡(luò)在自組織方式下學(xué)習(xí)所需要的逡逑對表示質(zhì)量的“任務(wù)獨立度量”，通常無標(biāo)簽的數(shù)據(jù)是很充分的，因此針對無監(jiān)逡逑督與有監(jiān)督這兩種學(xué)習(xí)得出半監(jiān)督學(xué)習(xí)。深度學(xué)習(xí)是采用半監(jiān)督學(xué)習(xí)，，在第一階逡逑段對無標(biāo)簽的數(shù)據(jù)進行無監(jiān)督學(xué)習(xí)，第二階段對有標(biāo)簽的數(shù)據(jù)進行監(jiān)督學(xué)習(xí)。逡逑馨邋＿邐｜輸入數(shù)據(jù)的標(biāo)簽值逡逑ｗ邋ｗ邋0Ｃ．逡逑圖２－２監(jiān)督訓(xùn)練階段逡逑２．１．３深度學(xué)習(xí)分類算法逡逑深度學(xué)習(xí)在完成無監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的微調(diào)階段后

ＪＳＬ邋９邐輸出層逡逑圖２－１多層深度學(xué)習(xí)網(wǎng)絡(luò)逡逑如圖２－２所示，監(jiān)督學(xué)習(xí)［３４］依賴帶標(biāo)簽樣例的訓(xùn)練樣本，每一個樣例由一個逡逑輸入信號以及相應(yīng)目標(biāo)組成。通過最小化代價函數(shù)來實現(xiàn)特定的輸入與輸出的映逡逑射。監(jiān)督學(xué)習(xí)需要輸入數(shù)據(jù)相對應(yīng)的目標(biāo)值，實際上我們發(fā)現(xiàn)收集帶標(biāo)號的樣例逡逑是費時而昂貴的，在處理大規(guī)模學(xué)習(xí)問題上尤其如此。對于無監(jiān)督的學(xué)習(xí)可以是逡逑無標(biāo)簽的數(shù)據(jù)或有標(biāo)簽的數(shù)據(jù)，學(xué)習(xí)過程依賴網(wǎng)絡(luò)在自組織方式下學(xué)習(xí)所需要的逡逑對表示質(zhì)量的“任務(wù)獨立度量”，通常無標(biāo)簽的數(shù)據(jù)是很充分的，因此針對無監(jiān)逡逑督與有監(jiān)督這兩種學(xué)習(xí)得出半監(jiān)督學(xué)習(xí)。深度學(xué)習(xí)是采用半監(jiān)督學(xué)習(xí)，在第一階逡逑段對無標(biāo)簽的數(shù)據(jù)進行無監(jiān)督學(xué)習(xí)，第二階段對有標(biāo)簽的數(shù)據(jù)進行監(jiān)督學(xué)習(xí)。逡逑馨邋＿邐｜輸入數(shù)據(jù)的標(biāo)簽值逡逑ｗ邋ｗ邋0Ｃ．逡逑圖２－２監(jiān)督訓(xùn)練階段逡逑２．１．３深度學(xué)習(xí)分類算法逡逑深度學(xué)習(xí)在完成無監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的微調(diào)階段后，要在模型的最后逡逑一層加入分類器
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP391.41;TP181

【參考文獻】

相關(guān)期刊論文 前4條

1 張春霞;姬楠楠;王冠偉;;受限波爾茲曼機[J];工程數(shù)學(xué)學(xué)報;2015年02期

2 DENG ChenWei;HUANG GuangBin;XU Jia;TANG JieXiong;;Extreme learning machines: new trends and applications[J];Science China(Information Sciences);2015年02期

3 余凱;賈磊;陳雨強;徐偉;;深度學(xué)習(xí)的昨天、今天和明天[J];計算機研究與發(fā)展;2013年09期

4 ;百度在加州設(shè)立深度學(xué)習(xí)實驗室 開發(fā)類谷歌眼鏡項目[J];電子技術(shù)與軟件工程;2013年07期

本文編號：2568932