本文選題：自動編碼器 + 堆疊自動編碼器　； 參考：《中國礦業(yè)大學(xué)》2017年碩士論文

【摘要】：數(shù)據(jù)表示的成功與否直接關(guān)系到數(shù)據(jù)的理解和存儲,因此其對于機(jī)器學(xué)習(xí)任務(wù)和人工智能的實(shí)現(xiàn)都至關(guān)重要。而自動編碼器就是為解決數(shù)據(jù)表示問題而提出的神經(jīng)網(wǎng)絡(luò)模型。由單隱層自動編碼器堆疊而成的深度網(wǎng)絡(luò)更是因?yàn)槠鋸?qiáng)大的學(xué)習(xí)表示能力而被廣泛研究。自動編碼器可以自適應(yīng)地學(xué)習(xí)到數(shù)據(jù)中的結(jié)構(gòu),并使用學(xué)習(xí)到的特征來高效的表示數(shù)據(jù),這種特性不僅可以適應(yīng)大數(shù)據(jù)環(huán)境中巨大的數(shù)據(jù)量和數(shù)據(jù)種類,而且可以克服經(jīng)驗(yàn)特征較大的設(shè)計(jì)代價和泛化性能差的問題,同時在深度學(xué)習(xí)中使用自動編碼器來實(shí)現(xiàn)多層次的特征提取可以取得更好的分類精度。但是,自動編碼器也存在魯棒性較差和深度學(xué)習(xí)應(yīng)用中出現(xiàn)過擬合現(xiàn)象等問題。為了能夠自適應(yīng)地從數(shù)據(jù)中提取有用的特征,同時提高特征的魯棒性并克服過擬合現(xiàn)象,本文在傳統(tǒng)自動編碼器的基礎(chǔ)上通過增加損壞處理操作,并向目標(biāo)函數(shù)中加入稀疏性約束,提出了降噪稀疏自動編碼器。通過探索不同的稀疏性約束和損壞處理操作,并分別在手寫數(shù)據(jù)集和自然圖像上測試模型的識別精度、學(xué)習(xí)到的特征提取器和數(shù)據(jù)重構(gòu)效果,得到的實(shí)驗(yàn)表明:本文提出的降噪稀疏自動編碼器相比于傳統(tǒng)自動編碼器、稀疏自動編碼器和降噪自動編碼器模型,同時具有較好的泛化性能和魯棒性。淺層的自動編碼器的學(xué)習(xí)能力有限,而且無法提取層次化的特征,為了更高效的表示高維數(shù)據(jù),以及探究如何使用自動編碼器來構(gòu)造深度網(wǎng)絡(luò)表示數(shù)據(jù),本文在單層的降噪稀疏自動編碼器的基礎(chǔ)上,提出了堆疊降噪稀疏自動編碼器。首先通過上一層自動編碼器的輸出作為下一層自動編碼器的輸入的方式逐層訓(xùn)練多個降噪稀疏自動編碼器。然后將逐層訓(xùn)練的自動編碼器的隱層堆疊起來,構(gòu)造具有多個隱層的堆疊降噪稀疏自動編碼器。我們可以利用該多層的堆疊降噪稀疏自動編碼器學(xué)習(xí)圖像數(shù)據(jù)中不同抽象程度的特征,并使用學(xué)習(xí)到的最高抽象層的特征來執(zhí)行分類任務(wù)。通過實(shí)驗(yàn)本文探索了不同深度的網(wǎng)絡(luò)結(jié)構(gòu),以及具有相同深度但不同隱層節(jié)點(diǎn)數(shù)的網(wǎng)絡(luò)結(jié)構(gòu),在不同復(fù)雜程度的數(shù)據(jù)集上的分類效果。實(shí)驗(yàn)表明無監(jiān)督的初始化階段對于訓(xùn)練深度網(wǎng)絡(luò)的重要作用,以及堆疊降噪稀疏自動編碼器相比于只有稀疏性約束和損壞處理操作的堆疊自動編碼器具有更好的識別效果,更重要的是本文通過實(shí)驗(yàn)發(fā)現(xiàn),稀疏性約束和損壞處理操作具有一定的等價性,而對于無法通過經(jīng)驗(yàn)選擇這些超參數(shù)的情況下,通過結(jié)合這兩種約束通常可以得到更好的識別效果。本文針對降噪稀疏自動編碼器和堆疊降噪稀疏自動編碼器在具有不同復(fù)雜程度的數(shù)據(jù)集上的實(shí)驗(yàn)效果,以及現(xiàn)有模型的局限,進(jìn)一步分析如何進(jìn)行改進(jìn)現(xiàn)有模型,并提出了兩個改進(jìn)自動編碼器的方向:構(gòu)造自動編碼器和拓?fù)渥詣泳幋a器。此外,本文還探索了關(guān)于自動編碼器的一些基本問題,如:一個優(yōu)秀的自動編碼器模型應(yīng)該具備什么樣的特征、自動編碼器研究中還有哪些問題沒有得到明確解答以及自動編碼器與腦科學(xué)、認(rèn)知科學(xué)等學(xué)科的聯(lián)系。最后對自動編碼器的研究進(jìn)行總結(jié)并展望。
[Abstract]:This paper proposes a kind of noise reduction sparse automatic encoder which is based on the traditional automatic encoder .

【學(xué)位授予單位】：中國礦業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TN762

【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 王雅思;姚鴻勛;孫曉帥;許鵬飛;趙思成;;深度學(xué)習(xí)中的自編碼器的表達(dá)能力研究[J];計(jì)算機(jī)科學(xué);2015年09期

2 程學(xué)旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國杰;;大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J];軟件學(xué)報(bào);2014年09期

3 曲建嶺;杜辰飛;邸亞洲;高峰;郭超然;;深度自動編碼器的研究與展望[J];計(jì)算機(jī)與現(xiàn)代化;2014年08期

4 段寶彬;韓立新;謝進(jìn);;基于堆疊稀疏自編碼的模糊C-均值聚類算法[J];計(jì)算機(jī)工程與應(yīng)用;2015年04期

5 孫志軍;薛磊;許陽明;;基于深度學(xué)習(xí)的邊際Fisher分析特征提取算法[J];電子與信息學(xué)報(bào);2013年04期

6 朱杰;楊萬扣;唐振民;;基于字典學(xué)習(xí)的核稀疏表示人臉識別方法[J];模式識別與人工智能;2012年05期

7 宋相法;焦李成;;基于稀疏表示的多標(biāo)記學(xué)習(xí)算法[J];模式識別與人工智能;2012年01期

8 浦劍;張軍平;;基于詞典學(xué)習(xí)和稀疏表示的超分辨率方法[J];模式識別與人工智能;2010年03期

，

本文編號：1852377