【摘要】：自從1943年神經(jīng)元模型被提出后,神經(jīng)網(wǎng)絡(luò)已經(jīng)經(jīng)歷了幾十年的發(fā)展。如今,雖然神經(jīng)網(wǎng)絡(luò)已經(jīng)可以處理許多復(fù)雜的問題,例如圖像處理,自然語(yǔ)言處理等等,但是神經(jīng)網(wǎng)絡(luò)的規(guī)模應(yīng)該如何確定仍然是一個(gè)亟待解決的問題。神經(jīng)網(wǎng)絡(luò)的規(guī)模代表了神經(jīng)網(wǎng)絡(luò)包含參數(shù)的數(shù)量以及具體的網(wǎng)絡(luò)結(jié)構(gòu)。在訓(xùn)練時(shí),規(guī)模過大的神經(jīng)網(wǎng)絡(luò)不僅會(huì)占用較多的存儲(chǔ)與計(jì)算資源,對(duì)一些計(jì)算與存儲(chǔ)資源有限的設(shè)備并不友好,而且會(huì)導(dǎo)致訓(xùn)練網(wǎng)絡(luò)的時(shí)間大幅增加并出現(xiàn)過擬合的問題。規(guī)模過小的神經(jīng)網(wǎng)絡(luò)可能會(huì)無(wú)法正確擬合函數(shù),導(dǎo)致訓(xùn)練失敗。而一個(gè)規(guī)模適中的神經(jīng)網(wǎng)絡(luò)可以在保證訓(xùn)練效果的同時(shí)盡可能的減少訓(xùn)練的時(shí)間與占用的資源。在深度學(xué)習(xí)被提出后,由于網(wǎng)絡(luò)的深度加深,神經(jīng)網(wǎng)絡(luò)規(guī)模也變得愈發(fā)難以確定。所以研究人員需要一種神經(jīng)網(wǎng)絡(luò)規(guī)模自適應(yīng)的方法去確定最優(yōu)的神經(jīng)網(wǎng)絡(luò)規(guī)模。本文提出一種通過數(shù)據(jù)集的特征去預(yù)測(cè)此數(shù)據(jù)集的最優(yōu)神經(jīng)網(wǎng)絡(luò)規(guī)模的自適應(yīng)方法。即通過數(shù)據(jù)集的數(shù)據(jù)維度,數(shù)據(jù)集的預(yù)測(cè)輸出的維度,數(shù)據(jù)集數(shù)據(jù)的平均標(biāo)準(zhǔn)差等特征,預(yù)測(cè)訓(xùn)練這個(gè)數(shù)據(jù)集至少需要什么規(guī)模的神經(jīng)網(wǎng)絡(luò)。一般而言,復(fù)雜的關(guān)系需要的神經(jīng)網(wǎng)絡(luò)的規(guī)模應(yīng)該更大,而簡(jiǎn)單的關(guān)系則使用一個(gè)規(guī)模較小的神經(jīng)網(wǎng)絡(luò)就可以正確擬合。具體做法如下:首先收集若干個(gè)數(shù)據(jù)集,隨后通過蠻力法找出每個(gè)數(shù)據(jù)集對(duì)應(yīng)的最優(yōu)神經(jīng)網(wǎng)絡(luò)規(guī)模,然后將神經(jīng)網(wǎng)絡(luò)的規(guī)模與數(shù)據(jù)集的特征進(jìn)行量化,并使用回歸的方式分析數(shù)據(jù)集的特征與神經(jīng)網(wǎng)絡(luò)規(guī)模之間的關(guān)系。最終使用這種關(guān)系去預(yù)測(cè)數(shù)據(jù)集對(duì)應(yīng)的最優(yōu)神經(jīng)網(wǎng)絡(luò)規(guī)模。考慮到各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的通用性以及表示能力,本文選擇了前饋神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練數(shù)據(jù)集的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。同時(shí)考慮到非線性性回歸的難度,也使用前饋神經(jīng)網(wǎng)絡(luò)作為回歸的工具。本文將訓(xùn)練數(shù)據(jù)集的神經(jīng)網(wǎng)絡(luò)稱為基礎(chǔ)神經(jīng)網(wǎng)絡(luò),將擬合數(shù)據(jù)集與神經(jīng)網(wǎng)絡(luò)規(guī)模的網(wǎng)絡(luò)稱為元網(wǎng)絡(luò)。本文收集了MNIST,CIFAR等數(shù)據(jù)集并進(jìn)行了實(shí)驗(yàn),結(jié)果表明,經(jīng)過訓(xùn)練后的回歸模型能夠較為準(zhǔn)確地判斷出一個(gè)數(shù)據(jù)集的最優(yōu)前饋神經(jīng)網(wǎng)絡(luò)的規(guī)模,驗(yàn)證了數(shù)據(jù)集與網(wǎng)絡(luò)規(guī)模之間存在的必然聯(lián)系。使用本文的方法,訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)之前,可以判斷出最優(yōu)神經(jīng)網(wǎng)絡(luò)的規(guī)模,減少訓(xùn)練時(shí)的開銷并避免規(guī)模過大帶來的資源浪費(fèi)。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP183
【圖文】：

圖１．邋１三種語(yǔ)音生成模型的語(yǔ)音質(zhì)量與人類的對(duì)比逡逑可以看出在使用ＷａｖｅＮｅｔ后，生成的語(yǔ)音的質(zhì)量有明顯提升，與人類的聲音之間逡逑的差距進(jìn)一步縮小。逡逑上述成果使用的神經(jīng)網(wǎng)絡(luò)規(guī)模也是經(jīng)過了多次篩選后選擇出的，可見一個(gè)合逡逑適的規(guī)模對(duì)于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練的重要性。但是現(xiàn)在使用的網(wǎng)絡(luò)大多較為復(fù)雜，找逡逑出規(guī)模合適的網(wǎng)絡(luò)難度逐漸增加，所以自適應(yīng)神經(jīng)網(wǎng)絡(luò)的規(guī)模變得很有必要。逡逑１．２相關(guān)工作逡逑關(guān)于神經(jīng)網(wǎng)絡(luò)的規(guī)模，已經(jīng)有研究者進(jìn)行了研究。萬(wàn)能近似定理逡逑［Ｃｙｂｅｎｋｏ，邋１９８９］邋［Ｈｏｒｎｉｃ，邋１９８９］表明，一個(gè)擁有線性輸出層且擁有一層包含具有逡逑“擠壓”性質(zhì)的激活函數(shù)的隱藏層的前饋神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近任何函數(shù)。逡逑這就意味著無(wú)論學(xué)習(xí)什么函數(shù)，一個(gè)單隱藏層的網(wǎng)絡(luò)一定可以滿足要求。但是，逡逑

，，逡逑不光滑，所以實(shí)際使用時(shí)常用ｓｉｇｍｏｉｄ函數(shù)作為代替。ｓｉｇｍｏｉｄ函數(shù)可以將壓縮至０到１之間。ｓｉｇｍｏｉｄ函數(shù)為ｆ（ｘ）邋＝邋—＾■。除了邋ｓｉｇｍｏｉｄ函數(shù)夕卜，ｔａｎｈｌ＋ｅ￣ｘ逡逑數(shù)也常作為激活函數(shù)。圖２．邋１展示了邋ｓｉｇｍｏｉｄ函數(shù)與ｔａｎｈ函數(shù)的圖像。逡逑１．００１邐邐丨丨丨丨丨逡逑

所以實(shí)際使用時(shí)常用ｓｉｇｍｏｉｄ函數(shù)作為代替。ｓｉｇｍｏｉｄ函數(shù)可以將輸逡逑入壓縮至０到１之間。ｓｉｇｍｏｉｄ函數(shù)為ｆ（ｘ）邋＝邋—＾■。除了邋ｓｉｇｍｏｉｄ函數(shù)夕卜，ｔａｎｈ逡逑ｌ＋ｅ￣ｘ逡逑函數(shù)也常作為激活函數(shù)。圖２．邋１展示了邋ｓｉｇｍｏｉｄ函數(shù)與ｔａｎｈ函數(shù)的圖像。逡逑１．００１邐邐丨丨丨丨丨逡逑０．７５逡逑０．Ｓ０邐／逡逑０２Ｓ邐／逡逑０．００邋－＿■■■■他ｖ－ｒ邋邐逡逑－０．２Ｓ邐ｊ逡逑－０．Ｓ０邐／逡逑＾Ｊ－７５邐／逡逑－１．００邐邐Ｉ邐邐邐逡逑－Ｓ邐－４邐－５邐－？邐－ｔ邐０邐１邐２邐３邐４邐５逡逑圖２．邋１邋ｓｉｇｍｏｉｄ函數(shù)與ｔａｎｈ函數(shù)的圖像逡逑圖中藍(lán)色的函數(shù)圖像表示ｓｉｇｍｏｉｄ函數(shù)，另一個(gè)表示ｔａｎｈ函數(shù)�？梢钥闯�，逡逑ｓｉｇｍｏｉｄ函數(shù)的取值在０和１之間，而ｔａｎｈ函數(shù)的取值在－１和１之間，二者的逡逑１１逡逑

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場(chǎng)中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測(cè)法[J];金融經(jīng)濟(jì);2017年18期

2 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會(huì)述評(píng)[J];國(guó)際學(xué)術(shù)動(dòng)態(tài);1996年01期

3 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識(shí)別[J];通訊世界;2018年12期

4 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期

5 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期

6 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期

7 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計(jì)研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

8 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

9 蘇秀婷;;耦合神經(jīng)網(wǎng)絡(luò)的同步[J];紹興文理學(xué)院學(xué)報(bào)(自然科學(xué));2016年03期

10 朱n

本文編號(hào)：2793279