【摘要】：自從1943年神經(jīng)元模型被提出后,神經(jīng)網(wǎng)絡已經(jīng)經(jīng)歷了幾十年的發(fā)展。如今,雖然神經(jīng)網(wǎng)絡已經(jīng)可以處理許多復雜的問題,例如圖像處理,自然語言處理等等,但是神經(jīng)網(wǎng)絡的規(guī)模應該如何確定仍然是一個亟待解決的問題。神經(jīng)網(wǎng)絡的規(guī)模代表了神經(jīng)網(wǎng)絡包含參數(shù)的數(shù)量以及具體的網(wǎng)絡結構。在訓練時,規(guī)模過大的神經(jīng)網(wǎng)絡不僅會占用較多的存儲與計算資源,對一些計算與存儲資源有限的設備并不友好,而且會導致訓練網(wǎng)絡的時間大幅增加并出現(xiàn)過擬合的問題。規(guī)模過小的神經(jīng)網(wǎng)絡可能會無法正確擬合函數(shù),導致訓練失敗。而一個規(guī)模適中的神經(jīng)網(wǎng)絡可以在保證訓練效果的同時盡可能的減少訓練的時間與占用的資源。在深度學習被提出后,由于網(wǎng)絡的深度加深,神經(jīng)網(wǎng)絡規(guī)模也變得愈發(fā)難以確定。所以研究人員需要一種神經(jīng)網(wǎng)絡規(guī)模自適應的方法去確定最優(yōu)的神經(jīng)網(wǎng)絡規(guī)模。本文提出一種通過數(shù)據(jù)集的特征去預測此數(shù)據(jù)集的最優(yōu)神經(jīng)網(wǎng)絡規(guī)模的自適應方法。即通過數(shù)據(jù)集的數(shù)據(jù)維度,數(shù)據(jù)集的預測輸出的維度,數(shù)據(jù)集數(shù)據(jù)的平均標準差等特征,預測訓練這個數(shù)據(jù)集至少需要什么規(guī)模的神經(jīng)網(wǎng)絡。一般而言,復雜的關系需要的神經(jīng)網(wǎng)絡的規(guī)模應該更大,而簡單的關系則使用一個規(guī)模較小的神經(jīng)網(wǎng)絡就可以正確擬合。具體做法如下:首先收集若干個數(shù)據(jù)集,隨后通過蠻力法找出每個數(shù)據(jù)集對應的最優(yōu)神經(jīng)網(wǎng)絡規(guī)模,然后將神經(jīng)網(wǎng)絡的規(guī)模與數(shù)據(jù)集的特征進行量化,并使用回歸的方式分析數(shù)據(jù)集的特征與神經(jīng)網(wǎng)絡規(guī)模之間的關系。最終使用這種關系去預測數(shù)據(jù)集對應的最優(yōu)神經(jīng)網(wǎng)絡規(guī)模。考慮到各種神經(jīng)網(wǎng)絡結構的通用性以及表示能力,本文選擇了前饋神經(jīng)網(wǎng)絡作為訓練數(shù)據(jù)集的神經(jīng)網(wǎng)絡結構。同時考慮到非線性性回歸的難度,也使用前饋神經(jīng)網(wǎng)絡作為回歸的工具。本文將訓練數(shù)據(jù)集的神經(jīng)網(wǎng)絡稱為基礎神經(jīng)網(wǎng)絡,將擬合數(shù)據(jù)集與神經(jīng)網(wǎng)絡規(guī)模的網(wǎng)絡稱為元網(wǎng)絡。本文收集了MNIST,CIFAR等數(shù)據(jù)集并進行了實驗,結果表明,經(jīng)過訓練后的回歸模型能夠較為準確地判斷出一個數(shù)據(jù)集的最優(yōu)前饋神經(jīng)網(wǎng)絡的規(guī)模,驗證了數(shù)據(jù)集與網(wǎng)絡規(guī)模之間存在的必然聯(lián)系。使用本文的方法,訓練前饋神經(jīng)網(wǎng)絡之前,可以判斷出最優(yōu)神經(jīng)網(wǎng)絡的規(guī)模,減少訓練時的開銷并避免規(guī)模過大帶來的資源浪費。
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP183
【圖文】：

圖１．邋１三種語音生成模型的語音質(zhì)量與人類的對比逡逑可以看出在使用ＷａｖｅＮｅｔ后，生成的語音的質(zhì)量有明顯提升，與人類的聲音之間逡逑的差距進一步縮小。逡逑上述成果使用的神經(jīng)網(wǎng)絡規(guī)模也是經(jīng)過了多次篩選后選擇出的，可見一個合逡逑適的規(guī)模對于神經(jīng)網(wǎng)絡的訓練的重要性。但是現(xiàn)在使用的網(wǎng)絡大多較為復雜，找逡逑出規(guī)模合適的網(wǎng)絡難度逐漸增加，所以自適應神經(jīng)網(wǎng)絡的規(guī)模變得很有必要。逡逑１．２相關工作逡逑關于神經(jīng)網(wǎng)絡的規(guī)模，已經(jīng)有研究者進行了研究。萬能近似定理逡逑［Ｃｙｂｅｎｋｏ，邋１９８９］邋［Ｈｏｒｎｉｃ，邋１９８９］表明，一個擁有線性輸出層且擁有一層包含具有逡逑“擠壓”性質(zhì)的激活函數(shù)的隱藏層的前饋神經(jīng)網(wǎng)絡可以以任意精度逼近任何函數(shù)。逡逑這就意味著無論學習什么函數(shù)，一個單隱藏層的網(wǎng)絡一定可以滿足要求。但是，逡逑

，，逡逑不光滑，所以實際使用時常用ｓｉｇｍｏｉｄ函數(shù)作為代替。ｓｉｇｍｏｉｄ函數(shù)可以將壓縮至０到１之間。ｓｉｇｍｏｉｄ函數(shù)為ｆ（ｘ）邋＝邋—＾■。除了邋ｓｉｇｍｏｉｄ函數(shù)夕卜，ｔａｎｈｌ＋ｅ￣ｘ逡逑數(shù)也常作為激活函數(shù)。圖２．邋１展示了邋ｓｉｇｍｏｉｄ函數(shù)與ｔａｎｈ函數(shù)的圖像。逡逑１．００１邐邐丨丨丨丨丨逡逑

所以實際使用時常用ｓｉｇｍｏｉｄ函數(shù)作為代替。ｓｉｇｍｏｉｄ函數(shù)可以將輸逡逑入壓縮至０到１之間。ｓｉｇｍｏｉｄ函數(shù)為ｆ（ｘ）邋＝邋—＾■。除了邋ｓｉｇｍｏｉｄ函數(shù)夕卜，ｔａｎｈ逡逑ｌ＋ｅ￣ｘ逡逑函數(shù)也常作為激活函數(shù)。圖２．邋１展示了邋ｓｉｇｍｏｉｄ函數(shù)與ｔａｎｈ函數(shù)的圖像。逡逑１．００１邐邐丨丨丨丨丨逡逑０．７５逡逑０．Ｓ０邐／逡逑０２Ｓ邐／逡逑０．００邋－＿■■■■他ｖ－ｒ邋邐逡逑－０．２Ｓ邐ｊ逡逑－０．Ｓ０邐／逡逑＾Ｊ－７５邐／逡逑－１．００邐邐Ｉ邐邐邐逡逑－Ｓ邐－４邐－５邐－？邐－ｔ邐０邐１邐２邐３邐４邐５逡逑圖２．邋１邋ｓｉｇｍｏｉｄ函數(shù)與ｔａｎｈ函數(shù)的圖像逡逑圖中藍色的函數(shù)圖像表示ｓｉｇｍｏｉｄ函數(shù)，另一個表示ｔａｎｈ函數(shù)�？梢钥闯觯义希螅椋纾恚铮椋浜瘮�(shù)的取值在０和１之間，而ｔａｎｈ函數(shù)的取值在－１和１之間，二者的逡逑１１逡逑

【相似文獻】

相關期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡拐點預測法[J];金融經(jīng)濟;2017年18期

2 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡大會述評[J];國際學術動態(tài);1996年01期

3 吳立可;;脈沖神經(jīng)網(wǎng)絡和行為識別[J];通訊世界;2018年12期

4 林嘉應;鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡的船舶分類模型[J];信息技術與信息化;2019年02期

5 俞頌華;;卷積神經(jīng)網(wǎng)絡的發(fā)展與應用綜述[J];信息通信;2019年02期

6 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡的通用理論建造基石[J];世界科學;2019年04期

7 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設計研究[J];數(shù)字技術與應用;2018年04期

8 張庭略;;基于硬件的神經(jīng)網(wǎng)絡加速[J];通訊世界;2018年08期

9 蘇秀婷;;耦合神經(jīng)網(wǎng)絡的同步[J];紹興文理學院學報(自然科學);2016年03期

10 朱n

本文編號：2793279