本文關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò) 權(quán)值規(guī)范 過擬合　出處：《吉林大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network)通常又被稱為神經(jīng)網(wǎng)絡(luò),是將多個(gè)信息處理單元相互連接模擬生物學(xué)中細(xì)胞對(duì)信息的處理過程,該模型起源于1943年,由沃倫麥卡洛克和邏輯學(xué)家沃爾特共同提出,但在當(dāng)時(shí)并未引起學(xué)術(shù)界的廣泛關(guān)注。60年代當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)的研究人員以及研究成果少的可憐。90年代由于深層網(wǎng)絡(luò)梯度消失問題的發(fā)現(xiàn)和CNN反向傳播問題的解決,神經(jīng)網(wǎng)絡(luò)曾有過短暫的繁榮。而現(xiàn)今,神經(jīng)網(wǎng)絡(luò)以及其演化的深度學(xué)習(xí)領(lǐng)域無疑是當(dāng)下最熱的課題之一,數(shù)以萬計(jì)的科研工作者以及工程人員正投身于其中,神經(jīng)網(wǎng)絡(luò)又重新回到人們的視野中,這都得益于神經(jīng)網(wǎng)絡(luò)在圖片識(shí)別,人工智能,商業(yè)推薦方面的卓越表現(xiàn)。神經(jīng)網(wǎng)絡(luò)同其他機(jī)器學(xué)習(xí)算法一樣,在訓(xùn)練中存在過擬合問題,過擬合現(xiàn)象產(chǎn)生的原因主要是訓(xùn)練樣本過少,導(dǎo)致網(wǎng)絡(luò)并沒有學(xué)習(xí)到樣本的整體分布規(guī)律,從另一角度來看說明網(wǎng)絡(luò)模型過于復(fù)雜,擬合了數(shù)據(jù)集中的噪聲數(shù)據(jù),而不是只從正確的數(shù)據(jù)進(jìn)行學(xué)習(xí)。針對(duì)該問題不少學(xué)者,提出了一些防止網(wǎng)絡(luò)過擬合的技術(shù),其中應(yīng)用最為廣泛的要數(shù)規(guī)范化技術(shù)。神經(jīng)網(wǎng)絡(luò)的權(quán)值規(guī)范化通過增加對(duì)權(quán)重的懲罰相,防止在有限的訓(xùn)練數(shù)據(jù)下產(chǎn)生過于復(fù)雜的網(wǎng)絡(luò),能夠有效地在非人工干預(yù)的情形下減弱模型的過擬合現(xiàn)象。尋找一個(gè)合適有效地規(guī)范化方法,對(duì)于網(wǎng)絡(luò)的泛化效果有著重要的意義。當(dāng)前神經(jīng)網(wǎng)絡(luò)規(guī)范化方法主要有兩類,一類是基于權(quán)重空間發(fā)散程度的方法。例如L2規(guī)范化方法是尋找歐幾里得空間內(nèi)最快衰減方向,而L1規(guī)范化方法是在線性空間內(nèi)尋找最快的衰減方向。更普遍的講,當(dāng)目標(biāo)函數(shù)是凸函數(shù)時(shí),網(wǎng)絡(luò)的收斂速度與規(guī)范化方法相一致。L2方法約束的網(wǎng)絡(luò),其網(wǎng)絡(luò)權(quán)重的收斂速度是二次非線性的,L1方法約束的網(wǎng)絡(luò),其權(quán)重的收斂是線性方式。另一種應(yīng)用較廣的權(quán)值規(guī)范化方法是dropout技術(shù)。這種約束方法并不采用顯示的權(quán)重懲罰相,而是采用更加積極的方式,直接將某些權(quán)重連接抹去,從而抑制網(wǎng)絡(luò)的過擬合。無論是現(xiàn)在廣泛應(yīng)用的L1還是L2規(guī)范化方法,從其定義形式中可以看出,他們都是基于網(wǎng)絡(luò)全局的權(quán)重約束,L2規(guī)范化是在權(quán)重向量每個(gè)分量平方和之后求平方根,當(dāng)限制L2規(guī)范化結(jié)果很小時(shí),每一個(gè)權(quán)值都會(huì)很小。同樣L1也存在類似的情況。不同的是,在L1約束下部分權(quán)值會(huì)為0。若能有一種有效基于局部的權(quán)值規(guī)范化方法。會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)的研究有著重要的推動(dòng)作用。本文深入探討了影響神經(jīng)網(wǎng)絡(luò)性能的諸多指標(biāo),包括權(quán)重的初始化方法,損失函數(shù)的形式,激活神經(jīng)元的類型�；诓黄胶饩W(wǎng)絡(luò)的特點(diǎn),和線性神經(jīng)元調(diào)節(jié)特性,著力提出一種基于傳播路徑的局部規(guī)范化方法,一個(gè)神經(jīng)元的權(quán)重規(guī)范化值,取決于與其相連接的前向節(jié)點(diǎn)代價(jià),和后一層相連接的節(jié)點(diǎn)代價(jià)值,基于線性神經(jīng)元比例調(diào)節(jié)不變的性質(zhì),在L2規(guī)范化思想的基礎(chǔ)上,加入了局部懲罰的規(guī)范化權(quán)值更新。本文實(shí)驗(yàn)部分在MINST數(shù)據(jù)集上分別對(duì)網(wǎng)絡(luò)無規(guī)范化時(shí)、采用L1規(guī)范化方法、L2規(guī)范化方法、棄權(quán)技術(shù)方法時(shí)給出了對(duì)比結(jié)果。實(shí)驗(yàn)結(jié)果顯示本文提出的基于傳播路徑的局部權(quán)值規(guī)范化算法,對(duì)防止網(wǎng)絡(luò)過擬合,提高分類準(zhǔn)確具有積極的意義。
[Abstract]:Artificial neural network (Artificial Neural Network) is also known as neural network, is a plurality of information processing units connected simulation process in biology of cell information, the model originated in 1943, jointly proposed by Warren MacCulloch and logician Walter, but at that time did not cause widespread concern in the academic researchers at.60 the neural network and the research results of little.90's as a result of the deep web to solve the problem of finding and gradient disappeared CNN back-propagation neural network problems, there had been a boom. However, deep learning neural network field and its evolution is undoubtedly one of the most hot topic at the moment, tens of thousands of scientists and engineers is engaged in the neural network back to people's vision, this is due to the neural network in image recognition, Artificial intelligence, business excellence. The recommended neural network with other machine learning algorithm, has the overfitting problem in training, causes the over fitting phenomenon is mainly the training sample is too small, and did not learn to lead the network distribution of the whole sample, from another point of view that the network model is too complex, fitting the noise data in data set, not only from the correct data for the study. Many scholars put forward some problems, to prevent over fitting network technology, which is most widely applied to the number of standardized technology. The weights of neural network standardization by increasing the weight of punishment, to prevent the generation of complex network when the training data is limited, can effectively reduce the phenomenon of over fitting model in non manual intervention situations. Looking for a suitable effective standardization method for Is of great significance to the network generalization effect. The neural network standardization method mainly has two kinds, one is the method of weight space based on the degree of divergence. For example the L2 standard method is to find the fastest in the Euclidean space attenuation direction, while the L1 standard method is to find the direction of attenuation of the fastest in the linear space. More generally, when the objective function is a convex function, the convergence speed and the standardized method of network.L2 is consistent in the constrained network, the network convergence speed is two times the weight of the nonlinear L1 method, constrained network convergence, its weight is linear. The weight normalization method for another application Guangzhou is dropout technology. This method is not constrained by weight penalty shows, but with a more positive way, directly to the certain weight connection erased, thereby inhibiting the over fitting of the network. It is now widely The application of the L1 or L2 standard method, from the definition of the form can be seen, they are the weight constraint network based on global L2 standard is the square root of the weight vector of each component square and after standardized results when restricted to L2 hours, each weight will be very small. Also L1 there is a similar situation. The difference is, under L1 constraint for 0. part weight if there is an effective method based on local standard weights. The study of neural network plays an important role. This paper discusses the influence of many indicators of the performance of the neural network, including the initialization method of weight loss the form of the function, types of activated neurons. Based on the unbalanced network characteristics, and linear neural regulation characteristics, puts forward a method based on the local standard propagation path, a neuron's weight normalized value, depending on the Connected to the first node cost, and connected after a layer node generation value, adjust the proportion of invariant linear neurons based on the nature, based on L2 standard idea, adding weights specification updates. Local punishment in the part of experiment on MINST data set is divided into no standardization of network L1, the standard method, L2 standard method, technology and methods are given waiver results. Experimental results show that the proposed algorithm based on local weights standard propagation path, to prevent network overfitting, is of positive significance to improve the classification accuracy.

【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長(zhǎng)沙鐵道學(xué)院學(xué)報(bào);2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

8 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

相關(guān)會(huì)議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國(guó)神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國(guó)心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國(guó)設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國(guó)明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國(guó)家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國(guó)教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國(guó)紡織報(bào);2003年

4 中國(guó)科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國(guó)際先進(jìn)水平[N];中國(guó)電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國(guó)船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國(guó)農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國(guó)礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測(cè)算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測(cè)的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測(cè)及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測(cè)研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測(cè)研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號(hào)：1527462