本文選題：深度學(xué)習(xí)　切入點(diǎn)：殘差　出處：《吉林大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：生物神經(jīng)網(wǎng)絡(luò)是由海量的神經(jīng)元通過樹突和軸突連接而成,其能夠不斷學(xué)習(xí)和進(jìn)化。而人工神經(jīng)網(wǎng)絡(luò)就是基于生物學(xué)中神經(jīng)網(wǎng)絡(luò)的基本原理,以網(wǎng)絡(luò)拓?fù)渲R(shí)為基礎(chǔ),模擬人腦的神經(jīng)系統(tǒng)對(duì)外界信息的處理機(jī)制的一種數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)的研究在上世紀(jì)末期經(jīng)歷了一段時(shí)間的快速發(fā)展后,由于各種條件的限制,陷入了低谷。深度學(xué)習(xí)就是以人工神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),一種更為深層次并且更加復(fù)雜的網(wǎng)絡(luò)模型。近年來,由于計(jì)算機(jī)技術(shù)的迅猛發(fā)展,尤其是硬件條件的提升,深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間大大減少,深度學(xué)習(xí)也迅速成為一個(gè)研究熱點(diǎn)。在數(shù)字識(shí)別,語音識(shí)別,無人駕駛,圖像識(shí)別等領(lǐng)域,深度學(xué)習(xí)技術(shù)都有著廣泛的應(yīng)用。以深度學(xué)習(xí)為代表的新一代人工智能技術(shù),正在逐漸滲透到人們生活之中,并推動(dòng)著社會(huì)的發(fā)展。而卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)技術(shù)的一個(gè)代表,近年來也取得了飛速的發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層神經(jīng)網(wǎng)絡(luò),它包含特殊的卷積層和降采樣層,卷積層的神經(jīng)元和前一層采用局部連接和權(quán)值共享的方式進(jìn)行連接,從而大大降低了需要訓(xùn)練的參數(shù)數(shù)量。降采樣層可以大幅降低輸入維度,降低網(wǎng)絡(luò)復(fù)雜度,使網(wǎng)絡(luò)具有更高的魯棒性,同時(shí)能夠有效的抑制過擬合問題。這些設(shè)計(jì)使得卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別縮放,位移以及其他形式扭曲不變的二維圖形的任務(wù)上有著無可比擬的優(yōu)越性。2012年的Alex-net在imagenet的比賽上大放異彩,而2015年imagenet大賽上出現(xiàn)的殘差神經(jīng)網(wǎng)絡(luò),又是卷積神經(jīng)網(wǎng)絡(luò)的一種新的變形,它讓卷積層不直接學(xué)習(xí)目標(biāo),而是轉(zhuǎn)而學(xué)習(xí)一種殘差。殘差神經(jīng)網(wǎng)絡(luò)的出現(xiàn),讓卷積網(wǎng)絡(luò)的研究又進(jìn)入了一個(gè)新的階段。本文基于傳統(tǒng)的殘差網(wǎng)絡(luò),提出了一種改進(jìn)的多尺度殘差網(wǎng)絡(luò),我們的網(wǎng)絡(luò)結(jié)構(gòu)使得卷積層能夠從多個(gè)不同的尺度“觀察”數(shù)據(jù),獲得更為豐富的輸入特征。并且縮減了網(wǎng)絡(luò)的深度,有效了抑制了梯度消失問題的發(fā)生,減小了訓(xùn)練難度。同時(shí)增加了可訓(xùn)練參數(shù)的數(shù)量,使得網(wǎng)絡(luò)的學(xué)習(xí)能力變得強(qiáng)。我們通過調(diào)整縮放參數(shù),網(wǎng)絡(luò)深度,每組學(xué)習(xí)模塊的數(shù)量,dropout的位置及取值,使得我們的網(wǎng)絡(luò)結(jié)構(gòu)的準(zhǔn)確率比傳統(tǒng)的殘差神經(jīng)網(wǎng)絡(luò)有了明顯的提升。最后,我們使用了相對(duì)多數(shù)投票的集成學(xué)習(xí)方法,將網(wǎng)絡(luò)在CIFAR-10上的分類錯(cuò)誤率降低到3.49%,相對(duì)于原始的殘差神經(jīng)網(wǎng)絡(luò),錯(cuò)誤率下降了3%。
[Abstract]:Biological neural networks are composed of massive neurons connected by dendrites and axons, which can be continuously studied and evolved. Artificial neural networks are based on the basic principles of neural networks in biology and are based on the knowledge of network topology. A mathematical model that simulates the processing mechanism of the human brain's nervous system to external information. After a period of rapid development in the late last century, the study of artificial neural networks has been restricted by various conditions. Deep learning is based on artificial neural network, a deeper and more complex network model. In recent years, due to the rapid development of computer technology, especially the improvement of hardware, The training time of deep neural network is greatly reduced, and deep learning has become a research hotspot. In the fields of digital recognition, speech recognition, unmanned driving, image recognition and so on, Deep learning technology is widely used. The new generation of artificial intelligence technology, represented by deep learning, is gradually infiltrating into people's lives. As a representative of deep learning technology, convolution neural network has made rapid development in recent years. Convolutional neural network is a special kind of deep neural network. It contains special convolution layer and down-sampling layer. The neurons of the convolutional layer and the previous layer are connected by local connection and weight sharing, which greatly reduces the number of parameters that need to be trained. The complexity of the network is reduced, the network is more robust, and the over-fitting problem can be effectively suppressed. These designs make the convolutional neural network recognize scaling. The task of displacement and other forms of distorted two-dimensional graphics has unparalleled advantages. In 2012, Alex-net made a splash in the imagenet competition, and in the 2015 imagenet contest, the residual neural network emerged. It is a new kind of deformation of convolutional neural network, which makes the convolution layer not learn the target directly, but instead learn a kind of residuals. In this paper, an improved multi-scale residual network is proposed based on the traditional residuals network. Our network structure enables the convolution layer to "observe" data from many different scales. More abundant input features are obtained, and the depth of the network is reduced, the occurrence of the gradient vanishing problem is effectively restrained, and the difficulty of training is reduced. At the same time, the number of trainable parameters is increased. Make the learning ability of the network strong. We can adjust the scaling parameters, the depth of the network, the number of learning modules in each group and the location and value of dropout. This makes our network structure more accurate than the traditional residuals neural network. Finally, we use the ensemble learning method of relative majority voting. The classification error rate of the network on CIFAR-10 is reduced to 3.49. Compared with the original residual neural network, the error rate is reduced by 3%.
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報(bào);2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

8 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

相關(guān)會(huì)議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報(bào);2003年

4 中國科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國際先進(jìn)水平[N];中國電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號(hào)：1647550