本文關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí) 網(wǎng)絡(luò)結(jié)構(gòu) 訓(xùn)練方法 領(lǐng)域數(shù)據(jù)　出處：《計算機(jī)學(xué)報》2017年06期 　論文類型：期刊論文

【摘要】：作為一個十余年來快速發(fā)展的嶄新領(lǐng)域,深度學(xué)習(xí)受到了越來越多研究者的關(guān)注,它在特征提取和建模上都有著相較于淺層模型顯然的優(yōu)勢.深度學(xué)習(xí)善于從原始輸入數(shù)據(jù)中挖掘越來越抽象的特征表示,而這些表示具有良好的泛化能力.它克服了過去人工智能中被認(rèn)為難以解決的一些問題.且隨著訓(xùn)練數(shù)據(jù)集數(shù)量的顯著增長以及芯片處理能力的劇增,它在目標(biāo)檢測和計算機(jī)視覺、自然語言處理、語音識別和語義分析等領(lǐng)域成效卓然,因此也促進(jìn)了人工智能的發(fā)展.深度學(xué)習(xí)是包含多級非線性變換的層級機(jī)器學(xué)習(xí)方法,深層神經(jīng)網(wǎng)絡(luò)是目前的主要形式,其神經(jīng)元間的連接模式受啟發(fā)于動物視覺皮層組織,而卷積神經(jīng)網(wǎng)絡(luò)則是其中一種經(jīng)典而廣泛應(yīng)用的結(jié)構(gòu).卷積神經(jīng)網(wǎng)絡(luò)的局部連接、權(quán)值共享及池化操作等特性使之可以有效地降低網(wǎng)絡(luò)的復(fù)雜度,減少訓(xùn)練參數(shù)的數(shù)目,使模型對平移、扭曲、縮放具有一定程度的不變性,并具有強(qiáng)魯棒性和容錯能力,且也易于訓(xùn)練和優(yōu)化.基于這些優(yōu)越的特性,它在各種信號和信息處理任務(wù)中的性能優(yōu)于標(biāo)準(zhǔn)的全連接神經(jīng)網(wǎng)絡(luò).該文首先概述了卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史,然后分別描述了神經(jīng)元模型、多層感知器的結(jié)構(gòu).接著,詳細(xì)分析了卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),包括卷積層、池化層、全連接層,它們發(fā)揮著不同的作用.然后,討論了網(wǎng)中網(wǎng)模型、空間變換網(wǎng)絡(luò)等改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò).同時,還分別介紹了卷積神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)訓(xùn)練方法以及一些常用的開源工具.此外,該文以圖像分類、人臉識別、音頻檢索、心電圖分類及目標(biāo)檢測等為例,對卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用作了歸納.卷積神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)的集成是一個途徑.為了給讀者以盡可能多的借鑒,該文還設(shè)計并試驗了不同參數(shù)及不同深度的卷積神經(jīng)網(wǎng)絡(luò)來分析各參數(shù)間的相互關(guān)系及不同參數(shù)設(shè)置對結(jié)果的影響.最后,給出了卷積神經(jīng)網(wǎng)絡(luò)及其應(yīng)用中待解決的若干問題.
[Abstract]:As a new field of rapid development in the past ten years, in-depth learning has attracted more and more researchers' attention. It has obvious advantages over shallow model in feature extraction and modeling. Depth learning is good at mining more and more abstract feature representations from raw input data. These representations have a good generalization ability. They overcome some of the problems that used to be difficult to solve in artificial intelligence. And with the significant increase in the number of training data sets and the rapid increase in chip processing power, It has been effective in target detection and computer vision, natural language processing, speech recognition and semantic analysis, thus promoting the development of artificial intelligence. Deep neural network is the main form at present. The connection pattern between neurons is inspired by animal visual cortical tissue, and convolutional neural network is one of the classical and widely used structures. The characteristics of weight sharing and pool operation can effectively reduce the complexity of the network, reduce the number of training parameters, make the model invariant to a certain extent for translation, distortion and scaling, and have strong robustness and fault-tolerant ability. It is also easy to train and optimize. Based on these advantages, it performs better than standard fully connected neural networks in various signal and information processing tasks. In this paper, the development history of convolutional neural networks is first summarized. Then we describe the neuron model and the structure of multilayer perceptron respectively. Then, we analyze the structure of convolutional neural network in detail, including convolution layer, pool layer, full junction layer, which play different roles. In this paper, the improved convolution neural networks such as network model and spatial transformation network are discussed. At the same time, the supervised learning, unsupervised learning training methods and some common open source tools of convolutional neural networks are also introduced. This paper takes image classification, face recognition, audio retrieval, ECG classification and target detection as examples. The application of convolution neural network is summarized. The integration of convolutional neural network and recurrent neural network is a way. In this paper, convolution neural networks with different parameters and different depths are designed and tested to analyze the relationship between the parameters and the effects of different parameter settings on the results. Finally, some problems to be solved in the convolution neural network and its application are given.
【作者單位】： 中國科學(xué)院蘇州納米技術(shù)與納米仿生研究所;中國科學(xué)院大學(xué);
【分類號】：TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 周飛燕;金林鵬;董軍;;基于集成學(xué)習(xí)的室性早博識別方法[J];電子學(xué)報;2017年02期

2 常亮;鄧小明;周明全;武仲科;袁野;楊碩;王宏安;;圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J];自動化學(xué)報;2016年09期

3 李紅;劉芳;楊淑媛;張凱;;基于深度支撐值學(xué)習(xí)網(wǎng)絡(luò)的遙感圖像融合[J];計算機(jī)學(xué)報;2016年08期

4 高君宇;楊小汕;張?zhí)熘?徐常勝;;基于深度學(xué)習(xí)的魯棒性視覺跟蹤方法[J];計算機(jī)學(xué)報;2016年07期

5 金林鵬;董軍;;面向臨床心電圖分析的深層學(xué)習(xí)算法[J];中國科學(xué):信息科學(xué);2015年03期

6 劉建偉;劉媛;羅雄麟;;玻爾茲曼機(jī)研究進(jìn)展[J];計算機(jī)研究與發(fā)展;2014年01期

7 余凱;賈磊;陳雨強(qiáng);徐偉;;深度學(xué)習(xí)的昨天、今天和明天[J];計算機(jī)研究與發(fā)展;2013年09期

相關(guān)博士學(xué)位論文 前1條

1 胡曉娟;中醫(yī)脈診信號感知與計算機(jī)輔助識別研究[D];華東師范大學(xué);2013年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 涂中文;趙艷明;宋金寶;;基于自動編碼器的語音音色客觀評價[J];中國傳媒大學(xué)學(xué)報(自然科學(xué)版);2017年04期

2 Linpeng JIN;Jun DONG;;Classification of normal and abnormal ECG records using lead convolutional neural network and rule inference[J];Science China(Information Sciences);2017年07期

3 黃壽喜;邱衛(wèi)根;;基于改進(jìn)的深度信念網(wǎng)絡(luò)的人臉表情識別[J];計算機(jī)工程與設(shè)計;2017年06期

4 劉全;翟建偉;鐘珊;章宗長;周倩;章鵬;;一種基于視覺注意力機(jī)制的深度循環(huán)Q網(wǎng)絡(luò)模型[J];計算機(jī)學(xué)報;2017年06期

5 宋超;許道云;秦永彬;;分離多路卷積神經(jīng)網(wǎng)絡(luò)研究[J];計算機(jī)工程;2017年06期

6 史佳琪;張建華;;基于深度學(xué)習(xí)的超短期光伏精細(xì)化預(yù)測模型研究[J];電力建設(shè);2017年06期

7 劉世蕾;崔曉明;聶茹;;DBM-ELM深層網(wǎng)絡(luò)模型[J];南京大學(xué)學(xué)報(自然科學(xué));2017年03期

8 顧亞風(fēng);葉學(xué)義;夏經(jīng)文;夏胡云;;基于卷積神經(jīng)網(wǎng)絡(luò)的古玩圖片分類方法[J];軟件導(dǎo)刊;2017年05期

9 沈忠華;;新技術(shù)視域下的教育大數(shù)據(jù)與教育評估新探——兼論區(qū)塊鏈技術(shù)對在線教育評估的影響[J];遠(yuǎn)程教育雜志;2017年03期

10 劉晨;曲長文;周強(qiáng);李智;;一種卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法[J];艦船電子工程;2017年05期

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王宇霞;趙清杰;蔡藝明;王博;;基于自重構(gòu)粒子濾波算法的目標(biāo)跟蹤[J];計算機(jī)學(xué)報;2016年07期

2 余淼;胡占義;;高階馬爾科夫隨機(jī)場及其在場景理解中的應(yīng)用[J];自動化學(xué)報;2015年07期

3 金林鵬;董軍;;面向臨床心電圖分析的深層學(xué)習(xí)算法[J];中國科學(xué):信息科學(xué);2015年03期

4 黃凱奇;陳曉棠;康運鋒;譚鐵牛;;智能視頻監(jiān)控技術(shù)綜述[J];計算機(jī)學(xué)報;2015年06期

5 楊瑩;吳誠煒;胡蘇;;基于受限玻爾茲曼機(jī)的中文文檔分類[J];科技創(chuàng)新導(dǎo)報;2012年16期

6 肖國強(qiáng);康勤;江健民;張貝貝;;基于中心宏塊的視頻目標(biāo)跟蹤算法[J];計算機(jī)學(xué)報;2011年09期

7 楊向林;嚴(yán)洪;許志;任兆瑞;宋晉忠;姚宇華;李延軍;;基于Hilbert-Huang變換的ECG消噪[J];電子學(xué)報;2011年04期

8 趙志宏;楊紹普;馬增強(qiáng);;基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識別研究[J];系統(tǒng)仿真學(xué)報;2010年03期

9 云廷進(jìn);郭永彩;高潮;;基于粒子Mean Shift遷移的紅外人體目標(biāo)跟蹤算法[J];計算機(jī)學(xué)報;2009年06期

10 黃福珍,蘇劍波;基于Level Set方法的人臉輪廓提取與跟蹤[J];計算機(jī)學(xué)報;2003年04期

相關(guān)博士學(xué)位論文 前2條

1 張嘉偉;心電圖形態(tài)特征的識別及其在分類中的作用研究[D];華東師范大學(xué);2011年

2 韓清鵬;脈搏信號的非線性分析及其不同情緒和環(huán)境的影響研究[D];浙江大學(xué);2007年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

2 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

3 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報;2003年02期

4 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計算機(jī)工程與應(yīng)用;2004年21期

5 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

6 周麗暉;從統(tǒng)計角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計教育;2005年06期

7 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計算機(jī)信息;2005年14期

8 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

9 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報;2006年03期

10 楊鐘瑾;;神經(jīng)網(wǎng)絡(luò)的過去、現(xiàn)在和將來[J];青年探索;2006年04期

相關(guān)會議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

5 鐘義信;;知識論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動化會議論文集（第七分冊）[南京理工大學(xué)學(xué)報（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會議論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 美國明尼蘇達(dá)大學(xué)社會學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報;2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報;2003年

4 中國科技大學(xué)計算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日報;2007年

6 本報記者 劉霞;美用DNA制造出首個人造神經(jīng)網(wǎng)絡(luò)[N];科技日報;2011年

7 健康時報特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時報;2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國際先進(jìn)水平[N];中國電子報;2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報;2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報;2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時間序列預(yù)測方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計算的神經(jīng)網(wǎng)絡(luò)并行實現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時間序列預(yù)測算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測研究與系統(tǒng)實現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號：1554525