【摘要】：隨著軟硬件技術(shù)的飛速發(fā)展和大數(shù)據(jù)時代的到來,深度學(xué)習(xí)技術(shù)在越來越多的領(lǐng)域中取得了突破性成果。而其中的卷積神經(jīng)網(wǎng)絡(luò)受生物視覺系統(tǒng)啟發(fā),將深度學(xué)習(xí)思想引入到神經(jīng)網(wǎng)絡(luò)之中,依靠自身具備的局部感受野、參數(shù)共享、降采樣和稀疏連接等特點(diǎn),近年來已成為計算機(jī)視覺領(lǐng)域和人工智能領(lǐng)域中相對活躍的研究方向。本文結(jié)合圖像的自身特點(diǎn),在卷積神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)上,論述了用于圖像分類識別任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)造方法、遷移訓(xùn)練、優(yōu)化算法和分類識別性能,其主要的工作內(nèi)容如下:(1)多數(shù)識別方法常將圖像識別任務(wù)分割為特征提取和分類識別兩個階段,識別過程中往往涉及到繁雜的圖像預(yù)處理和人工標(biāo)記特征設(shè)計,考慮到需要充分保留圖像的原始特征信息,利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了一個11層端到端的圖像分類識別模型。該識別模型可以從原始圖像中進(jìn)行特征自學(xué)習(xí),設(shè)計的分層結(jié)構(gòu)將傳統(tǒng)方法中的特征提取和分類識別兩個階段串聯(lián)融合在一起,可以進(jìn)行端到端的分類識別。最后將該模型應(yīng)用到自然場景下的車牌字符識別任務(wù)上,對比實(shí)驗驗證了該卷積模型集特征自學(xué)習(xí)和高效分類識別于一體的應(yīng)用性能。(2)針對深度卷積網(wǎng)絡(luò)訓(xùn)練過程中常出現(xiàn)的過擬合問題,構(gòu)造了若干個具有不同特征提取層的深度卷積模型,分析討論了圖像數(shù)據(jù)增強(qiáng)變換、卷積核的尺寸、梯度下降訓(xùn)練優(yōu)化算法以及Dropout丟棄層等模型調(diào)參方法對過擬合問題的影響,在不同參數(shù)的模型訓(xùn)練損失對比實(shí)驗上,驗證了最優(yōu)識別模型的抗過擬合性。(3)針對訓(xùn)練數(shù)據(jù)不足的小樣本量圖像識別問題,提出了基于卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)方法。借助大規(guī)模數(shù)據(jù)集上的預(yù)訓(xùn)練模型,根據(jù)源數(shù)據(jù)域與目標(biāo)數(shù)據(jù)域數(shù)據(jù)內(nèi)容的差異,將源數(shù)據(jù)域中的預(yù)訓(xùn)練模型分別遷移到域內(nèi)同構(gòu)和域間異構(gòu)的小規(guī)模圖像數(shù)據(jù)集上,凍結(jié)不同層的訓(xùn)練參數(shù),微調(diào)整個網(wǎng)絡(luò),并在部分小樣本量的公共數(shù)據(jù)集和自建小規(guī)模車牌字符數(shù)據(jù)集上驗證了提出方法的實(shí)驗效果。
[Abstract]:With the rapid development of software and hardware technology and the arrival of big data era, the in-depth learning technology has made a breakthrough in more and more fields. The convolutional neural network is inspired by the biological vision system, and the deep learning idea is introduced into the neural network, which depends on its own characteristics of local receptive field, parameter sharing, de-sampling and sparse connection, etc. In recent years, it has become a relatively active research direction in the field of computer vision and artificial intelligence. Based on the theory of convolution neural network, this paper discusses the construction method, migration training, optimization algorithm and classification recognition performance of the convolution neural network model for image classification and recognition. The main work is as follows: (1) most recognition methods often divide the image recognition task into two stages: feature extraction and classification recognition. The recognition process often involves complicated image preprocessing and artificial label feature design. Considering the need to fully retain the original feature information of the image, an 11-layer end-to-end image classification and recognition model is constructed by using convolution neural network. The recognition model can be used for feature self-learning from the original image. The designed hierarchical structure combines the two stages of feature extraction and classification recognition in the traditional method in series and can be used for end-to-end classification recognition. Finally, the model is applied to the license plate character recognition task in the natural scene. The experimental results show that the convolutional model can be used to integrate feature self-learning and efficient classification recognition. (2) the over-fitting problem in the training process of deep convolution network is discussed. Several depth convolution models with different feature extraction layers are constructed, and the effects of image data enhancement transformation, size of convolution kernel, gradient descent training optimization algorithm and Dropout dropping layer on overfitting are discussed. In contrast experiments of model training loss with different parameters, the anti-overfitting of the optimal recognition model is verified. (3) aiming at the problem of small sample size image recognition with insufficient training data, a transfer learning method based on convolution neural network is proposed. According to the difference between source data domain and target data domain data content, the pre-training model in source data domain is migrated to small scale image data set with isomorphism and heterogeneity in domain, according to the pre-training model on large-scale data set. The training parameters of different layers are frozen, the whole network is fine-tuned, and the experimental results of the proposed method are verified on some common data sets with small sample sizes and self-built small license plate character data sets.
【學(xué)位授予單位】：鄭州大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.41;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報;2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計算機(jī)工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計教育;2005年06期

8 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計算機(jī)信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報;2006年03期

相關(guān)會議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

5 鐘義信;;知識論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動化會議論文集（第七分冊）[南京理工大學(xué)學(xué)報（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會議論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 美國明尼蘇達(dá)大學(xué)社會學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報;2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報;2003年

4 中國科技大學(xué)計算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日報;2007年

6 本報記者 劉霞;美用DNA制造出首個人造神經(jīng)網(wǎng)絡(luò)[N];科技日報;2011年

7 記者 鄭曉春;以開發(fā)出計算機(jī)圖像識別新技術(shù)[N];科技日報;2007年

8 沈曉光邋編譯;半導(dǎo)體技術(shù)向低耗能發(fā)展[N];中國電子報;2008年

9 健康時報特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時報;2006年

10 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國際先進(jìn)水平[N];中國電子報;2001年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時間序列預(yù)測方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時間序列預(yù)測算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 段萌;基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別方法研究[D];鄭州大學(xué);2017年

2 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測的研究[D];華南理工大學(xué);2015年

3 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測及控制研究[D];燕山大學(xué);2015年

4 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

5 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

6 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

7 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

8 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測研究[D];華南理工大學(xué);2015年

9 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

10 張韜;幾類時滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號：2429641