【摘要】：機(jī)器學(xué)習(xí)算法對(duì)于人工智能系統(tǒng)具有重要的理論和實(shí)際意義。近十年來(lái),以深層神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法和模型在特征選擇與學(xué)習(xí)任務(wù)中取得了引人注目的成就,在圖像識(shí)別、語(yǔ)音識(shí)別、機(jī)器翻譯等多個(gè)領(lǐng)域取得了突破性的進(jìn)展,在部分任務(wù)中的數(shù)據(jù)處理能力甚至超越了人工水平。深層神經(jīng)網(wǎng)絡(luò)模型在人工智能應(yīng)用中表現(xiàn)出了卓越的性能,但是在特征稀疏性、尺度不變性、多通道協(xié)變量偏移、頻域特征選擇能力等方面仍存在一些難以解決的問(wèn)題。圍繞上述技術(shù)難題,本文在前人工作的基礎(chǔ)上,展開(kāi)了相關(guān)研究,并取得了一些有意義的成果。主要的研究工作和創(chuàng)新點(diǎn)如下:1、對(duì)DropConnect算法進(jìn)行了擴(kuò)展,改進(jìn)了掩碼生成策略,使得掩碼的生成函數(shù)依賴(lài)于上一層神經(jīng)元的輸出值,從而使得神經(jīng)網(wǎng)絡(luò)模型能夠根據(jù)神經(jīng)元輸出值的稀疏度,動(dòng)態(tài)決定神經(jīng)元連接的丟棄概率。改進(jìn)后的模型具有了對(duì)稀疏特征進(jìn)行選擇的能力。實(shí)驗(yàn)結(jié)果表明,新算法輸出特征稀疏度大幅提高122.7%以上。此外,識(shí)別精度也有一定提高。2、對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的尺度不變性進(jìn)行了研究,提出了一種尺度不變卷積神經(jīng)網(wǎng)絡(luò)模型,能夠自動(dòng)適應(yīng)輸入圖像在平面空間上的尺度變化。同時(shí),在卷積層中嵌套多層Maxout網(wǎng)絡(luò),以進(jìn)一步提高特征擬合與提取的能力。實(shí)驗(yàn)結(jié)果表明,相比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型,新模型各層尺度不變性增幅為8.2%—20.1%,識(shí)別錯(cuò)誤率降幅達(dá)13.1%以上。3、為解決多通道神經(jīng)網(wǎng)絡(luò)模型中的跨通道協(xié)變量偏移問(wèn)題,將單通道的批量歸一化算法推廣到了多通道的情況下,提出了一種跨通道批量歸一化算法。完整的推導(dǎo)了跨通道批量歸一化算法的前向和反向傳播過(guò)程,并在深度殘差模型中進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,應(yīng)用新算法以后,訓(xùn)練過(guò)程中神經(jīng)元激活值的分布情況變化的更為穩(wěn)定,識(shí)別錯(cuò)誤率降低了 4.0%左右。4、針對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型頻域特征提取能力不足的問(wèn)題,將頻域?yàn)V波操作加入到卷積層中,提出了一種具有頻域特征選擇能力的卷積神經(jīng)網(wǎng)絡(luò)模型。新模型加強(qiáng)了對(duì)于特定頻段信號(hào)特征的提取能力,從而提高了識(shí)別精度。經(jīng)實(shí)驗(yàn)驗(yàn)證,在GTSRB數(shù)據(jù)集上,識(shí)別錯(cuò)誤率從6.69%降至3.17%,效果明顯。綜上,本文對(duì)于深層神經(jīng)網(wǎng)絡(luò)的特征稀疏性、尺度不變性等多方面的問(wèn)題進(jìn)行研究。所得成果在應(yīng)用于圖像識(shí)別任務(wù)時(shí),取得了良好的改進(jìn)效果。
[Abstract]:Machine learning algorithm has important theoretical and practical significance for artificial intelligence system. In the past decade, deep learning algorithms and models represented by deep neural networks have made remarkable achievements in feature selection and learning tasks, and have made breakthrough progress in many fields such as image recognition, speech recognition, machine translation and so on. In some tasks, the data processing ability is even higher than the human level. Deep neural network model has shown excellent performance in the application of artificial intelligence, but there are still some difficult problems in the aspects of feature sparsity, scale invariance, multi-channel covariant migration, frequency domain feature selection ability and so on. On the basis of previous work, the related research is carried out and some meaningful results are obtained. The main research work and innovations are as follows: 1. The DropConnect algorithm is extended and the mask generation strategy is improved so that the mask generation function depends on the output value of the upper layer neurons. Thus, the neural network model can dynamically determine the discard probability of the neuron connection according to the rarefaction of the output value of the neuron. The improved model has the ability to select sparse features. The experimental results show that the output feature sparsity of the new algorithm is greatly increased by more than 122.7%. In addition, the recognition accuracy is also improved. 2. The scale invariance of the convolution neural network model is studied, and a scale invariant convolution neural network model is proposed, which can automatically adapt to the scale change of the input image in the plane space. At the same time, the multi-layer Maxout network is nested in the convolution layer to further improve the ability of feature fitting and extraction. The experimental results show that, compared with the traditional convolution neural network model, the scale invariance of each layer of the new model increases by 8.2% / 20.1%, and the recognition error rate decreases by more than 13.1%. In order to solve the problem of cross-channel covariant migration in multi-channel neural network model, the single-channel batch normalization algorithm is extended to the multi-channel case, and a cross-channel batch normalization algorithm is proposed. The forward and backward propagation processes of the cross-channel batch normalization algorithm are derived completely, and the experiments are carried out in the depth residual model. The experimental results show that after applying the new algorithm, the distribution of neuron activation value is more stable and the recognition error rate is decreased by about 4.0%. In order to solve the problem of insufficient capability of feature extraction in frequency domain, a convolution neural network model with the ability of feature selection in frequency domain is proposed by adding the filtering operation in frequency domain to the convolution layer. The new model improves the recognition accuracy by enhancing the extraction ability of signal features in specific frequency bands. The experimental results show that the recognition error rate is decreased from 6.69% to 3.17% on the GTSRB data set, and the effect is obvious. In summary, this paper studies the characteristic sparsity, scale invariance and other aspects of deep neural networks. The results obtained in this paper have been applied to the image recognition task, and a good improvement effect has been achieved.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP391.41;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來(lái)自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長(zhǎng)沙鐵道學(xué)院學(xué)報(bào);2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類(lèi)工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

8 趙奇 ,劉開(kāi)第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過(guò)去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

相關(guān)會(huì)議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹(shù)德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛(ài)克;馬盡文;丁康;;序言(二)[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國(guó)神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩(shī)武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國(guó)心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬(wàn)強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國(guó)設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國(guó)明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國(guó)家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國(guó)教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國(guó)紡織報(bào);2003年

4 中國(guó)科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類(lèi)大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開(kāi)復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國(guó)際先進(jìn)水平[N];中國(guó)電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過(guò)鑒定[N];中國(guó)船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 連自鋒;基于深層神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法研究[D];北京郵電大學(xué);2017年

2 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

3 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無(wú)線通信算法研究[D];山東大學(xué);2015年

4 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類(lèi)時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

5 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究[D];大連理工大學(xué);2015年

6 付愛(ài)民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國(guó)農(nóng)業(yè)大學(xué);2015年

7 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國(guó)礦業(yè)大學(xué);2015年

8 王衛(wèi)蘋(píng);復(fù)雜網(wǎng)絡(luò)幾類(lèi)同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

9 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

10 李艷晴;風(fēng)速時(shí)間序列預(yù)測(cè)算法研究[D];北京科技大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測(cè)的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測(cè)及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類(lèi)研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測(cè)研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測(cè)研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類(lèi)時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類(lèi)時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號(hào)：2461893