本文關(guān)鍵詞：基于預(yù)決策的卷積神經(jīng)網(wǎng)絡(luò)加速研究　出處：《北京工業(yè)大學(xué)》2016年碩士論文　論文類(lèi)型：學(xué)位論文

  更多相關(guān)文章： 卷積神經(jīng)網(wǎng)絡(luò) 加速 預(yù)決策 級(jí)聯(lián)分類(lèi)器 特征點(diǎn)選擇 計(jì)算代價(jià)

【摘要】：卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)目前在計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用廣泛,在圖像識(shí)別、物體檢測(cè)以及圖像分割等問(wèn)題上都取得了最優(yōu)的性能。但是CNN是深度的人工神經(jīng)網(wǎng)絡(luò),其前饋傳播需要進(jìn)行大量的卷積運(yùn)算,而且其網(wǎng)絡(luò)層數(shù)和隱藏層的網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)會(huì)隨著任務(wù)難度的增加而增加。因此,CNN過(guò)高的計(jì)算復(fù)雜度,對(duì)其在實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景中的使用產(chǎn)生了限制,如對(duì)行人和車(chē)輛進(jìn)行檢測(cè)的交通監(jiān)控等問(wèn)題;對(duì)其在計(jì)算能力較低的設(shè)備上的應(yīng)用也有很大的限制,如移動(dòng)設(shè)備等。本文主要對(duì)CNN在圖像識(shí)別和物體檢測(cè)中應(yīng)用的加速方法展開(kāi)了系統(tǒng)而深入的研究,主要包括以下內(nèi)容:1.針對(duì)CNN在二元圖像分類(lèi)和特定物體檢測(cè)問(wèn)題上的應(yīng)用,提出了一種基于預(yù)決策的卷積神經(jīng)網(wǎng)絡(luò)加速方法。該方法充分利用了CNN特征的冗余性和多層特征的判別力,建立了基于CNN的級(jí)聯(lián)分類(lèi)器,實(shí)現(xiàn)加速。在構(gòu)建級(jí)聯(lián)分類(lèi)器的過(guò)程中,對(duì)于每一階的特征選擇,提出了特征點(diǎn)選擇模型。特征點(diǎn)選擇模型充分考慮了CNN各層特征點(diǎn)的分類(lèi)能力和計(jì)算代價(jià),跨層進(jìn)行特征點(diǎn)的選擇,所選特征點(diǎn)的分類(lèi)能力和計(jì)算代價(jià)整體最優(yōu)。本文分別在CIFAR-10、Pascal VOC2007、INRIA和TRECVID等數(shù)據(jù)集上對(duì)該方法進(jìn)行了測(cè)試。實(shí)驗(yàn)表明,對(duì)于二元圖像分類(lèi)和特定物體檢測(cè)問(wèn)題,該方法在有極小性能損失的情況下,能實(shí)現(xiàn)較大的加速。另外,該方法可以與很多之前的CNN加速方法結(jié)合起來(lái)使用,實(shí)現(xiàn)更大的加速。2.對(duì)基于預(yù)決策的卷積神經(jīng)網(wǎng)絡(luò)加速方法進(jìn)行了系統(tǒng)實(shí)現(xiàn)。該系統(tǒng)主要包括:特征點(diǎn)選擇模型訓(xùn)練集提取模塊、CNN網(wǎng)絡(luò)結(jié)構(gòu)量化模塊、特征點(diǎn)選擇模型訓(xùn)練模塊、級(jí)聯(lián)分類(lèi)器建立模塊。對(duì)于深度較大和比較復(fù)雜的CNN模型,本文提出的方法在訓(xùn)練過(guò)程中時(shí)間和空間復(fù)雜度都非常大,該系統(tǒng)使用了一些實(shí)現(xiàn)技巧,大大壓縮了模型的訓(xùn)練時(shí)間和所需內(nèi)存空間。
[Abstract]:Convolutional Neural Networks (CNN) is widely used in the field of computer vision, and is widely used in image recognition. Object detection and image segmentation have achieved optimal performance, but CNN is a depth of artificial neural network, its feedforward propagation requires a large number of convolution operations. Moreover, the number of network layers and the number of network nodes in the hidden layer will increase with the increase of task difficulty. It has some limitations on the use of real-time applications, such as traffic monitoring for pedestrian and vehicle detection. There are also some limitations to the application of CNN in devices with low computing power, such as mobile devices. In this paper, the acceleration method of CNN in image recognition and object detection is studied systematically and deeply. The main contents are as follows: 1. Aiming at the application of CNN in binary image classification and specific object detection. This paper presents an accelerated method of convolution neural network based on pre-decision, which makes full use of the redundancy of CNN features and the discriminant power of multi-layer features, and establishes a cascade classifier based on CNN. Implementation of acceleration. In the process of constructing cascaded classifiers, the feature selection for each order. A feature point selection model is proposed. The feature point selection model takes into account the classification ability and computational cost of each layer of CNN feature points and selects feature points across layers. The classification ability and computational cost of the selected feature points are globally optimal. The method is tested on the data sets of INRIA and TRECVID. Experiments show that the method has minimal performance loss for binary image classification and specific object detection problems. In addition, this method can be used in conjunction with many previous CNN acceleration methods. To achieve greater acceleration. 2. A systematic implementation of the convolution neural network acceleration method based on pre-decision is carried out. The system mainly includes: feature selection model training set extraction module and CNN network structure quantization module. Feature selection model training module, cascade classifier building module. For the deeper and more complex CNN model, the proposed method in the training process in the time and space complexity is very large. The system uses some implementation techniques to greatly reduce the training time and memory space required by the model.
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP391.41;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 云中客;新的神經(jīng)網(wǎng)絡(luò)來(lái)自于仿生學(xué)[J];物理;2001年10期

2 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

3 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長(zhǎng)沙鐵道學(xué)院學(xué)報(bào);2003年02期

4 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

5 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類(lèi)工效學(xué);2004年03期

6 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

7 趙奇 ,劉開(kāi)第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

8 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

9 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過(guò)去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

10 楊鐘瑾;;神經(jīng)網(wǎng)絡(luò)的過(guò)去、現(xiàn)在和將來(lái)[J];青年探索;2006年04期

相關(guān)會(huì)議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹(shù)德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛(ài)克;馬盡文;丁康;;序言(二)[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國(guó)神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩(shī)武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國(guó)心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬(wàn)強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國(guó)設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國(guó)明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國(guó)家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國(guó)教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國(guó)紡織報(bào);2003年

4 中國(guó)科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類(lèi)大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開(kāi)復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國(guó)際先進(jìn)水平[N];中國(guó)電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過(guò)鑒定[N];中國(guó)船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無(wú)線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類(lèi)時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究[D];大連理工大學(xué);2015年

5 付愛(ài)民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國(guó)農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國(guó)礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋(píng);復(fù)雜網(wǎng)絡(luò)幾類(lèi)同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測(cè)算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測(cè)的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測(cè)及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類(lèi)研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測(cè)研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測(cè)研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類(lèi)時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類(lèi)時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號(hào)：1419523