本文關(guān)鍵詞：深度卷積神經(jīng)網(wǎng)絡(luò)中基于序的池化方法研究　出處：《鄭州大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 池化 深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 圖像分類 人群計(jì)數(shù)

【摘要】：在深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNNs)中,池化是一個(gè)關(guān)鍵機(jī)制,有利于CNNs獲得具有平移不變性的特征。大量的經(jīng)驗(yàn)和理論研究表明,池化能夠有效的提升CNNs的性能。傳統(tǒng)的池化操作一般是基于激活值的。本文提出一種基于序的池化機(jī)制。提出這種池化方法的動(dòng)機(jī)是,在池化域內(nèi),激活值的序只與激活值的大小關(guān)系有關(guān),而與其實(shí)際大小無(wú)關(guān)�；诩せ钪档男蛴�(jì)算池化輸出有利于獲得更加魯棒的特征。此外,通過合理的使用激活值的序能夠有效地避免基于值的方法所面臨的數(shù)據(jù)尺度問題�；谛虻某鼗椒ǹ梢砸暈橐环N加權(quán)池化,也就是將池化域內(nèi)所有激活值的加權(quán)和作為池化輸出。根據(jù)加權(quán)方式的不同,本文提出三種新的池化操作:基于序的平均池化、基于序的加權(quán)池化和基于序的隨機(jī)池化。作為另外一個(gè)重要貢獻(xiàn),本文引入判別熵的概念,提出一種評(píng)估池化方法判別能力的準(zhǔn)則。在圖像識(shí)別和人群計(jì)數(shù)兩個(gè)計(jì)算機(jī)視覺任務(wù)上評(píng)價(jià)提出的方法。在圖像識(shí)別任務(wù)上,四個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集(MNIST、CIFAR-10、CIFAR-100和NORB)上的實(shí)驗(yàn)結(jié)果表明,提出的基于序的池化方法相比于已有方法有更好的識(shí)別表現(xiàn)。為了進(jìn)一步展示提出方法的優(yōu)越性,將基于序的隨機(jī)池化方法與NIN(Network-inNetwork)網(wǎng)絡(luò)結(jié)合,在CIFAR-10和CIFAR-100數(shù)據(jù)集上獲得了更加優(yōu)異的識(shí)別效果。在人群計(jì)數(shù)任務(wù)上,針對(duì)攝像機(jī)透視效果、圖像背景、人群密度分布不均勻和行人遮擋等問題,提出一種基于序的空間金字塔池化網(wǎng)絡(luò)的人群計(jì)數(shù)方法。該方法將原圖像分成多個(gè)具有相同透視范圍的子區(qū)域并在各個(gè)子區(qū)域分別取不同尺度的子圖像塊,采用基于序的空間金字塔池化網(wǎng)絡(luò)估計(jì)子圖像塊人數(shù),然后相加所有子圖像塊人數(shù)得出原圖像人數(shù)。提出的圖像分塊方法有效地消除了攝像機(jī)透視效果和人群密度分布不均勻?qū)τ?jì)數(shù)的影響。提出的基于序的空間金字塔池化不僅能夠處理多種尺度的子圖像塊,而且解決了傳統(tǒng)池化方法易損失大量重要信息和易過擬合的問題。在UCSD標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文方法相比于傳統(tǒng)方法具有準(zhǔn)確率高和魯棒性好的優(yōu)點(diǎn)。
[Abstract]:In Convolutional Neural Networks (CNNs), pooling is a key mechanism, which is beneficial for CNNs to obtain the feature of translation invariance. A large number of empirical and theoretical studies have shown that pooling can effectively improve the performance of CNNs. Traditional pooling operations are generally based on activation values. In this paper, a pooling mechanism based on order is proposed. The motive of this pooling method is that in the pool domain, the order of the activation value is only related to the size of the activation value, but is independent of its actual size. The sequential computing pooled output based on the activation value is beneficial to obtaining more robust features. In addition, using a reasonable use of the sequence of activation values can effectively avoid the problem of data scale faced by a value based method. The pooling method based on the order can be considered as a weighted pool, that is, to weigh all the activation values in the pool domain and to be pooled output. According to the different weighting methods, this paper proposes three new pooling operations: order based average pooling, ordering based weighting pooling, and ordering based random pooling. As another important contribution, the concept of discriminant entropy is introduced in this paper, and a criterion for evaluating the discriminant ability of the pool method is proposed. The proposed method is evaluated on two computer visual tasks, which are image recognition and crowd counting. On the image recognition task, experimental results on four standard datasets (MNIST, CIFAR-10, CIFAR-100 and NORB) show that the proposed order based pooling method has better recognition performance than existing methods. In order to further demonstrate the superiority of the proposed method, a sequential randomized pool method is combined with NIN (Network-inNetwork) network to get better recognition results on CIFAR-10 and CIFAR-100 datasets. For crowd counting task, aiming at the problems of camera perspective effect, image background, uneven crowd density and pedestrian occlusion, a crowd counting method based on ordered spatial Pyramid pool network is proposed. The original image is divided into several sub regions with the same X-ray range and sub image blocks in each sub region were collected from different scales, the number of sub image blocks estimation of order space Pyramid pool based on the network, then add all the sub image blocks that number number of the original image. The proposed image segmentation method effectively eliminates the effect of the camera perspective effect and the uneven distribution of the population density on the count. The ordered spatial Pyramid pooling not only can handle multi scale sub image blocks, but also solve the problem that traditional pooling methods easily lose large amounts of important information and easily overmatch. The experimental results on the UCSD standard dataset show that the proposed method has the advantages of high accuracy and good robustness compared with the traditional method.
【學(xué)位授予單位】：鄭州大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來(lái)自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長(zhǎng)沙鐵道學(xué)院學(xué)報(bào);2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

8 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

相關(guān)會(huì)議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國(guó)神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩(shī)武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國(guó)心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬(wàn)強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國(guó)設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國(guó)明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國(guó)家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國(guó)教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國(guó)紡織報(bào);2003年

4 中國(guó)科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國(guó)際先進(jìn)水平[N];中國(guó)電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國(guó)船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無(wú)線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國(guó)農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國(guó)礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測(cè)算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 時(shí)增林;深度卷積神經(jīng)網(wǎng)絡(luò)中基于序的池化方法研究[D];鄭州大學(xué);2017年

2 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測(cè)的研究[D];華南理工大學(xué);2015年

3 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測(cè)及控制研究[D];燕山大學(xué);2015年

4 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

5 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

6 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

7 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

8 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測(cè)研究[D];華南理工大學(xué);2015年

9 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測(cè)研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

10 張韜;幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號(hào)：1346221