基于混合maxout單元的卷積神經(jīng)網(wǎng)絡(luò)性能優(yōu)化
本文選題:深度學(xué)習(xí) + 卷積神經(jīng)網(wǎng)絡(luò); 參考:《通信學(xué)報(bào)》2017年07期
【摘要】:針對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)中maxout單元非最大特征無(wú)法傳遞、特征圖像子空間池化表達(dá)能力不足的局限性,提出混合maxout(mixout,mixed maxout)單元。首先,計(jì)算相同輸入在不同卷積變換下所形成的特征圖像子空間的指數(shù)概率分布;其次,根據(jù)概率分布計(jì)算特征圖像子空間的期望;最后,利用伯努利分布對(duì)子空間的最大值與期望值加權(quán),均衡單元模型。分別構(gòu)建基于mixout單元的簡(jiǎn)單模型和網(wǎng)中網(wǎng)模型進(jìn)行實(shí)驗(yàn),結(jié)果表明mixout單元模型性能較好。
[Abstract]:Aiming at the limitation that the non-maximum feature of maxout element can not be transferred in the deep convolution neural network and the ability of the subspace of the feature image is insufficient, a mixed maxoutum mixed mixed maxout) unit is proposed. First, the exponential probability distribution of the feature image subspace formed by the same input under different convolution transformation is calculated. Secondly, the expectation of the feature image subspace is calculated according to the probability distribution. The Bernoulli distribution is used to weigh the maximum value and expected value of subspace to equalize the element model. A simple model based on mixout unit and a net-in-network model are constructed for experiments. The results show that the performance of mixout cell model is good.
【作者單位】: 空軍工程大學(xué)防空反導(dǎo)學(xué)院;
【基金】:國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61601499)~~
【分類(lèi)號(hào)】:TP183;TP391.41
【參考文獻(xiàn)】
相關(guān)期刊論文 前2條
1 周昌令;欒興龍;肖建國(guó);;基于深度學(xué)習(xí)的域名查詢(xún)行為向量空間嵌入[J];通信學(xué)報(bào);2016年03期
2 楊釗;陶大鵬;張樹(shù)業(yè);金連文;;大數(shù)據(jù)下的基于深度神經(jīng)網(wǎng)的相似漢字識(shí)別[J];通信學(xué)報(bào);2014年09期
【共引文獻(xiàn)】
相關(guān)期刊論文 前8條
1 楊杰;楊振南;;基于改進(jìn)的CNN多級(jí)分類(lèi)的行人檢測(cè)算法研究[J];計(jì)算機(jī)應(yīng)用與軟件;2017年08期
2 趙慧珍;劉付顯;李龍躍;羅暢;;基于混合maxout單元的卷積神經(jīng)網(wǎng)絡(luò)性能優(yōu)化[J];通信學(xué)報(bào);2017年07期
3 覃科;劉曉剛;丁立新;;基于卷積神經(jīng)網(wǎng)絡(luò)的CO_2焊接熔池圖像狀態(tài)識(shí)別方法[J];焊接;2017年06期
4 田喜平;趙紅丹;;一種用于漢字識(shí)別的字形編碼系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];現(xiàn)代電子技術(shù);2017年02期
5 金連文;鐘卓耀;楊釗;楊維信;謝澤澄;孫俊;;深度學(xué)習(xí)在手寫(xiě)漢字識(shí)別中的應(yīng)用綜述[J];自動(dòng)化學(xué)報(bào);2016年08期
6 楊頤;張桂剛;王健;黃衛(wèi)星;蘇海霞;;基于云計(jì)算的漢字文化數(shù)字化平臺(tái)的架構(gòu)研究[J];計(jì)算機(jī)科學(xué);2016年07期
7 馮通;;基于深度學(xué)習(xí)的航空飛行器故障自助檢測(cè)研究[J];計(jì)算機(jī)仿真;2015年11期
8 顧桓;田紅;高妍;;一種基于云平臺(tái)的包裝印刷設(shè)備增值服務(wù)系統(tǒng)[J];包裝工程;2015年15期
【二級(jí)參考文獻(xiàn)】
相關(guān)期刊論文 前1條
1 袁春陽(yáng);李青山;王永建;;基于行為與域名查詢(xún)關(guān)聯(lián)的僵尸網(wǎng)絡(luò)聚類(lèi)聯(lián)動(dòng)監(jiān)測(cè)[J];計(jì)算機(jī)應(yīng)用研究;2012年03期
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 曠章輝;王甲海;周雅蘭;;用改進(jìn)的競(jìng)爭(zhēng)Hopfield神經(jīng)網(wǎng)絡(luò)求解多邊形近似問(wèn)題[J];計(jì)算機(jī)科學(xué);2009年03期
2 高永建 ,吳健康;神經(jīng)網(wǎng)絡(luò)及其識(shí)別應(yīng)用簡(jiǎn)介[J];電信科學(xué);1990年02期
3 謝國(guó)梁;;神經(jīng)網(wǎng)絡(luò):從希望到現(xiàn)實(shí)[J];激光與光電子學(xué)進(jìn)展;1991年01期
4 鄭士貴;文獻(xiàn)自動(dòng)閱讀神經(jīng)網(wǎng)絡(luò)[J];管理科學(xué)文摘;1996年08期
5 呂芬;趙生妹;;基于Hopfield神經(jīng)網(wǎng)絡(luò)的噪聲字母識(shí)別[J];計(jì)算機(jī)與信息技術(shù);2005年12期
6 李毅;童紅俊;宋貴寶;李冬;;神經(jīng)網(wǎng)絡(luò)在飛行器航跡仿真計(jì)算中的應(yīng)用[J];海軍航空工程學(xué)院學(xué)報(bào);2006年05期
7 林鋼;;基于SOM神經(jīng)網(wǎng)絡(luò)對(duì)潛在客戶(hù)的挖掘[J];南寧職業(yè)技術(shù)學(xué)院學(xué)報(bào);2006年04期
8 楊帆;陳勁杰;唐梅華;陳鑫;;簡(jiǎn)論神經(jīng)網(wǎng)絡(luò)在搜索中的應(yīng)用[J];機(jī)械管理開(kāi)發(fā);2008年01期
9 朱紅斌;;LVQ神經(jīng)網(wǎng)絡(luò)在交通事件檢測(cè)中的應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2008年34期
10 李彤巖;李興明;;神經(jīng)網(wǎng)絡(luò)在確定關(guān)聯(lián)規(guī)則挖掘算法權(quán)值中的應(yīng)用研究[J];計(jì)算機(jī)應(yīng)用研究;2008年05期
相關(guān)會(huì)議論文 前10條
1 陳文新;王長(zhǎng)富;戴蓓倩;;基于神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)四聲識(shí)別[A];第一屆全國(guó)語(yǔ)言識(shí)別學(xué)術(shù)報(bào)告與展示會(huì)論文集[C];1990年
2 李睿;李明軍;;一種模糊高斯基神經(jīng)網(wǎng)絡(luò)在數(shù)值逼近上的仿真[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展——全國(guó)第17屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用(CACIS)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2006年
3 許旭萍;臧道青;;采用Hopfield神經(jīng)網(wǎng)絡(luò)實(shí)施缸蓋表面點(diǎn)陣字符識(shí)別[A];第十五屆全國(guó)汽車(chē)檢測(cè)技術(shù)年會(huì)論文集[C];2011年
4 朱長(zhǎng)春;;神經(jīng)網(wǎng)絡(luò)用于線性時(shí)固有系統(tǒng)的廣義狀態(tài)轉(zhuǎn)移矩陣的識(shí)別[A];中國(guó)工程物理研究院科技年報(bào)(1999)[C];1999年
5 王玉斌;李永明;王穎;;用數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)技術(shù)預(yù)測(cè)工程造價(jià)[A];第十一屆全國(guó)電工數(shù)學(xué)學(xué)術(shù)年會(huì)論文集[C];2007年
6 應(yīng)捷;袁一方;;神經(jīng)網(wǎng)絡(luò)指紋特征點(diǎn)匹配算法的改進(jìn)[A];2007'中國(guó)儀器儀表與測(cè)控技術(shù)交流大會(huì)論文集(二)[C];2007年
7 謝小良;符卓;;基于Hopfield神經(jīng)網(wǎng)絡(luò)的單周期船舶調(diào)度模型及算法[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年
8 陳意;;神經(jīng)網(wǎng)絡(luò)在船舶識(shí)別一個(gè)應(yīng)用[A];船舶航泊安全的新經(jīng)驗(yàn)新技術(shù)論文集(上冊(cè))[C];2007年
9 王輝;楊杰;黎明;蔡念;;一種基于神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原方法[A];2006年全國(guó)光電技術(shù)學(xué)術(shù)交流會(huì)會(huì)議文集(D 光電信息處理技術(shù)專(zhuān)題)[C];2006年
10 賈睿;徐啟強(qiáng);劉艷;;基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)殼結(jié)構(gòu)近似分析研究[A];第二十一屆全國(guó)振動(dòng)與噪聲高技術(shù)及應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2008年
相關(guān)重要報(bào)紙文章 前1條
1 中國(guó)科技大學(xué)計(jì)算機(jī)系 邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類(lèi)大腦[N];計(jì)算機(jī)世界;2003年
相關(guān)博士學(xué)位論文 前10條
1 李曉剛;基于神經(jīng)網(wǎng)絡(luò)的碼垛機(jī)器人視覺(jué)位姿測(cè)量及伺服控制研究[D];北京林業(yè)大學(xué);2015年
2 戶(hù)保田;基于深度神經(jīng)網(wǎng)絡(luò)的文本表示及其應(yīng)用[D];哈爾濱工業(yè)大學(xué);2016年
3 沈旭;基于序列深度學(xué)習(xí)的視頻分析:建模表達(dá)與應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2017年
4 諸勇;正交回歸神經(jīng)網(wǎng)絡(luò)及其在控制系統(tǒng)中的應(yīng)用[D];浙江大學(xué);1998年
5 田景文;地下油藏的仿真與預(yù)測(cè)[D];哈爾濱工程大學(xué);2001年
6 彭宏京;基于稀疏RAM的神經(jīng)網(wǎng)絡(luò)及其人臉識(shí)別應(yīng)用研究[D];南京航空航天大學(xué);2002年
7 王吉權(quán);BP神經(jīng)網(wǎng)絡(luò)的理論及其在農(nóng)業(yè)機(jī)械化中的應(yīng)用研究[D];沈陽(yáng)農(nóng)業(yè)大學(xué);2011年
8 郭海湘;石油儲(chǔ)層縱向預(yù)測(cè)軟硬計(jì)算融合的理論與方法研究[D];中國(guó)地質(zhì)大學(xué);2008年
9 葛利;基于過(guò)程神經(jīng)網(wǎng)絡(luò)的時(shí)序數(shù)據(jù)挖掘研究[D];哈爾濱工程大學(xué);2012年
10 柴冰華;色貌模型CIECAM02若干問(wèn)題的研究[D];北京理工大學(xué);2006年
相關(guān)碩士學(xué)位論文 前10條
1 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年
2 蔡邦宇;人臉識(shí)別中單次ERP時(shí)空特征分析及其快速檢索的應(yīng)用[D];浙江大學(xué);2015年
3 鄭川;垃圾評(píng)論檢測(cè)算法的研究[D];西南交通大學(xué);2015年
4 汪濟(jì)民;基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)和性別識(shí)別研究[D];南京理工大學(xué);2015年
5 彭玲玲;基于不確定理論與機(jī)器學(xué)習(xí)的行人檢測(cè)[D];長(zhǎng)安大學(xué);2015年
6 楊陳東;BP-Fisher判別分析法[D];長(zhǎng)安大學(xué);2015年
7 孟鑫;基于Hadoop云平臺(tái)下的客流量預(yù)測(cè)研究[D];長(zhǎng)安大學(xué);2015年
8 張勇;深度卷積神經(jīng)網(wǎng)絡(luò)在車(chē)牌和人臉檢測(cè)領(lǐng)域的應(yīng)用研究[D];鄭州大學(xué);2015年
9 宋璐璐;財(cái)經(jīng)職業(yè)技術(shù)學(xué)院票務(wù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安工業(yè)大學(xué);2015年
10 陳銳浩;基于神經(jīng)網(wǎng)絡(luò)的口令屬性分析工具開(kāi)發(fā)[D];上海交通大學(xué);2015年
,本文編號(hào):1816919
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/1816919.html