受神經(jīng)科學(xué)啟發(fā)的計(jì)算機(jī)識(shí)別和注意模型
本文選題:計(jì)算機(jī)視覺 + 深度學(xué)習(xí) ; 參考:《清華大學(xué)》2016年博士論文
【摘要】:神經(jīng)科學(xué)對(duì)計(jì)算機(jī)視覺有很強(qiáng)的借鑒意義。人的視覺神經(jīng)系統(tǒng)具有出色的視覺感知能力,可以快速地對(duì)海量視覺輸入進(jìn)行壓縮和選擇,通過(guò)層級(jí)通路對(duì)信息進(jìn)行高效表示,利用各種復(fù)雜的神經(jīng)機(jī)制去適應(yīng)環(huán)境。在幾十年的發(fā)展歷程中,計(jì)算機(jī)視覺從神經(jīng)科學(xué)中獲得了不少靈感和啟發(fā),一些計(jì)算模型和視覺系統(tǒng)的研究有密切聯(lián)系,比如手工設(shè)計(jì)的視覺特征與神經(jīng)元的感受野、卷積神經(jīng)網(wǎng)絡(luò)與初級(jí)視皮層和層級(jí)通路、顯著性模型與視覺搜索實(shí)驗(yàn)等。本文的基本思路就是利用神經(jīng)科學(xué)的啟發(fā)去改進(jìn)和提出新的計(jì)算機(jī)視覺模型。全文內(nèi)容分為兩部分,分別對(duì)應(yīng)識(shí)別和注意這兩種視覺的基本功能。第一部分提出了一種層級(jí)遞歸結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),基于該模型對(duì)圖像分類、場(chǎng)景標(biāo)注、EEG信號(hào)識(shí)別等任務(wù)進(jìn)行了研究。這部分的啟發(fā)來(lái)自于神經(jīng)系統(tǒng)中廣泛存在的遞歸連接。第二部分從層級(jí)特征的角度出發(fā)對(duì)視覺注意力和顯著性進(jìn)行了研究,提出基于中高層特征的注意力和顯著性模型。這部分的啟發(fā)來(lái)自于對(duì)注意力研究的一些實(shí)驗(yàn)結(jié)果的總結(jié)。本文的創(chuàng)新之處在于從神經(jīng)科學(xué)的研究成果中提取對(duì)計(jì)算機(jī)視覺有用的結(jié)構(gòu)和原理,基于這些結(jié)果提出新的計(jì)算機(jī)模型,并在各種應(yīng)用任務(wù)中取得了優(yōu)異的效果。創(chuàng)新點(diǎn)主要體現(xiàn)在以下兩方面:提出了一種新型的深層遞歸結(jié)構(gòu)的模型:遞歸卷積神經(jīng)網(wǎng)絡(luò),并將該模型擴(kuò)展到多個(gè)任務(wù)的應(yīng)用中,均取得了優(yōu)異的效果。在圖像分類中,遞歸卷積神經(jīng)網(wǎng)絡(luò)在使用更少參數(shù)的情況下,取得了比其他先進(jìn)水平模型更好的性能。在場(chǎng)景標(biāo)注中,多尺度遞歸卷積神經(jīng)網(wǎng)絡(luò)以端對(duì)端的方式處理任務(wù),在準(zhǔn)確度和速度上均達(dá)到了先進(jìn)水平。我們還將模型從圖像處理擴(kuò)展到一維序列處理,并應(yīng)用于EEG信號(hào)識(shí)別,在相關(guān)的數(shù)據(jù)競(jìng)賽中取得了優(yōu)異的成績(jī)。受相關(guān)神經(jīng)科學(xué)實(shí)驗(yàn)結(jié)果的啟發(fā),從層級(jí)特征的角度對(duì)注意力的計(jì)算模型進(jìn)行了研究。利用特征選擇方法分析了各種顯著性特征對(duì)眼動(dòng)預(yù)測(cè)的貢獻(xiàn),并基于選擇結(jié)果用少數(shù)特征構(gòu)建出達(dá)到先進(jìn)水平的顯著性模型;谥懈邔犹卣魈岢隽诵碌淖⒁饬惋@著性模型,這些模型相對(duì)于傳統(tǒng)底層模型能更好地預(yù)測(cè)眼動(dòng)。本文的結(jié)果支持了利用神經(jīng)科學(xué)的啟發(fā)去改進(jìn)人工智能模型的可行性。
[Abstract]:Neuroscience is very useful for computer vision. Human visual nervous system has excellent visual perception ability, it can compress and select the massive visual input quickly, express the information efficiently through hierarchical path, and adapt to the environment by various complicated neural mechanisms. In the decades of development, computer vision has gained a lot of inspiration and inspiration from neuroscience. Some computational models are closely related to the study of visual systems, such as hand-designed visual features and neuronal receptive fields. Convolution neural network and primary visual cortex and hierarchical pathway, significant model and visual search experiments. The basic idea of this paper is to use the inspiration of neuroscience to improve and propose a new computer vision model. The content of this paper is divided into two parts, corresponding to the basic functions of recognition and attention. In the first part, a hierarchical recursive neural network is proposed. Based on the model, the tasks of image classification, scene tagging and EEG signal recognition are studied. This part of the inspiration comes from the widespread existence of recurrent connections in the nervous system. In the second part, the visual attention and salience are studied from the perspective of hierarchical features, and a model of attention and significance based on middle and high level features is proposed. This part of the inspiration comes from the summary of some experimental results of attention research. The innovation of this paper is to extract the useful structure and principle of computer vision from the research results of neuroscience. Based on these results, a new computer model is proposed, and excellent results are obtained in various application tasks. The innovations are mainly reflected in the following two aspects: a new model of deep recursive structure, recursive convolution neural network, is proposed, and the model is extended to the application of multiple tasks, and excellent results are obtained. In image classification, the recursive convolution neural network achieves better performance than other advanced level models with fewer parameters. In scene tagging, multi-scale recursive convolution neural network processes tasks in an end-to-end manner, which reaches the advanced level in accuracy and speed. We also extend the model from image processing to one-dimensional sequence processing and apply it to EEG signal recognition. Inspired by the experimental results of neuroscience, the computational model of attention was studied from the point of view of hierarchical characteristics. The contribution of various salient features to eye movement prediction is analyzed by using feature selection method. Based on the selection results, a significant model with a few features is constructed to achieve the advanced level. Based on the features of middle and high levels, a new attention and salience model is proposed, which can predict eye movement better than the traditional bottom model. The results of this paper support the feasibility of improving the artificial intelligence model with the inspiration of neuroscience.
【學(xué)位授予單位】:清華大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位授予年份】:2016
【分類號(hào)】:TP391.41
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 Tuncer I.銉r(jià)en;邵水浩;;論模型為基礎(chǔ)的信息技術(shù):計(jì)算機(jī)和系統(tǒng)理論基礎(chǔ)[J];世界科學(xué);1985年10期
2 廖建軍;;出版產(chǎn)業(yè)競(jìng)爭(zhēng)力的分層立體評(píng)價(jià)模型[J];出版科學(xué);2007年02期
3 毛亮,陳一君;聘用期的投資模型分析[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2005年02期
4 趙航,趙可心,李子奈;個(gè)人消費(fèi)行為模型分析[J];長(zhǎng)春郵電學(xué)院學(xué)報(bào);2000年03期
5 王林林,王良元;提升服務(wù)品質(zhì)的有效途徑——電信互動(dòng)服務(wù)模型分析[J];通信企業(yè)管理;2003年05期
6 謝波峰;蘭英見;;用經(jīng)濟(jì)模型分析稅務(wù)數(shù)據(jù)利用[J];每周電腦報(bào);2006年16期
7 顧橋,喻良濤,梁東;論創(chuàng)業(yè)者能力與企業(yè)成長(zhǎng)的關(guān)系[J];科技進(jìn)步與對(duì)策;2004年12期
8 楊衛(wèi)東;朱紅松;張德賢;王珂;張瑜;劉伎昭;;車載容遲網(wǎng)絡(luò)中一種基于真實(shí)軌跡的車輛移動(dòng)模型[J];計(jì)算機(jī)研究與發(fā)展;2010年S2期
9 張旭;;用加熱模型分析法矯正肌電圖測(cè)量中的偏差[J];國(guó)外醫(yī)學(xué).生物醫(yī)學(xué)工程分冊(cè);1991年04期
10 郝躍;CMOS倒相鏈瞬態(tài)對(duì)延遲模型分析[J];半導(dǎo)體學(xué)報(bào);1992年09期
相關(guān)會(huì)議論文 前10條
1 錢林曉;王一濤;;對(duì)應(yīng)試教育條件下學(xué)生學(xué)習(xí)行為的模型分析[A];2005年中國(guó)教育經(jīng)濟(jì)學(xué)年會(huì)會(huì)議論文集[C];2005年
2 高林;劉喜梅;;多模型中權(quán)值確定的新方法及其應(yīng)用[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集(第二分冊(cè))[C];2009年
3 朱萍;劉偉澤;萬(wàn)立濱;;基于實(shí)證研究的知識(shí)管理路線、方法和模型分析[A];航空工業(yè)檔案學(xué)會(huì)七屆四次理事會(huì)暨2013年度優(yōu)秀論文交流會(huì)論文集[C];2013年
4 潘潔;周宗放;;全流通下KMV模型中的違約點(diǎn)修正及實(shí)證研究[A];中國(guó)企業(yè)運(yùn)籌學(xué)[C];2009年
5 肖田元;;仿真是基于模型的活動(dòng)[A];新觀點(diǎn)新學(xué)說(shuō)學(xué)術(shù)沙龍文集37:仿真是基于模型的實(shí)驗(yàn)嗎[C];2009年
6 毛曹玨;曹銳;;兩種缺陷接地結(jié)構(gòu)的模型分析[A];2007年全國(guó)微波毫米波會(huì)議論文集(下冊(cè))[C];2007年
7 吳義忠;陳立平;張昌杰;;基于多領(lǐng)域模型分析的參數(shù)優(yōu)化研究[A];慶祝中國(guó)力學(xué)學(xué)會(huì)成立50周年暨中國(guó)力學(xué)學(xué)會(huì)學(xué)術(shù)大會(huì)’2007論文摘要集(下)[C];2007年
8 董維中;;氣體模型對(duì)鈍體高超聲速流動(dòng)數(shù)值計(jì)算影響的分析[A];第十屆全國(guó)計(jì)算流體力學(xué)會(huì)議論文集[C];2000年
9 侯建榮;黃培清;;基于Ito隨機(jī)微分方程的客戶群變動(dòng)模型分析[A];2004年中國(guó)管理科學(xué)學(xué)術(shù)會(huì)議論文集[C];2004年
10 肖婷婷;;經(jīng)典的逃稅模型及其兩周期擴(kuò)展[A];第四屆中國(guó)不確定系統(tǒng)年會(huì)論文集[C];2006年
相關(guān)重要報(bào)紙文章 前3條
1 范超;淺談如何備戰(zhàn)統(tǒng)計(jì)建模大賽[N];中國(guó)信息報(bào);2011年
2 媛萍;用模型分析企業(yè)戰(zhàn)略要素[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2002年
3 牛津大學(xué)博士 阿姆斯(RMS)風(fēng)險(xiǎn)管理公司亞太地區(qū)代表 高航;由近期亞太地區(qū)地震看巨災(zāi)風(fēng)險(xiǎn)[N];中國(guó)保險(xiǎn)報(bào);2012年
相關(guān)博士學(xué)位論文 前10條
1 李瑜;多選題認(rèn)知診斷測(cè)驗(yàn)編制及多策略的多選題認(rèn)知診斷模型的開發(fā)[D];江西師范大學(xué);2014年
2 康慧燕;復(fù)雜網(wǎng)絡(luò)上帶有潛伏期的傳染病動(dòng)力學(xué)模型研究[D];上海大學(xué);2015年
3 郭瑋;基于多因素集成的疏散場(chǎng)模型研究[D];北京化工大學(xué);2015年
4 張?zhí)祢?產(chǎn)漂流性卵小型魚類的生態(tài)位建模及分析[D];中國(guó)農(nóng)業(yè)大學(xué);2016年
5 張會(huì)敏;基于小域估計(jì)的貧困指標(biāo)測(cè)度方法與模型研究[D];天津財(cái)經(jīng)大學(xué);2015年
6 宋澤芳;基于投資者情緒效應(yīng)的均值—方差關(guān)系模型研究[D];廣州大學(xué);2016年
7 徐帆;籠養(yǎng)食蟹猴自發(fā)抑郁模型的創(chuàng)建與驗(yàn)證[D];重慶醫(yī)科大學(xué);2015年
8 畢仁貴;考慮相關(guān)性的不確定凸集模型與非概率可靠性分析方法[D];湖南大學(xué);2015年
9 盧偉;小時(shí)步長(zhǎng)森林碳循環(huán)模型(BEPS)參數(shù)優(yōu)化及應(yīng)用研究[D];東北林業(yè)大學(xué);2016年
10 周作建;移動(dòng)云環(huán)境下服務(wù)推薦模型及關(guān)鍵技術(shù)研究[D];南京大學(xué);2016年
相關(guān)碩士學(xué)位論文 前10條
1 朱嘉蕊;基于科技接受模型的云出版服務(wù)模式研究[D];武漢理工大學(xué);2014年
2 李昂;BIM技術(shù)在工程建設(shè)項(xiàng)目中模型創(chuàng)建和碰撞檢測(cè)的應(yīng)用研究[D];東北林業(yè)大學(xué);2015年
3 顧慧燕;預(yù)測(cè)有機(jī)碳-水分配系數(shù)pp-LFERs模型的改進(jìn)研究[D];中國(guó)地質(zhì)大學(xué)(北京);2015年
4 馬豪;衛(wèi)生管理決策支持系統(tǒng)的模型構(gòu)建研究[D];北京協(xié)和醫(yī)學(xué)院;2015年
5 王海波;基于GARCH模型的滬深300指數(shù)收益率的波動(dòng)性研究[D];西安建筑科技大學(xué);2015年
6 郭濱;基于Kriging與改進(jìn)灰色組合模型的邊坡變形分析研究[D];江西理工大學(xué);2015年
7 邢立雯;CEV模型最優(yōu)參數(shù)的實(shí)證研究[D];山東大學(xué);2015年
8 王澤森;基于Ⅳ級(jí)動(dòng)態(tài)逸度模型京津冀地區(qū)硫的多介質(zhì)遷移轉(zhuǎn)化[D];華北電力大學(xué);2015年
9 李歡;大規(guī)模網(wǎng)絡(luò)零模型的高效量化評(píng)估策略研究[D];北京化工大學(xué);2015年
10 薛文旅;小學(xué)數(shù)學(xué)《方程》單元教學(xué)中滲透模型思想的研究[D];南京師范大學(xué);2015年
,本文編號(hào):1790327
本文鏈接:http://sikaile.net/shoufeilunwen/xxkjbs/1790327.html