【摘要】：在傳統(tǒng)計(jì)算機(jī)視覺研究中,圖像分析的目標(biāo)對象隸屬類別通常是諸如“狗”、“車”和“鳥”等傳統(tǒng)意義上的類別分類。而在許多實(shí)際應(yīng)用中,圖像對象往往來自某一傳統(tǒng)類別下較細(xì)粒度級別的不同子類類別,如不同種類的“狗”:“哈士奇”、“阿拉斯加”、“比熊”等(或不同種類的“車”:“奧迪”、“寶馬”、“奔馳”等;或不同種類的“鳥”:“灰海燕”、“綠頭鴨”“信天翁”等)。細(xì)粒度級別圖像分析是針對此類問題的一個(gè)計(jì)算機(jī)視覺領(lǐng)域研究方向,且是計(jì)算機(jī)視覺領(lǐng)域的熱門研究課題,其目標(biāo)是對上述細(xì)粒度級別圖像中的物體子類進(jìn)行定位、識別及檢索等視覺分析任務(wù)的研究,具有真實(shí)場景下廣泛的應(yīng)用價(jià)值。然而因細(xì)粒度級別子類別間較小的類間差異和較大的類內(nèi)差異,使其區(qū)別于傳統(tǒng)圖像分析問題成為更具挑戰(zhàn)的研究課題。本文基于深度學(xué)習(xí)網(wǎng)絡(luò)模型探索了細(xì)粒度級別圖像分析問題,主要工作包括:1.基于選擇性卷積特征描述子融合的細(xì)粒度級別圖像檢索:以往圖像檢索任務(wù)通常針對地標(biāo)性建筑或通用類別物體,未考慮在細(xì)粒度類別場景下如何有效進(jìn)行細(xì)粒度級別圖像檢索。提出首個(gè)基于深度學(xué)習(xí)模型的細(xì)粒度級別圖像檢索方法SCDA,通過使用開源的深度卷積神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練分類模型可做到無監(jiān)督式的細(xì)粒度級別物體定位,進(jìn)而根據(jù)定位結(jié)果篩選出有價(jià)值的卷積特征描述子并去除背景或噪聲對應(yīng)的卷積描述子的影響,之后將保留下的卷積描述子融合,最終以最近鄰算法完成檢索任務(wù)。實(shí)驗(yàn)結(jié)果顯示出SCDA方法比現(xiàn)有傳統(tǒng)圖像檢索方法有更優(yōu)檢索精度,同時(shí)證實(shí)了卷積描述子篩選機(jī)制的有效性。2.基于卷積特征描述子變換的物體協(xié)同定位:為進(jìn)一步提高細(xì)粒度級別物體無監(jiān)督式定位精度,與SCDA方法中僅考慮單張圖像信息不同,我們指出應(yīng)使用圖像集合中圖像之間的協(xié)同信息進(jìn)行物體協(xié)同定位。提出DDT方法,同樣利用預(yù)訓(xùn)練模型抽取卷積特征描述子,通過提出的特征變換算法衡量描述子之間的相關(guān)性進(jìn)而將圖像集合中的共同物體協(xié)同式定位出來。實(shí)驗(yàn)結(jié)果顯示出DDT方法比現(xiàn)有其他物體協(xié)同定位方法具有更優(yōu)的定位精度。3.基于卷積特征描述子篩選和融合的細(xì)粒度級別圖像識別:以往細(xì)粒度級別圖像識別方法均未考慮在識別過程中度量卷積特征描述子的重要程度,即篩選有價(jià)值的卷積特征描述子,以及去除無用甚至有害的卷積描述子。提出Mask-CNN方法,通過學(xué)習(xí)得到的物體和部件級別掩碼可將卷積特征描述子進(jìn)行合理篩選和權(quán)重分配,最終將全局的物體級別特征表示和局部的部件級別(頭和軀干)特征表示級聯(lián)完成識別過程。實(shí)驗(yàn)結(jié)果證實(shí)了Mask-CNN方法卷積描述子篩選機(jī)制的有效性以及物體部件定位的準(zhǔn)確性。4.基于少量訓(xùn)練樣本的細(xì)粒度級別圖像識別:以往細(xì)粒度級別圖像識別的深度學(xué)習(xí)方法均須大量數(shù)據(jù)驅(qū)動(dòng),當(dāng)數(shù)據(jù)量不足時(shí)難以取得理想結(jié)果,有時(shí)甚至無法訓(xùn)練。首次提出和研究了細(xì)粒度級別圖像識別的少量樣本學(xué)習(xí)任務(wù),并提出PCM方法,通過元學(xué)習(xí)方式訓(xùn)練從少量訓(xùn)練樣本到其對應(yīng)的類別分類器的映射函數(shù),利用該映射函數(shù)可生成類別分類器并泛化到真實(shí)測試環(huán)境下的少量訓(xùn)練樣本條件的細(xì)粒度級別圖像識別任務(wù)。實(shí)驗(yàn)結(jié)果顯示出PCM方法在少量訓(xùn)練樣本條件下相對現(xiàn)有方法具有更優(yōu)的細(xì)粒度級別圖像識別精度。
【圖文】：

作圖像分析中的兩項(xiàng)基本問題。在傳統(tǒng)計(jì)算機(jī)視覺研究中，圖像分析的目標(biāo)逡逑對象隸屬類別通常是諸如“狗”、“鳥”和“橘子”等傳統(tǒng)意義上的類別分類（見逡逑圖１－１）。該情形下，不同類圖像間的差異較大，相對而言同類圖像間的差異逡逑則較小。而在許多實(shí)際應(yīng)用如生態(tài)保護(hù)（ｂｉｏｌｏｇｉｃａｌ邋ｐｒｏｔｅｃｔｉｏｎ）場景中，圖像對象逡逑往往來自某一傳統(tǒng)類別下較細(xì)粒度級別的不同子類類別，如識別不同種類的珍逡逑稀鳥類、從瀕危鳥類數(shù)據(jù)庫中檢索某種鳥類圖像等等。又如，現(xiàn)實(shí)生活中我們逡逑會看到不同種類的狗，但若不是犬類專家則很難區(qū)別不同子類的狗。細(xì)粒度級逡逑別圖像分析（ｆｉｎｅ－ｇｒａｉｎｅｄ邋ｉｍａｇｅ邋ａｎａｌｙｓｉｓ）便是針對此類問題的一個(gè)計(jì)算機(jī)視覺領(lǐng)逡逑域研究方向，且是計(jì)算機(jī)視覺領(lǐng)域的熱門研究課題，其目標(biāo)是對細(xì)粒度級別圖逡逑像中的物體子類進(jìn)行定位、識別及檢索等視覺分析任務(wù)的研究，具有真實(shí)場景逡逑下廣泛的應(yīng)用價(jià)值。不過，，因細(xì)粒度級別子類別間較小的類間差異和較大的類逡逑內(nèi)差異

的神經(jīng)認(rèn)知機(jī)模型中，兩種最重要的組成單元是“Ｓ型細(xì)胞”（Ｓ－Ｃｅｌｌｓ）和“Ｃ型細(xì)逡逑胞”（Ｃ－ｃｅｌｌｓ），兩類細(xì)胞交替堆疊在一起構(gòu)成了神經(jīng)認(rèn)知機(jī)網(wǎng)絡(luò)。其中，Ｓ型細(xì)逡逑胞用于抽取局部特征（ｌｏｃａｌ邋ｆｅａｔｕｒｅｓ），邋Ｃ型細(xì)胞則用于抽象和容錯(cuò)，如圖２－１所逡逑示，不難發(fā)現(xiàn)這與現(xiàn)今卷積神經(jīng)網(wǎng)絡(luò)中的卷積層（ｃｏｎｖｏｌｕｔｉｏｎ邋ｌａｙｅｒ）和匯合層逡逑（ｐｏｏｌｉｎｇ邋ｌａｙｅｒ）可一一對應(yīng)。逡逑醇Ｉ逡逑圖２－１：邋１９８０年福島邦彥提出的神經(jīng)認(rèn)知模型ｌ１７］。逡逑隨后，Ｙａｎｎ邋ＬｅＣｒｎｉ等人在１９９８年提出基于梯度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算逡逑法１４＇并將其成功用于手寫數(shù)字字符識別，在那時(shí)的技術(shù)條件下就能取得低于逡逑１％的錯(cuò)誤率。因此，ＬｅＮｅｔ這一卷積神經(jīng)網(wǎng)絡(luò)便在當(dāng)時(shí)效力于全美幾乎所有的逡逑郵政系統(tǒng)，用來識別手寫郵政編碼進(jìn)而分揀郵件和包裹�？梢哉f，ＬｅＮｅｔ是第逡逑一個(gè)產(chǎn)生實(shí)際商業(yè)價(jià)值的卷積神經(jīng)網(wǎng)絡(luò)，同時(shí)也為卷積神經(jīng)網(wǎng)絡(luò)以后的發(fā)展奠逡逑定了堅(jiān)實(shí)的基礎(chǔ)。逡逑Ｃ３邋：邐Ｓ４邋：逡逑Ｃ１邋特征圖：邐１６＠１０ｘｌ０邋１６＠５ｘ５逡逑６＠２８ｘ２８邐．邋ｉｐｉｔｅ邐＇ｓ．逡逑二邋＞逡逑＂＊邋Ｉ邋ｍＫＫｔｔｍ邐？邋ｉ邋１邐Ｉ．—連接操作逡逑卷積操作邐降采樣邋卷積操作邐降采樣全連接操作逡逑圖２－２：邋ＬｅＮｅｔ－５結(jié)構(gòu)＠１：邋一種用于字符識別的卷積神經(jīng)網(wǎng)絡(luò)。其中，每一個(gè)“矩形”代表一逡逑張?zhí)卣鲌D（ｆｅａｔｕｒｅ邋ｍａｐ）
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號】：TP391.41;TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張帆;;電商評論中細(xì)粒度主題情感混合模型建構(gòu)[J];商業(yè)經(jīng)濟(jì)研究;2017年24期

2 宋鳳義;胡太;楊明;;基于外觀的復(fù)合屬性學(xué)習(xí)的細(xì)粒度識別[J];數(shù)據(jù)采集與處理;2016年06期

3 陳自巖;黃宇;王洋;傅興玉;付琨;;一種利用語義相似特征提升細(xì)粒度情感分析方法[J];計(jì)算機(jī)應(yīng)用與軟件;2017年03期

4 張潔;董輝;;普適環(huán)境中細(xì)粒度可信管理框架的研究[J];測控技術(shù);2017年05期

5 鐘競德;;超細(xì)粒度氧化釔生產(chǎn)的新工藝分析[J];科技創(chuàng)新與應(yīng)用;2016年06期

6 盧艷蘭;;數(shù)字圖書館細(xì)粒度知識體系標(biāo)準(zhǔn)研究[J];圖書館學(xué)刊;2016年07期

7 羅清紅;;大數(shù)據(jù)與靈魂[J];當(dāng)代教育家;2016年12期

8 李濤;劉明耀;閆寧;;超細(xì)粒度砂輪制備技術(shù)研究現(xiàn)狀[J];金剛石與磨料磨具工程;2013年02期

9 譚光華,袁廉灼;從Na_2WO_4溶液制取中、細(xì)粒度WO_3[J];稀有金屬;1989年05期

10 唐曉波;劉廣超;;細(xì)粒度情感分析研究綜述[J];圖書情報(bào)工作;2017年05期

相關(guān)會議論文 前10條

1 李小慶;曾慶凱;;細(xì)粒度可信恢復(fù)文件系統(tǒng)[A];2011年全國通信安全學(xué)術(shù)會議論文集[C];2011年

2 劉電霆;周德儉;余強(qiáng);;虛擬企業(yè)中細(xì)粒度協(xié)同設(shè)計(jì)任務(wù)的不確定調(diào)度及GA求解[A];先進(jìn)制造技術(shù)高層論壇暨第六屆制造業(yè)自動(dòng)化與信息化技術(shù)研討會論文集[C];2007年

3 葉蘊(yùn)芳;楊榆;羅鑫;徐國愛;;Appfuse系統(tǒng)中細(xì)粒度權(quán)限控制的研究與實(shí)現(xiàn)[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

4 朱虹;舒鵬;;擴(kuò)展SQL實(shí)現(xiàn)DBMS細(xì)粒度訪問控制[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2006年

5 郭磊;唐玉華;周杰;董亞卓;;基于FPGA的Cholesky分解細(xì)粒度并行結(jié)構(gòu)與實(shí)現(xiàn)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

6 吳舜;蘇丹;吳佳;李坤;許大衛(wèi);劉昀;魏征;;基于Tilera平臺的網(wǎng)絡(luò)細(xì)粒度應(yīng)用行為識別系統(tǒng)[A];2013電力行業(yè)信息化年會論文集[C];2013年

7 李祖德;占國強(qiáng);葉曉俊;;FG-RBAC:基于RBAC的FGAC模型實(shí)現(xiàn)[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2005年

8 王運(yùn)成;任年民;張建平;結(jié)鳳克;柴常謙;;基于角色的XML細(xì)粒度訪問控制模型[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會——通信與信息技術(shù)會議論文集（下）[C];2006年

9 劉偉峰;王智廣;;細(xì)粒度并行計(jì)算編程模型研究[A];2008年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會議論文集(下冊)[C];2008年

10 江偉玉;高能;劉澤藝;林雪燕;;一種云計(jì)算中的多重身份認(rèn)證與授權(quán)方案[A];第27次全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集[C];2012年

相關(guān)重要報(bào)紙文章 前10條

1 ;修正SDH:承載細(xì)粒度IP業(yè)務(wù)[N];中國計(jì)算機(jī)報(bào);2002年

2 ;細(xì)粒度的訪問控制和日志管理[N];中國計(jì)算機(jī)報(bào);2003年

3 ;三項(xiàng)措施保護(hù)服務(wù)器[N];網(wǎng)絡(luò)世界;2004年

4 侯麗坤;思達(dá)展示新概念QoS產(chǎn)品[N];計(jì)算機(jī)世界;2001年

5 《網(wǎng)絡(luò)世界》記者 蒙克;D-Link應(yīng)用層流控網(wǎng)關(guān)細(xì)粒度管理全網(wǎng)流量[N];網(wǎng)絡(luò)世界;2015年

6 呂明;網(wǎng)絡(luò)安全審計(jì)需細(xì)粒度報(bào)告[N];計(jì)算機(jī)世界;2008年

7 胡英;F5最新SSL VPN[N];計(jì)算機(jī)世界;2006年

8 侯闖 綜合編譯;部署SOA需慎重[N];計(jì)算機(jī)世界;2004年

9 ;Allot加入開放式IP服務(wù)創(chuàng)建計(jì)劃[N];人民郵電;2007年

10 沈建苗　綜合編譯;IM安全產(chǎn)品選購諫言[N];計(jì)算機(jī)世界;2008年

相關(guān)博士學(xué)位論文 前10條

1 魏秀參;深度學(xué)習(xí)下細(xì)粒度級別圖像的視覺分析研究[D];南京大學(xué);2018年

2 趙波;細(xì)粒度圖像分類、分割、生成與檢索關(guān)鍵技術(shù)研究[D];西南交通大學(xué);2017年

3 時(shí)杰;關(guān)系數(shù)據(jù)庫細(xì)粒度訪問控制研究[D];華中科技大學(xué);2010年

4 朱倩;面向自由文本的細(xì)粒度關(guān)系抽取的關(guān)鍵技術(shù)研究[D];江蘇大學(xué);2011年

5 余a\;基于Simulink模型的細(xì)粒度多線程技術(shù)研究[D];浙江大學(xué);2014年

6 付興兵;基于屬性基加密的細(xì)粒度訪問控制機(jī)制研究[D];電子科技大學(xué);2016年

7 周杰;合成孔徑雷達(dá)數(shù)據(jù)處理應(yīng)用的細(xì)粒度并行算法與結(jié)構(gòu)[D];國防科學(xué)技術(shù)大學(xué);2010年

8 施寒瀟;細(xì)粒度情感分析研究[D];蘇州大學(xué);2013年

9 張傳才;流域水沙過程的細(xì)粒度建�？蚣苎芯縖D];河南大學(xué);2016年

10 徐毅;粗細(xì)粒度雙知識網(wǎng)映射的零部件設(shè)計(jì)重用方法[D];大連理工大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 張沙沙;基于細(xì)粒度信任推導(dǎo)的社交推薦模型研究[D];華東師范大學(xué);2017年

2 王朝輝;網(wǎng)絡(luò)商品評論細(xì)粒度情感分析系統(tǒng)關(guān)鍵技術(shù)研究[D];大連海事大學(xué);2017年

3 蔡肖紅;網(wǎng)絡(luò)評論文本的細(xì)粒度情感分析研究[D];山東師范大學(xué);2017年

4 張s

本文編號：2668506