本文關(guān)鍵詞： 圖像自動標(biāo)注 深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 遷移學(xué)習(xí) 特征學(xué)習(xí) 多標(biāo)簽排序 多源異構(gòu)特征 多核學(xué)習(xí)　出處：《浙江大學(xué)》2017年博士論文　論文類型：學(xué)位論文

【摘要】：隨著移動互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,越來越多的圖像信息被以數(shù)字方式存儲到互聯(lián)網(wǎng)上,圖像已經(jīng)成為文本之后又一個重要的網(wǎng)絡(luò)信息載體。目前每天上傳到網(wǎng)絡(luò)上的圖片數(shù)以億計,面對如此海量的圖像大數(shù)據(jù),如何快速而準(zhǔn)確的檢索出所需要的圖像資源是一個十分重要并且極具現(xiàn)實意義的研究課題。圖像語義自動標(biāo)注是基于文本的圖像檢索技術(shù)的核心研究內(nèi)容,其本質(zhì)是利用已標(biāo)注的圖像集自動學(xué)習(xí)語義概念空間與視覺特征空間的映射關(guān)系模型,并用此模型標(biāo)注新圖像。針對傳統(tǒng)人工設(shè)計的視覺特征的局限性,以近年來深度卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域所取得的成果為基礎(chǔ),并在互聯(lián)網(wǎng)圖像大數(shù)據(jù)的驅(qū)動下,本文主要圍繞深度卷積神經(jīng)網(wǎng)絡(luò)的特征自學(xué)習(xí)能力如何在圖像標(biāo)注中被有效利用展開研究,重點關(guān)注深度卷積特征在圖像單標(biāo)簽標(biāo)注、多標(biāo)簽標(biāo)注和多特征融合標(biāo)注三方面的內(nèi)容,主要工作概括如下:(1)針對特定應(yīng)用領(lǐng)域數(shù)據(jù)集已標(biāo)注圖像樣本數(shù)量不足的問題,利用相關(guān)領(lǐng)域的圖像大數(shù)據(jù)集,提出了基于遷移學(xué)習(xí)的深度卷積特征學(xué)習(xí)方法。該方法主要針對規(guī)模不大,樣本數(shù)量有限的特定領(lǐng)域數(shù)據(jù)集使用深度卷積神經(jīng)網(wǎng)絡(luò)時容易產(chǎn)生過擬合而導(dǎo)致無法訓(xùn)練與學(xué)習(xí)的問題;通過遷移學(xué)習(xí)的方法,首先利用互聯(lián)網(wǎng)上的大型公共圖像數(shù)據(jù)集對深度網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,以學(xué)習(xí)圖像的底層通用視覺特征;然后利用目標(biāo)數(shù)據(jù)集對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào),進(jìn)而學(xué)習(xí)圖像的中高級視覺特征;最終的實驗結(jié)果表明該方法使小規(guī)模圖像數(shù)據(jù)集使用深度學(xué)習(xí)的方法成為可能,并且有效的提升了圖像的分類與標(biāo)注性能。(2)針對圖像數(shù)據(jù)集中相似度較高的類別之間容易產(chǎn)生樣本誤分類的問題,基于遷移學(xué)習(xí)與精細(xì)分類的思想,提出了兩級層次特征學(xué)習(xí)的圖像分類與標(biāo)注方法。通過對預(yù)分類實驗數(shù)據(jù)的分析,實驗表明大部分標(biāo)注錯誤的樣本都產(chǎn)生在相似度較高的圖像類別之間;為了能夠盡量減少相似樣本的誤分類數(shù)量,本文首先根據(jù)通用特征將具有較高相似度的圖像類別劃分到同一個子集;然后利用深度卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力,提取相似度較高的圖像類別之間的差異特征;最后整合通用特征與差異特征,進(jìn)而提出了基于兩級層次特征學(xué)習(xí)的圖像標(biāo)注方法,有效的提高了圖像的標(biāo)注精度。(3)針對多標(biāo)簽圖像全局特征提取困難與表示能力不足的問題,通過修改網(wǎng)絡(luò)的損失函數(shù),提出了基于深度卷積特征的多標(biāo)簽圖像排序方法。為了將深度卷積神經(jīng)網(wǎng)絡(luò)的特征自學(xué)習(xí)能力擴(kuò)展到多標(biāo)簽圖像標(biāo)注任務(wù)中,本文修改了用于單標(biāo)簽分類的網(wǎng)絡(luò)模型的損失函數(shù),采用多項邏輯斯特?fù)p失以適應(yīng)多標(biāo)簽圖像數(shù)據(jù),并重新訓(xùn)練了網(wǎng)絡(luò);最后提取到更具有全局特征表示能力的深度卷積特征,并基于該特征對圖像多標(biāo)簽進(jìn)行排序,從而更完整的標(biāo)注了圖像的語義信息。(4)針對圖像大數(shù)據(jù)背景下,如何充分利用多源異構(gòu)圖像特征的問題,提出了基于多核學(xué)習(xí)的多特征融合圖像標(biāo)注方法。大數(shù)據(jù)時代的圖像資源除了圖像本身以外,通常還可以獲取與圖像相關(guān)的拍攝時間、位置、經(jīng)緯度、高度、周邊環(huán)境等信息;針對圖像的語義標(biāo)注任務(wù),本文將與圖像相關(guān)的描述性信息也轉(zhuǎn)化為圖像的基本特征之一,并與深度卷積特征相融合,提出了基于多核學(xué)習(xí)的多特征融合圖像標(biāo)注方法,實驗結(jié)果表明該方法能夠更充分和準(zhǔn)確的反映圖像的語義信息。
[Abstract]:With the rapid development of mobile Internet technology , more and more image information has been digitally stored on the Internet , and the image has become an important network information carrier after text . In order to extend the characteristic self - learning ability of deep convolution neural network to multi - label image annotation task , this paper proposes a multi - feature fusion image marking method based on multi - core learning .

【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉建忠;;圖像邊緣的數(shù)學(xué)結(jié)構(gòu)分析[J];軟件;2011年05期

2 陳文兵;張小磊;;基于圖像邊緣的能見度計算方法[J];微型電腦應(yīng)用;2009年04期

3 曾友州;胡瑩;曾偉一;鄭曉霞;;提取數(shù)字圖像邊緣的算法比較[J];成都航空職業(yè)技術(shù)學(xué)院學(xué)報;2009年04期

4 潘衛(wèi)國;鮑泓;何寧;;一種傳統(tǒng)中國書畫圖像的二分類方法[J];計算機(jī)科學(xué);2012年03期

5 周濤;陸惠玲;拓守恒;馬競先;楊德仁;;基于非凸區(qū)域下近似的圖像邊緣修補(bǔ)算法[J];寧夏大學(xué)學(xué)報(自然科學(xué)版);2012年01期

6 唐亮;唐娉;閻福禮;鄭柯;;HJ-1 CCD圖像自動幾何精糾正系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機(jī)應(yīng)用;2012年S2期

7 宋建中;;噴霧圖像的自動分析[J];光學(xué)機(jī)械;1988年04期

8 張錦華;孫挺;;引入像點融合度修補(bǔ)的圖像邊緣化參差拼接實現(xiàn)[J];微電子學(xué)與計算機(jī);2014年08期

9 張曉清;;摳圖另一法[J];數(shù)字世界;2002年11期

10 潘泓;夏良正;;一種基于圖像邊緣的矩計算方法[J];模式識別與人工智能;2003年03期

相關(guān)會議論文 前10條

1 陸成剛;陳剛;張但;閔春燕;;圖像邊緣的優(yōu)化模型[A];'2002系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第四卷）[C];2002年

2 王偉凝;余英林;張劍超;;圖像的動感特征分析[A];第一屆中國情感計算及智能交互學(xué)術(shù)會議論文集[C];2003年

3 韓焱;王明泉;宋樹爭;;工業(yè)射線圖像的退化與恢復(fù)方法[A];新世紀(jì) 新機(jī)遇 新挑戰(zhàn)——知識創(chuàng)新和高新技術(shù)產(chǎn)業(yè)發(fā)展（下冊）[C];2001年

4 王強(qiáng);王風(fēng);;一種保持圖像幾何特征的去噪模型[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

5 王培珍;楊維翰;陳維南;;圖像邊緣信息的融合方案研究[A];中國圖象圖形學(xué)會第十屆全國圖像圖形學(xué)術(shù)會議（CIG’2001）和第一屆全國虛擬現(xiàn)實技術(shù)研討會（CVR’2001）論文集[C];2001年

6 李大鵬;禹晶;肖創(chuàng)柏;;圖像去霧的無參考客觀質(zhì)量評測方法[A];第十五屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2010年

7 孟晉麗;張毅;金林;;圖像中混合噪聲的小波域濾除方法[A];2007'儀表，自動化及先進(jìn)集成技術(shù)大會論文集（一）[C];2007年

8 漆琳智;張超;吳向陽;;引導(dǎo)濾波的單幅圖像前景精確提取[A];浙江省電子學(xué)會2013學(xué)術(shù)年會論文集[C];2013年

9 張明慧;;基于模糊蒙片算法的CR圖像邊緣增強(qiáng)[A];第六屆全國信息獲取與處理學(xué)術(shù)會議論文集（1）[C];2008年

10 王亮亮;李明;高昕;;強(qiáng)模糊空間目標(biāo)圖像邊緣獲取方法研究[A];第九屆全國光電技術(shù)學(xué)術(shù)交流會論文集（下冊）[C];2010年

相關(guān)重要報紙文章 前10條

1 吳飛;無邊距照片打印三部曲[N];中國電腦教育報;2003年

2 艾思平翻譯;視頻編碼軟件CCE SP2操作指南(9)[N];電子報;2009年

3 ;B超術(shù)語解釋[N];農(nóng)村醫(yī)藥報（漢）;2008年

4 ;圖像質(zhì)量調(diào)整秘技[N];電腦報;2001年

5 馬駿睿 皓月;制作版畫效果圖片[N];中國攝影報;2007年

6 艾思平翻譯;視頻編碼軟件CCE SP2操作指南(14)[N];電子報;2009年

7 西安 張正倉;I~（2）C總線控制的HG-2220AV液晶屏視頻信號驅(qū)動板[N];電子報;2003年

8 ;令挑剔的人也刮目相看[N];中國電子報;2001年

9 侯杰;國產(chǎn)芯片進(jìn)軍移動多媒體市場[N];人民郵電;2003年

10 于亮、阿鯤;技術(shù)“掃”天下[N];中國計算機(jī)報;2002年

相關(guān)博士學(xué)位論文 前10條

1 梁福來;低空無人機(jī)載UWB SAR增強(qiáng)成像技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

2 周靜;基于憶阻器的圖像處理技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

3 賈茜;基于時—空域插值的圖像及視頻上采樣技術(shù)研究[D];武漢大學(xué);2014年

4 李照奎;人臉圖像的魯棒特征表示方法研究[D];武漢大學(xué);2014年

5 郝紅星;基于干涉相位圖像構(gòu)建數(shù)字高程模型的關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

6 楊小義;圖像特征識別算法及其在聾人視覺識別中的應(yīng)用研究[D];重慶大學(xué);2015年

7 王玉明;SAR圖像地雷場檢測技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

8 溫景陽;圖像大容量、低失真可逆信息隱藏技術(shù)研究[D];蘭州大學(xué);2015年

9 李林;基于概率圖模型的圖像整體場景理解方法研究[D];電子科技大學(xué);2014年

10 馮景;基于SAR圖像的海面溢油檢測研究[D];北京理工大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 李鵬遠(yuǎn);圖像檢索算法研究及其在互聯(lián)網(wǎng)教育中的應(yīng)用[D];華南理工大學(xué);2015年

2 萬燕英;微聚焦X-ray圖像自適應(yīng)正則化去噪方法[D];華南理工大學(xué);2015年

3 毛雙艷;基于梯度域的圖像風(fēng)格化渲染方法的研究及其應(yīng)用[D];華南理工大學(xué);2015年

4 向訓(xùn)文;RGB-D圖像顯著性檢測研究[D];華南理工大學(xué);2015年

5 曾旭;基于聚類和加權(quán)非局部的圖像稀疏去噪方法研究[D];天津理工大學(xué);2015年

6 熊楊超;圖像美學(xué)評價及美學(xué)優(yōu)化研究[D];華南理工大學(xué);2015年

7 王艷;圖像視覺顯著性檢測方法及應(yīng)用的研究[D];華南理工大學(xué);2015年

8 鄭露萍;圖像二階微分特征提取及人臉識別應(yīng)用研究[D];昆明理工大學(xué);2015年

9 王思武;基于太陽圖像的特征提取和檢索[D];昆明理工大學(xué);2015年

10 曹靜;基于暗通道先驗算法的圖像去霧處理[D];海南大學(xué);2015年

，

本文編號：1537321