本文重點(diǎn)研究基于手繪草圖的視覺檢索問題,主要包括大規(guī)模手繪草圖的快速檢索、基于手繪草圖的細(xì)粒度圖像檢索、基于手繪草圖的細(xì)粒度視頻檢索等問題。本文所完成的主要研究工作及取得的創(chuàng)新性成果可被概括為以下三個(gè)方面:首先,本文的第三章定義了一個(gè)新穎的研究問題,即大規(guī)模手繪草圖的快速檢索,以百萬級(jí)數(shù)據(jù)規(guī)模的手繪草圖作為數(shù)據(jù)床,探究且驗(yàn)證了若干大規(guī)模手繪草圖所特有的數(shù)據(jù)特點(diǎn),并針對(duì)性地提出了一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的哈希模型。該模型的創(chuàng)新之處主要在于:（1）通過卷積神經(jīng)網(wǎng)絡(luò)與雙向循環(huán)神經(jīng)網(wǎng)絡(luò)并聯(lián)的網(wǎng)絡(luò)架構(gòu)對(duì)手繪草圖進(jìn)行特征學(xué)習(xí)與表示,卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)手繪的幾何視覺特征,雙向循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)手繪的筆畫時(shí)序邏輯,通過雙分支網(wǎng)絡(luò)的并聯(lián)融合實(shí)現(xiàn)了互補(bǔ)特征之間的融合與提升。（2）新穎的損失函數(shù)在引導(dǎo)網(wǎng)絡(luò)訓(xùn)練的過程中,可以降低噪聲樣本對(duì)模型的影響,確保學(xué)習(xí)到的特征空間具有較好的內(nèi)聚性,有效地緩解了大規(guī)模手繪草圖固有的數(shù)據(jù)抽象性與噪聲性問題。第三章所提出的雙分支并聯(lián)架構(gòu),也可以被推廣到大規(guī)模手繪草圖的識(shí)別任務(wù)中,并且取得了較好的實(shí)驗(yàn)結(jié)果。第三章還定義了另一個(gè)新穎的研究問題:即大規(guī)模手繪草圖的零樣本學(xué)習(xí),并且為解決此問... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：127 頁

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖１－２?手繪樣例圖二??總體看來，目前互聯(lián)網(wǎng)中的手繪數(shù)據(jù)日益增多

（ｃａｔｅｇｏｒｙ－ｌｅｖｅｌ?ｓｅｍａｎｔｉｃ）。然而，對(duì)于超大數(shù)據(jù)規(guī)模的手繪草圖，存在一個(gè)特有的難??題：手繪草圖具有高度的抽象性，很多語義概念上差距較大的類別卻表現(xiàn)出相似的??外觀（ａｐｐｅａｒａｎｃｅ），如果僅使用交叉熵?fù)p失函數(shù)引導(dǎo)模型訓(xùn)練，如圖３．１（ａ）所示，圖??中的虛線表示交叉熵?fù)p失函數(shù)引導(dǎo)模型學(xué)習(xí)到的特征空間中的一條分類決策邊界，??狗和豬從外觀角度判斷屬于易混淆的類別，在特征空間中往往位于分類邊界的附近，??這樣的現(xiàn)象對(duì)分類造成一定的困難。只有有效地區(qū)分手繪草圖中的易混淆樣本，才??能更好地實(shí)現(xiàn)大規(guī)模檢索和快速檢索。??個(gè)＾?個(gè)．個(gè)??＾?／＇??％?命?＾?、參／??，？鱗?．７＿??／?？＝．?＾?？??Ｚ?ｙ?ｙ＇??Ｕ?？?＾?？??？??（ａ）?ｃｒｏｓｓ?ｅｎｔｒｏｐｙ?ｌｏｓｓ?（ｂ）?ｃｒｏｓｓ?ｅｎｔｒｏｐｙ?ｌｏｓｓ?＋?ｃｏｍｍｏｎ?ｃｅｎｔｅｒ?（ｃ）?ｃｒｏｓｓ?ｅｎｔｒｏｐｙ?ｌｏｓｓ?＋?ｓｋｅｔｃｈ?ｃｅｎｔｅｒ??ｌｏｓｓ?ｌｏｓｓ??圖３－１?不同損失函數(shù)引導(dǎo)模型學(xué)習(xí)到的手繪草圖的特征空間布局示意圖??２１??

ｂ？?＝?（＾？（ｆ？－０．５）?＋?ｌ）／２，?ｎｅ｛ｌ，Ｎ｝．?（３－５）??如圖３－２所示，融合層在負(fù)責(zé)ＣＮＮ和ＲＮＮ雙分支模型融合的同時(shí)還扮演著量化和編??碼（ｑｕａｎｔｉｚａｔｉｏｎ?ａｎｄ?ｅｎｃｏｄｉｎｇ）的角色，因而也可以被稱為量化編碼層（ｑｕａｎｔｉｚａｔｉｏｎ？??ｅｎｃｏｄｉｎｇ?ｌａｙｅｒ）。??本章還定義了一項(xiàng)量化損失函數(shù)項(xiàng)（ｑｕａｎｔｉｚａｔｉｏｎ?ｌｏｓｓ，?ＱＬ），用于在模型訓(xùn)練過??程中降低由量化和編碼操作帶來的誤差，量化損失函數(shù)項(xiàng)的定義如下：??７?Ｅ?丨隊(duì)—ｂ，，?Ｇ?｛〇，?１｝＇?（３－６）??ｎ＝ｌ??３．３．５完整的損失函數(shù)??通過組合上述的各個(gè)損失函數(shù)項(xiàng)，本章所提出的哈希模型在加入了二進(jìn)制離散??約束后，在最后的微調(diào)訓(xùn)練階段中的損失函數(shù)變?yōu)榱耍??■＾ｆｕｌｌ?￣?＾ｃｅ＼?＋?Ｋｃｌ－＾ｓｃｌ?＋?＃牐?埃?牐保?模??（３－７）??其中Ｉｄ和是調(diào)節(jié)對(duì)應(yīng)損失函數(shù)項(xiàng)權(quán)重的權(quán)重因子。本章設(shè)計(jì)了一個(gè)基于分階段??訓(xùn)練（ｓｔａｇｅｄ－ｔｒａｉｎｉｎｇ）和交替迭代（ａｌｔｅｒｎａｔｉｖｅ?ｉｔ?


本文編號(hào)：3384655