本文重點研究基于手繪草圖的視覺檢索問題,主要包括大規(guī)模手繪草圖的快速檢索、基于手繪草圖的細粒度圖像檢索、基于手繪草圖的細粒度視頻檢索等問題。本文所完成的主要研究工作及取得的創(chuàng)新性成果可被概括為以下三個方面:首先,本文的第三章定義了一個新穎的研究問題,即大規(guī)模手繪草圖的快速檢索,以百萬級數(shù)據(jù)規(guī)模的手繪草圖作為數(shù)據(jù)床,探究且驗證了若干大規(guī)模手繪草圖所特有的數(shù)據(jù)特點,并針對性地提出了一個基于深度神經(jīng)網(wǎng)絡的哈希模型。該模型的創(chuàng)新之處主要在于:（1）通過卷積神經(jīng)網(wǎng)絡與雙向循環(huán)神經(jīng)網(wǎng)絡并聯(lián)的網(wǎng)絡架構(gòu)對手繪草圖進行特征學習與表示,卷積神經(jīng)網(wǎng)絡學習手繪的幾何視覺特征,雙向循環(huán)神經(jīng)網(wǎng)絡學習手繪的筆畫時序邏輯,通過雙分支網(wǎng)絡的并聯(lián)融合實現(xiàn)了互補特征之間的融合與提升。（2）新穎的損失函數(shù)在引導網(wǎng)絡訓練的過程中,可以降低噪聲樣本對模型的影響,確保學習到的特征空間具有較好的內(nèi)聚性,有效地緩解了大規(guī)模手繪草圖固有的數(shù)據(jù)抽象性與噪聲性問題。第三章所提出的雙分支并聯(lián)架構(gòu),也可以被推廣到大規(guī)模手繪草圖的識別任務中,并且取得了較好的實驗結(jié)果。第三章還定義了另一個新穎的研究問題:即大規(guī)模手繪草圖的零樣本學習,并且為解決此問... 

【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：127 頁

【學位級別】：博士

【部分圖文】：

圖１－２?手繪樣例圖二??總體看來，目前互聯(lián)網(wǎng)中的手繪數(shù)據(jù)日益增多

（ｃａｔｅｇｏｒｙ－ｌｅｖｅｌ?ｓｅｍａｎｔｉｃ）。然而，對于超大數(shù)據(jù)規(guī)模的手繪草圖，存在一個特有的難??題：手繪草圖具有高度的抽象性，很多語義概念上差距較大的類別卻表現(xiàn)出相似的??外觀（ａｐｐｅａｒａｎｃｅ），如果僅使用交叉熵損失函數(shù)引導模型訓練，如圖３．１（ａ）所示，圖??中的虛線表示交叉熵損失函數(shù)引導模型學習到的特征空間中的一條分類決策邊界，??狗和豬從外觀角度判斷屬于易混淆的類別，在特征空間中往往位于分類邊界的附近，??這樣的現(xiàn)象對分類造成一定的困難。只有有效地區(qū)分手繪草圖中的易混淆樣本，才??能更好地實現(xiàn)大規(guī)模檢索和快速檢索。??個＾?個．個??＾?／＇??％?命?＾?、參／??，？鱗?．７＿??／?？＝．?＾?？??Ｚ?ｙ?ｙ＇??Ｕ?？?＾?？??？??（ａ）?ｃｒｏｓｓ?ｅｎｔｒｏｐｙ?ｌｏｓｓ?（ｂ）?ｃｒｏｓｓ?ｅｎｔｒｏｐｙ?ｌｏｓｓ?＋?ｃｏｍｍｏｎ?ｃｅｎｔｅｒ?（ｃ）?ｃｒｏｓｓ?ｅｎｔｒｏｐｙ?ｌｏｓｓ?＋?ｓｋｅｔｃｈ?ｃｅｎｔｅｒ??ｌｏｓｓ?ｌｏｓｓ??圖３－１?不同損失函數(shù)引導模型學習到的手繪草圖的特征空間布局示意圖??２１??

ｂ？?＝?（＾？（ｆ？－０．５）?＋?ｌ）／２，?ｎｅ｛ｌ，Ｎ｝．?（３－５）??如圖３－２所示，融合層在負責ＣＮＮ和ＲＮＮ雙分支模型融合的同時還扮演著量化和編??碼（ｑｕａｎｔｉｚａｔｉｏｎ?ａｎｄ?ｅｎｃｏｄｉｎｇ）的角色，因而也可以被稱為量化編碼層（ｑｕａｎｔｉｚａｔｉｏｎ？??ｅｎｃｏｄｉｎｇ?ｌａｙｅｒ）。??本章還定義了一項量化損失函數(shù)項（ｑｕａｎｔｉｚａｔｉｏｎ?ｌｏｓｓ，?ＱＬ），用于在模型訓練過??程中降低由量化和編碼操作帶來的誤差，量化損失函數(shù)項的定義如下：??７?Ｅ?丨隊—ｂ，，?Ｇ?｛〇，?１｝＇?（３－６）??ｎ＝ｌ??３．３．５完整的損失函數(shù)??通過組合上述的各個損失函數(shù)項，本章所提出的哈希模型在加入了二進制離散??約束后，在最后的微調(diào)訓練階段中的損失函數(shù)變?yōu)榱耍??■＾ｆｕｌｌ?￣?＾ｃｅ＼?＋?Ｋｃｌ－＾ｓｃｌ?＋?＃牐?埃?牐保?模??（３－７）??其中Ｉｄ和是調(diào)節(jié)對應損失函數(shù)項權(quán)重的權(quán)重因子。本章設計了一個基于分階段??訓練（ｓｔａｇｅｄ－ｔｒａｉｎｉｎｇ）和交替迭代（ａｌｔｅｒｎａｔｉｖｅ?ｉｔ?


本文編號：3384655