傳統(tǒng)的基于草圖的圖像檢索（Sketch Based Image Retrieval,SBIR）主要關(guān)注類別層次的檢索,忽略了類別內(nèi)的細節(jié)變化。這是不理想的,因為如果給出特定的鞋子草圖（例如,高跟鞋,腳趾開口）作為查詢,它可以返回任何鞋,包括具有不同語義部件的鞋（例如,平底的跑鞋）。基于草圖的精細圖像檢索（Fine-grained Sketch Based Image Retrieval,FG-SBIR）正在成為超越傳統(tǒng)類別層次的基于草圖的圖像檢索的一種方式,并充分利用草圖中可傳達的細節(jié)。通過提供比無處不在的文本類別搜索更具表現(xiàn)力的交互模式,FG-SBIR是更有可能支持任何實際商業(yè)采用的圖像檢索技術(shù)。我們研究FG-SBIR,通過執(zhí)行實例層次（而不是類別層次）檢索,FG-SBIR體現(xiàn)了實時實用的應(yīng)用程序。有三個因素造成了FG-SBIR的挑戰(zhàn)性:（i）自由手繪草圖本質(zhì)上是抽象的和標志性的,使得與照片精細的視覺比較變得困難,（ii）草圖（黑色線條和白色背景組成）和照片（彩色像素點組成）來著兩個不同的視覺領(lǐng)域,（iii）當(dāng)跨模態(tài)和抽象等級時,精細的區(qū)別尤其具有挑戰(zhàn)性。為了橋接草圖和圖像之間巨大的... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：144 頁

【學(xué)位級別】：博士

【部分圖文】：

圖１－１?（ａ）?ＴＢＩＲ和ＦＧ－ＳＢＩＲ對比

Ｎｅｔｗｏｒｋ，?ＧＡＮ），Ｙｅｌａｍａｒｔｈｉ?等人［６］利用?ＶＡＥ（Ｖａｒｉａｔｉｏｎ?Ａｕｔｏ?Ｅｎｃｏｄｅｒ）生成草圖特征等??等深度學(xué)習(xí)方法在草圖領(lǐng)域取得了優(yōu)秀的結(jié)果，但是這些方法關(guān)注的還是類別層次??的草圖識別或者檢索，沒有區(qū)分草圖實例之間的細微區(qū)別。在圖１－２中展示了最新的??基于草圖的圖像檢索的論文的檢索結(jié)果。紅色框中的圖像表示檢索錯誤。從圖中不??難發(fā)現(xiàn)，基于草圖的圖像檢索返回結(jié)果是與查詢草圖同類別的圖像，這些返回的圖??像很多和查詢的草圖具有巨大的區(qū)別，很難滿足用戶草圖檢索的目的。??１．２．１．２基于草圖的精細圖像檢索??為了彌補傳統(tǒng)的基于草圖的圖像檢索的不足，Ｙｉ等人在２０１４年的計算機視??覺國際會議ＢＭＶＣ？中提出了基于草圖的精細圖像檢索（Ｆｉｎｅ－Ｇｒａｉｎｅｄ?Ｓｋｅｔｃｈ－Ｂａｓｅｄ??Ｉｍａｇｅ?Ｒｅｔｒｉｅｖａｌ）的概念，明確的指出相比較于文本等其他查詢方式，草圖能夠精確??的體現(xiàn)用戶想要查詢的物體的細節(jié)。并且草圖檢索的目的應(yīng)該是檢索出與草圖具有??相同細節(jié)的圖像。但是這篇文章中將細節(jié)量化成了４個，這個是不夠理想和完美的。??在２０１６年上半年，Ｑｉａｎ等人發(fā)布在計算機視覺國際頂級會議ＣＶＰＲ？的工作［２］豐富??和完善了基于草圖的精細圖像檢索的概念，即草圖檢索的目的應(yīng)該是檢索出與草圖??具有相同細節(jié)的那一張圖像

從深度（同類別中樣本數(shù)目）來說ＱＭＵＬ－Ｓｈｏｅ－Ｖ２／Ｃｈａｉｒ－Ｖ２［２］是目前最大的ＦＧ－ＳＢＩＲ??數(shù)據(jù)庫，從廣度（物體類別數(shù)目）上來說ＳｋｅｔｃｈｙＷ是目前最大的ＦＧ－ＳＢＩＲ數(shù)據(jù)庫。??但是這２個常用的ＦＧ－ＳＢＩＲ數(shù)據(jù)庫還是有很大差別的，如圖１－３所示，Ｓｋｅｔｃｈｙ⑴中??的圖像存在一定的背景，且物體朝向不固定，而ＱＭＵＬ－Ｓｈｏｅ／Ｃｈａｉｒｒａ中的圖像都是??單－？背景，且朝向固定。這兩個數(shù)據(jù)庫相比，ＱＭＵＬ－Ｓｈｏｅ／Ｃｈａｉｒ中圖像之間的差距比??較小，草圖之間的差距更小導(dǎo)致檢索更困難。對于同一張圖像，不同的繪畫者所畫??的草閣區(qū)別也很大，同時草圖與圖像之間的差距也很大，很難建立對應(yīng)關(guān)系。這些??都大大的增加了基于草圖的精細圖像檢索的難度。??１．３論文的主要工作和研究成果??為了解決傳統(tǒng)的基于草圖的圖像檢索無法很好的滿足用戶的檢索需求，我們完??善了基于草圖的精細圖像檢索的概念，并提出了相對應(yīng)的數(shù)據(jù)庫。在這個數(shù)據(jù)庫的??基礎(chǔ)上，我們提出了同時校正實例層次和域子空間的方法以及引入部件感知的屬性??檢測算法來解決ｒｏ－ＳＢＩＲ中的挑戰(zhàn)。在解決ＦＧ－ＳＢＩＲ的過程中


本文編號：3133721