本文關(guān)鍵詞：互聯(lián)網(wǎng)圖像搜索中的多模態(tài)融合，，由筆耕文化傳播整理發(fā)布。

【摘要】：面對(duì)互聯(lián)網(wǎng)圖像搜索的海量、多模態(tài)的信息特征,現(xiàn)有圖像搜圖像、文本搜圖像、圖文結(jié)合搜圖像的系統(tǒng)都有不盡如人意之處。為了搜到盡可能多、全面的圖像,很有必要研究互聯(lián)網(wǎng)圖像搜索中的多模態(tài)融合�；ヂ�(lián)網(wǎng)圖像搜索本質(zhì)上是一種多模態(tài)學(xué)習(xí)問題。在以往對(duì)它們的研究中,涌現(xiàn)出許多算法和思想流派：矢量量化或共生模型、機(jī)器翻譯模型、相關(guān)模型、加入類別信息的結(jié)構(gòu)模型、多標(biāo)注學(xué)習(xí)、互補(bǔ)的多模態(tài)融合、基于矩陣分解的多模態(tài)融合、基于調(diào)和場模型的多模態(tài)融合、基于對(duì)齊學(xué)習(xí)的多模態(tài)融合、多模態(tài)聯(lián)合學(xué)習(xí)、一致性的多模態(tài)學(xué)習(xí)、大數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)學(xué)習(xí)�？偨Y(jié)其優(yōu)缺點(diǎn),我們提出了要構(gòu)建的多模態(tài)學(xué)習(xí)模型的設(shè)計(jì)需求。 一種用文檔-詞條關(guān)系矩陣傳播、疊加兩者的相關(guān)度矩陣以學(xué)習(xí)文檔語義相似度的模型被用在了多模態(tài)相似度矩陣的互相增強(qiáng)上。本文分析了其用在多模態(tài)學(xué)習(xí)上的不同之處,提出了加入模態(tài)內(nèi)高階相似度增強(qiáng)的多模態(tài)融合模型；分析了現(xiàn)有既考慮多數(shù)據(jù)域互相增強(qiáng)又考慮數(shù)據(jù)域間相關(guān)關(guān)系增強(qiáng)的多數(shù)據(jù)域相似度融合算法,結(jié)合多模態(tài)相似度融合的加性特點(diǎn),提出了用模態(tài)間對(duì)齊去增強(qiáng)模態(tài)間相關(guān)關(guān)系；為了得到多模態(tài)之間匹配的相關(guān)關(guān)系,提出一種以模態(tài)間對(duì)齊為優(yōu)化目標(biāo)的統(tǒng)計(jì)模型,并把它和典型相關(guān)分析做了類比分析。大量實(shí)驗(yàn)用于探究它們在多模態(tài)圖像搜索應(yīng)用中的表現(xiàn)和有效性。 核矩陣可以描述流形,可以把多個(gè)模態(tài)的數(shù)據(jù)投影到相似度空間相互比較。核矩陣代表的馬爾可夫場的傳播、對(duì)齊、流形特征都可以用引入電勢概念的電路網(wǎng)絡(luò)描述。單模態(tài)搜索可以表示為有源電路網(wǎng)絡(luò),等價(jià)于譜聚類。電路網(wǎng)絡(luò)模型有其希爾伯特空間解釋。網(wǎng)頁排名、流形排序算法都可以表示為電路網(wǎng)絡(luò)模型,由此可以反推出有源電路網(wǎng)絡(luò)的快速迭代算法。建立了基于電路網(wǎng)絡(luò)的多圖融合模型。該模型可以用正則化優(yōu)化式來表達(dá)并進(jìn)一步擴(kuò)展。實(shí)驗(yàn)驗(yàn)證了用電路網(wǎng)絡(luò)做多模態(tài)融合的有效性和優(yōu)勢。 用泊松方程理論上解釋了電路網(wǎng)絡(luò)模型,用非齊次熱傳導(dǎo)方程解釋了電路網(wǎng)絡(luò)模型的快速迭代算法、模態(tài)內(nèi)高階相似度增強(qiáng)的合理性；在擴(kuò)散的多尺度分析基礎(chǔ)上,分析了流形上的多尺度空間；借鑒傳統(tǒng)信號(hào)處理中克服信號(hào)截短的缺點(diǎn)的對(duì)策,提出了相似度矩陣取行近鄰的多分辨率濾波方案；利用偏微分方程方便加邊界條件的優(yōu)勢,提出了基于電路網(wǎng)絡(luò)的多模態(tài)融合模型添加模態(tài)間對(duì)齊增強(qiáng)的方法。 總結(jié)了本文的技術(shù)路線、四方面貢獻(xiàn),并給出了以后的工作展望。
【關(guān)鍵詞】：互聯(lián)網(wǎng)圖像搜索 多模態(tài)融合 流形 對(duì)齊增強(qiáng) 電路網(wǎng)絡(luò)模型 正則化 偏微分方程 多尺度 多分辨率濾波
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.41
【目錄】：

• 摘要5-7
• ABSTRACT7-12
• 第1章 綜述12-39
• 1.1 互聯(lián)網(wǎng)圖像搜索的現(xiàn)狀12-15
• 1.2 圖像搜索及多模態(tài)學(xué)習(xí)的進(jìn)展15-35
• 1.2.1 失量量化或共生模型16-17
• 1.2.2 機(jī)器翻譯模型17-18
• 1.2.3 相關(guān)模型18-19
• 1.2.4 加入類別信息的結(jié)構(gòu)模型19-24
• 1.2.5 多標(biāo)注學(xué)24-25
• 1.2.6 互補(bǔ)的多模態(tài)融合25
• 1.2.7 基于矩陣分解的多模態(tài)融合25-27
• 1.2.8 基于調(diào)和場模型的多模態(tài)融合27-29
• 1.2.9 基于對(duì)齊學(xué)習(xí)的多模態(tài)融合29-31
• 1.2.10 多模態(tài)聯(lián)合學(xué)習(xí)31-33
• 1.2.11 一致性的多模態(tài)學(xué)習(xí)33-34
• 1.2.12 大數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)學(xué)習(xí)34-35
• 1.3 多模態(tài)學(xué)習(xí)模型的設(shè)計(jì)需求35-36
• 1.4 小結(jié)36-37
• 1.5 全文章節(jié)安排37-39
• 第2章 對(duì)齊增強(qiáng)的多模態(tài)融合39-60
• 2.1 多模態(tài)互相增強(qiáng)的模型39-40
• 2.2 模態(tài)內(nèi)高階相似度的增強(qiáng)40-41
• 2.3 多模態(tài)之間的對(duì)齊增強(qiáng)41-43
• 2.4 多模態(tài)之間的匹配43-45
• 2.5 實(shí)驗(yàn)與分析45-59
• 2.5.1 模態(tài)間關(guān)系增強(qiáng)方法的對(duì)比實(shí)驗(yàn)45-54
• 2.5.2 模態(tài)內(nèi)高階相似度增強(qiáng)的實(shí)驗(yàn)54-57
• 2.5.3 模態(tài)間相關(guān)關(guān)系預(yù)測的對(duì)比實(shí)驗(yàn)57-59
• 2.6 小結(jié)59-60
• 第3章 基于電路網(wǎng)絡(luò)的多模態(tài)融合60-77
• 3.1 核矩陣60-61
• 3.2 馬爾可夫場和電路網(wǎng)絡(luò)61-62
• 3.3 單源單地電路網(wǎng)絡(luò)和譜聚類62-63
• 3.4 單地多源電路網(wǎng)絡(luò)和等周分割模型63-64
• 3.5 電路網(wǎng)絡(luò)的希爾伯特空間解釋64-65
• 3.6 電路網(wǎng)絡(luò)和網(wǎng)頁排名、流形排序的聯(lián)系65-68
• 3.7 基于電路網(wǎng)絡(luò)的多圖融合模型68-69
• 3.8 基于電路網(wǎng)絡(luò)的多圖融合模型的正則化表達(dá)69-71
• 3.9 實(shí)驗(yàn)及分析71-75
• 3.9.1 無監(jiān)督情況下單模態(tài)搜索性能評(píng)估72-73
• 3.9.2 無監(jiān)督情況下多模態(tài)融合后搜索性能評(píng)估73-75
• 3.10 小結(jié)75-77
• 第4章 多模態(tài)融合的深入分析77-88
• 4.1 流形的偏微分方程分析77-78
• 4.2 擴(kuò)散的多尺度分析78-79
• 4.3 流形的多尺度分析79-80
• 4.4 k近鄰核的多分辨率去噪80-82
• 4.5 多模態(tài)融合的偏微分方程分析82-83
• 4.6 實(shí)驗(yàn)與分析83-87
• 4.6.1 多分辨率近鄰濾波的對(duì)比實(shí)驗(yàn)84-85
• 4.6.2 基于電路網(wǎng)絡(luò)的多模態(tài)融合加模態(tài)間對(duì)齊增強(qiáng)的對(duì)比實(shí)驗(yàn)85-87
• 4.7 小結(jié)與展望87-88
• 第5章 總結(jié)與展望88-93
• 5.1 本文的技術(shù)路線88-89
• 5.2 本文的貢獻(xiàn)89-90
• 5.3 工作展望90-93
• 參考文獻(xiàn)93-102
• 致謝102-103
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果10

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 韓強(qiáng);;基于廣義Hough變換的手寫文檔整詞定位[J];安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報(bào);2011年05期

2 程剛;鄭小華;陽鋒;徐祖艦;;三維全景視覺技術(shù)在農(nóng)業(yè)機(jī)器人中的應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2010年34期

3 何海燕;施培蓓;;基于改進(jìn)AdaBoost算法的行人檢測方法[J];安慶師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年03期

4 吳慧蘭;劉國棟;劉炳國;胡濤;浦昭邦;;ICF實(shí)驗(yàn)靶定位技術(shù)研究[J];半導(dǎo)體光電;2008年05期

5 陳京;袁保宗;劉渭濱;;多視點(diǎn)標(biāo)定圖像的交替迭代度量重建方法[J];北京交通大學(xué)學(xué)報(bào);2012年02期

6 周峰;劉輝;李超峰;;SIFT算法在圖像配準(zhǔn)中的應(yīng)用[J];辦公自動(dòng)化;2009年22期

7 劉彬;葉麗娜;;一種基于SIFT特征的序列圖像拼接算法[J];兵工自動(dòng)化;2009年06期

8 劉煥敏;王華;段慧芬;;一種改進(jìn)的SIFT雙向匹配算法[J];兵工自動(dòng)化;2009年06期

9 彭勃;周文暉;劉濟(jì)林;;基于Harris角點(diǎn)檢測的立體視覺里程計(jì)[J];兵工學(xué)報(bào);2007年12期

10 陳冰;趙亦工;李欣;;基于高斯尺度空間的末制導(dǎo)目標(biāo)跟蹤方法[J];兵工學(xué)報(bào);2009年05期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 劉善磊;張亮;;基于相位相關(guān)和SURF算法的關(guān)鍵幀實(shí)時(shí)匹配研究[A];江蘇省測繪學(xué)會(huì)2011年學(xué)術(shù)年會(huì)論文集[C];2011年

2 隋樹林;孫立宏;姚文龍;袁健;;融合改進(jìn)UKF/SIFT信息的自主光學(xué)導(dǎo)航方法[A];第二十六屆中國控制會(huì)議論文集[C];2007年

3 汪力;葉樺;夏良正;;利用特征點(diǎn)定位嘴巴[A];第二十六屆中國控制會(huì)議論文集[C];2007年

4 ;Loop-closing By Using SIFT Features for Mobile Robots[A];第二十六屆中國控制會(huì)議論文集[C];2007年

5 周凱;范瑞霞;李位星;;一種基于SIFT的MeanShift-粒子濾波融合跟蹤算法[A];第二十九屆中國控制會(huì)議論文集[C];2010年

6 ;Rapid Target Recognition and Tracking under Large Scale Variation Using Semi-Naive Bayesian[A];第二十九屆中國控制會(huì)議論文集[C];2010年

7 ;A High-level Image Sequence Fusion Algorithm for Human Detection[A];第二十九屆中國控制會(huì)議論文集[C];2010年

8 鄒麗暉;陳杰;張娟;竇麗華;;一種基于時(shí)空域流形的視頻序列圖像拼接算法[A];第二十九屆中國控制會(huì)議論文集[C];2010年

9 ;Machine Vision Based Flotation Froth Mobility Analysis[A];第二十九屆中國控制會(huì)議論文集[C];2010年

10 孫明竹;趙新;程小燕;孫程;盧桂章;;面向復(fù)雜作業(yè)的微操作機(jī)器人關(guān)鍵技術(shù)研究[A];第二十九屆中國控制會(huì)議論文集[C];2010年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王玉全;基于全景視覺的移動(dòng)機(jī)器人同時(shí)定位與地圖創(chuàng)建方法研究[D];哈爾濱工程大學(xué);2010年

2 梁洪;基于內(nèi)容的醫(yī)學(xué)圖像檢索及語義建模關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2010年

3 任楨;圖像分類任務(wù)的關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2010年

4 孔凡芝;引線鍵合視覺檢測關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2009年

5 王作為;具有認(rèn)知能力的智能機(jī)器人行為學(xué)習(xí)方法研究[D];哈爾濱工程大學(xué);2010年

6 肖潔;視覺注意模型及其在目標(biāo)感知中的應(yīng)用研究[D];華中科技大學(xué);2010年

7 朱清波;序列圖像三維重建方法研究[D];華中科技大學(xué);2010年

8 田文;多視圖圖像的快速三維場景重建[D];華中科技大學(xué);2010年

9 涂虬;智能視覺監(jiān)視中目標(biāo)檢測與跟蹤算法研究[D];華中科技大學(xué);2010年

10 章鵬;多尺度特征檢測：方法和應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 宋抗;壓縮機(jī)活塞圓度誤差數(shù)字檢測系統(tǒng)研究[D];河南理工大學(xué);2010年

2 陳忠翔;基于立體視覺的三維重建方法研究[D];南昌航空大學(xué);2010年

3 雒燕飛;地質(zhì)災(zāi)害應(yīng)急地理信息數(shù)據(jù)庫設(shè)計(jì)及其應(yīng)用[D];山東科技大學(xué);2010年

4 唐紅梅;基于輻射與空間信息的遙感圖像檢索[D];山東科技大學(xué);2010年

5 倪希亮;基于尺度不變特征的多源遙感影像配準(zhǔn)[D];山東科技大學(xué);2010年

6 賈偉潔;SAR影像與光學(xué)影像配準(zhǔn)研究[D];山東科技大學(xué);2010年

7 任天宇;自穩(wěn)定航拍系統(tǒng)算法與設(shè)計(jì)[D];長春理工大學(xué);2010年

8 李躍;三維運(yùn)動(dòng)估計(jì)在織物動(dòng)態(tài)仿真中的應(yīng)用[D];浙江理工大學(xué);2010年

9 婁錚錚;sIB算法在圖像無監(jiān)督分類中的應(yīng)用研究[D];鄭州大學(xué);2010年

10 王博;全景視覺智能移動(dòng)機(jī)器人固有環(huán)境定位[D];哈爾濱工程大學(xué);2010年

  本文關(guān)鍵詞：互聯(lián)網(wǎng)圖像搜索中的多模態(tài)融合，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：483949