隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和智能設(shè)備的普及,多模態(tài)數(shù)據(jù)出現(xiàn)了大規(guī)模的增長,跨模態(tài)檢索也引起越來越多的關(guān)注�？缒B(tài)檢索是指利用一種模態(tài)的查詢數(shù)據(jù)檢索與其語義相關(guān)的另一種模態(tài)的數(shù)據(jù),比如用文本檢索與其語義相關(guān)的圖像,以及用圖像檢索與其語義相關(guān)的文本。由于不同模態(tài)的數(shù)據(jù)的特征維度不同,無法直接進(jìn)行相似性度量,因此存在異構(gòu)鴻溝問題。任一種模態(tài)數(shù)據(jù)的底層特征表示和高層語義之間也存在著語義鴻溝問題。為了克服異構(gòu)鴻溝和語義鴻溝這兩個(gè)難題,近年來產(chǎn)生了很多跨模態(tài)檢索方法,如基于子空間學(xué)習(xí)的方法、基于哈希學(xué)習(xí)的方法、基于字典學(xué)習(xí)的方法以及基于深度學(xué)習(xí)的方法等等。這些方法的本質(zhì)都是學(xué)習(xí)一個(gè)共同的空間,并保證多模態(tài)數(shù)據(jù)投影到共同空間后盡可能地保持不同模態(tài)數(shù)據(jù)之間的相關(guān)性和任一種模態(tài)數(shù)據(jù)的結(jié)構(gòu)性。本文主要通過基于子空間學(xué)習(xí)的方法和基于深度哈希的方法對基于相關(guān)性分析和結(jié)構(gòu)保持的跨模態(tài)檢索進(jìn)行了研究,主要工作和貢獻(xiàn)總結(jié)如下:1.提出了一種基于多模態(tài)圖正則化和類中心判別分析的跨模態(tài)檢索（Multi-modal graph regularization based Class Center Discriminant ana... 

【文章來源】：山東師范大學(xué)山東省

【文章頁數(shù)】：118 頁

【學(xué)位級別】：博士

【部分圖文】：

不同模態(tài)的數(shù)據(jù)

山東師范大學(xué)博士學(xué)位論文61.3論文的主要研究內(nèi)容本文主要通過基于子空間學(xué)習(xí)的方法和基于深度哈希的方法對基于相關(guān)性分析和結(jié)構(gòu)保持的跨模態(tài)檢索進(jìn)行了深入研究，主要研究流程如圖1-4所示。設(shè)計(jì)了四種新穎的跨模態(tài)檢索算法，第一種是基于多模態(tài)圖正則化和類中心判別分析的跨模態(tài)檢索算法（第三章），第二種是基于監(jiān)督圖正則化和類內(nèi)類間關(guān)聯(lián)的跨模態(tài)檢索算法（第四章），第三種是一種關(guān)聯(lián)對齊的深度語義跨模態(tài)哈希算法（第五章），第四種是一種基于特定模態(tài)相似性保持的深度跨模態(tài)哈希算法（第六章），其中前兩種是基于子空間學(xué)習(xí)的跨模態(tài)檢索方法，后兩種是基于深度哈希的跨模態(tài)檢索方法。圖1-4本文的主要研究流程1.提出了一種基于多模態(tài)圖正則化和類中心判別分析的跨模態(tài)檢索（Multi-modalgraphregularizationbasedClassCenterDiscriminantanalysisforCrossmodalRetrieval，簡稱CCDCR）算法。為了緩解異構(gòu)鴻溝和語義鴻溝問題，該模型不僅對訓(xùn)練樣本進(jìn)行內(nèi)容相關(guān)性分析和語義相關(guān)性分析，還對類中心樣本進(jìn)行內(nèi)容相關(guān)性分析和語義相關(guān)性分析。為了保證多模態(tài)數(shù)據(jù)在投影到共同子空間后其相似關(guān)系保持不變從而進(jìn)一步提高檢索精度，該模型不僅用全部的圖-文樣本構(gòu)建模態(tài)間相似圖，還用類中心樣本構(gòu)建模態(tài)內(nèi)相似圖和模態(tài)間相似圖。由全部的圖-文樣本構(gòu)建的模態(tài)間相似圖保證了圖-文對投影后的語義關(guān)系不變，由類中心樣本構(gòu)建的模態(tài)內(nèi)相似圖和模態(tài)間相似圖保持了數(shù)據(jù)的局部幾何結(jié)構(gòu)信息和全局幾何結(jié)構(gòu)信息，從而增強(qiáng)了模型的判別能力并進(jìn)一步提高了檢索精度。2.針對CCDCR算法在構(gòu)建圖模型時(shí)僅考慮了樣本的近鄰關(guān)系，而沒有分別考慮同類樣本的近鄰關(guān)系和異類樣本的近鄰關(guān)系這一缺陷，提出了一種基于監(jiān)督圖正則化和類內(nèi)類間關(guān)聯(lián)的跨模態(tài)檢索（Supervi

山東師范大學(xué)博士學(xué)位論文21圖3-1簡單的無向圖在這里對本文采用的拉普拉斯特征映射（LaplacianEigenmaps，LE）降維方法做一個(gè)簡要介紹：給定一個(gè)有n個(gè)頂點(diǎn)的無向圖G(V,W)，其中V表示頂點(diǎn)，圖中的每一個(gè)頂點(diǎn)代表一個(gè)數(shù)據(jù)，W表示圖的相似度矩陣，每一條邊的權(quán)值代表數(shù)據(jù)之間的相似程度，兩個(gè)數(shù)據(jù)之間越相似則權(quán)值越大。圖3-1所示為一個(gè)簡單的無向圖，圖中各個(gè)數(shù)據(jù)點(diǎn)之間由相應(yīng)的邊來連接，通過使用一種度量方式（如歐式距離、高斯核函數(shù)等）來定義任意兩個(gè)數(shù)據(jù)點(diǎn)i與數(shù)據(jù)點(diǎn)j之間的相似度（權(quán)值）ijw，從而得到對稱的相似度矩陣ijWw。與任一數(shù)據(jù)點(diǎn)i鄰接的所有邊的相似度之和定義為該數(shù)據(jù)點(diǎn)的度1niiijjdw，由多個(gè)d構(gòu)成了度矩陣D：1indDdd(3-1)拉普拉斯矩陣一般定義為LDW。此外，另外一種更為常用的拉普拉斯矩陣形式是規(guī)范化的拉普拉斯矩陣，定義為：1/21/2LIDWD，其中I為單位矩陣。拉普拉斯特征映射降維方法的目的是：在降維的同時(shí)保證兩個(gè)相似的數(shù)據(jù)點(diǎn)i和數(shù)據(jù)點(diǎn)j在降維后的空間中也盡可能地相似（即距離盡可能地�。虼四繕�(biāo)函數(shù)為：211minnnijijijffw(3-2)其中列向量if和jf為數(shù)據(jù)點(diǎn)i和數(shù)據(jù)點(diǎn)j降維后的特征表示。當(dāng)公式3-2中ijw較大（即數(shù)據(jù)點(diǎn)i與數(shù)據(jù)點(diǎn)j在原空間中相似度較大）時(shí)，最小化公式3-2即懲罰ijff項(xiàng)，這使得數(shù)據(jù)點(diǎn)i與數(shù)據(jù)點(diǎn)j在降維后的空間中的距離盡可能地校又因?yàn)椋?112tr()nnTijijijffwFLF(3-3)

【參考文獻(xiàn)】：
期刊論文
[1]天然氣企業(yè)產(chǎn)業(yè)升級模式研究[J]. 朱瑞崴,茹志鴻.  石油化工技術(shù)與經(jīng)濟(jì). 2020(01)
[2]語義耦合相關(guān)的判別式跨模態(tài)哈希學(xué)習(xí)算法[J]. 嚴(yán)雙詠,劉長紅,江愛文,葉繼華,王明文.  計(jì)算機(jī)學(xué)報(bào). 2019(01)
[3]跨媒體語義共享子空間學(xué)習(xí)研究進(jìn)展[J]. 張磊,趙耀,朱振峰.  計(jì)算機(jī)學(xué)報(bào). 2017(06)
[4]辛開苦降法治療潰瘍性結(jié)腸炎臨床研究[J]. 張則甫,靳淑紅,崔利宏.  中醫(yī)學(xué)報(bào). 2016(04)
[5]一種基于內(nèi)容相關(guān)性的跨媒體檢索方法[J]. 張鴻,吳飛,莊越挺,陳建勛.  計(jì)算機(jī)學(xué)報(bào). 2008(05)

博士論文
[1]基于深度學(xué)習(xí)的跨模態(tài)檢索研究[D]. 馮方向.北京郵電大學(xué) 2015
[2]基于哈希算法的海量多媒體數(shù)據(jù)檢索研究[D]. 金仲明.浙江大學(xué) 2015

碩士論文
[1]基于深度模型學(xué)習(xí)的跨模態(tài)檢索[D]. 陳小平.北京郵電大學(xué) 2018



本文編號：3284135