隨著互聯(lián)網(wǎng)紀(jì)元的來(lái)臨,每天有大量的數(shù)字信息被請(qǐng)求與傳輸。這些數(shù)碼訊息有著文字、圖片、視頻、音頻等各自不同的模態(tài)種類(lèi),針對(duì)此類(lèi)多模態(tài)數(shù)據(jù)的相關(guān)檢索操作也逐漸被人們所重視。此外,由于數(shù)字博物館與資料數(shù)字化的進(jìn)展,以中國(guó)書(shū)畫(huà)為數(shù)據(jù)源產(chǎn)生了大量的相關(guān)圖像、文本等數(shù)字信息,如何更好地整理與利用此類(lèi)數(shù)據(jù),更有效的完成跨模態(tài)檢索任務(wù),也成為多模態(tài)數(shù)據(jù)研究領(lǐng)域中一個(gè)重要的分支。本文以文本和圖像兩個(gè)具有差異的模態(tài)數(shù)據(jù)為切入點(diǎn),旨在充分發(fā)掘二者底層特征與高層語(yǔ)義的關(guān)聯(lián)性,利用獨(dú)特的特征融合方法完成跨模態(tài)檢索任務(wù)。主要工作包含下述內(nèi)容:（1）針對(duì)中國(guó)書(shū)畫(huà)數(shù)據(jù)的特殊性與當(dāng)前主流方式的局限性,提出了基于特征融合的跨模態(tài)檢索方法。該方法充分利用了預(yù)訓(xùn)練語(yǔ)言模型與卷積神經(jīng)網(wǎng)絡(luò)在文本與圖像特征獲取的優(yōu)勢(shì),提出一種特征融合方法將二者有機(jī)的結(jié)合,完成了由文本至圖像以及圖文組合搜索的跨模態(tài)檢索任務(wù)。并將該方法在公開(kāi)數(shù)據(jù)集Fashion200K與MIT-States上進(jìn)行了相關(guān)實(shí)驗(yàn),通過(guò)與其余幾種不同模態(tài)特征的融合方法做對(duì)比,證明了所設(shè)計(jì)方法在跨模態(tài)檢索性能提升上的有效性。同時(shí),針對(duì)中國(guó)書(shū)畫(huà)數(shù)據(jù),構(gòu)建了帶有標(biāo)簽的書(shū)畫(huà)圖像數(shù)據(jù)... 

【文章來(lái)源】：北京化工大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：94 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１－１區(qū)域圖的分割與構(gòu)建??Ｆｉｇ．１－１?Ｓｅｇｍｅｎｔａｔｉｏｎ?ａｎｄ?ｃｏｎｓｔｒｕｃｔｉｏｎ?ｏｆ?ｒｅｇｉｏｎａｌ?ｍａｐ??

務(wù)。經(jīng)典的共訓(xùn)練方法有：基于最佳預(yù)測(cè)值的Ｃｏ－ＥＭ模型基??于Ｃｏ－ＥＭ的ＳＶＭ模型［９］：協(xié)同訓(xùn)練復(fù)原模型ＣｏＲＥＧ［ｉｇ］等。??（２）多核學(xué)習(xí)方法??多核學(xué)習(xí)方法屬于機(jī)器學(xué)習(xí)中的一類(lèi)，它的核心思想為預(yù)先自定義一個(gè)或一組核??函數(shù)，之后通過(guò)學(xué)習(xí)訓(xùn)練而得到一種基于此種函數(shù)的優(yōu)化方法，該方法可以是線性或??者是非線性，最后利用這種這種優(yōu)化方法去實(shí)現(xiàn)具體任務(wù)。每個(gè)核函數(shù)都是一種針對(duì)??原始數(shù)據(jù)的虛設(shè)，它可以被定義為某種相似度概念、某種分類(lèi)器或某個(gè)量化的回歸值。??根據(jù)文獻(xiàn)［１１］，如圖１－２，多核學(xué)習(xí)方法有下面兩種方式：１）不一樣的核函數(shù)對(duì)應(yīng)著各??自的相似度概念，學(xué)習(xí)函數(shù)會(huì)選擇最有效的核函數(shù)計(jì)算值或重組所有的核函數(shù)計(jì)算??值，由于該種方式使用了全部模態(tài)的數(shù)據(jù)以實(shí)現(xiàn)所有核的學(xué)習(xí)，所以并不能被應(yīng)用至??多模態(tài)融合學(xué)習(xí)；２）因?yàn)獒槍?duì)差異模態(tài)數(shù)據(jù)訓(xùn)練了各自的核函數(shù)，所以該種方法結(jié)??合了全部的核學(xué)習(xí)成果，即可看為對(duì)全部模態(tài)數(shù)據(jù)實(shí)現(xiàn)融合。針對(duì)多核學(xué)習(xí)成果的組??合算法可整體劃分成以下三種類(lèi)別：線性、非線性以及數(shù)據(jù)依賴(lài)整合［｜１］。?????Ｋｅｒｎｅｌ?ｗ?Ｕｎｉｆｉｅｄ??ｄａｔａ?欠?Ｋｅｒｎｅｌ?２??‘?Ｉ?？??＼?上＿＿＿?Ｌｅａｒｎｉｎｇ?Ｋｅｒｎｅｌ??＼?……??１??Ｔｌｉｎｅａ：??３．?Ｄａｔａ．Ｄｅｐｅｎｄｅｎｔ??圖１－２多核學(xué)習(xí)方法流程??Ｆｉｇ．１－２?Ｐｒｏｃｅｄｕｒｅｓ?ｏｆ?Ｍｕｌｔｉ－Ｋｅｎｅｒｌ?ｌｅａｒｎｉｎｇ??正因?yàn)槎嗪藢W(xué)習(xí)方法中不同的核函數(shù)對(duì)應(yīng)了不同模態(tài)的數(shù)據(jù)，所以對(duì)每個(gè)核函數(shù)??采取對(duì)應(yīng)的調(diào)整與優(yōu)化便可以有效改善學(xué)習(xí)結(jié)果的性能，并應(yīng)用至多模態(tài)任務(wù)之中。?

?第一章緒論???的任務(wù)［｜４］。文獻(xiàn)［１５］提出了一種基于多核離散表示的歸類(lèi)學(xué)習(xí)方法，該方法將離散編碼??與字典學(xué)習(xí)的方式一起應(yīng)用至多核空間中，利用相似核合并以及離散系數(shù)計(jì)算來(lái)獲得??核的權(quán)重優(yōu)化，并使用該方法有效的完成了人臉識(shí)別任務(wù)。??（３）子空間學(xué)習(xí)方法??如圖１－３所示，子空間學(xué)習(xí)方法是建立在所有模態(tài)數(shù)據(jù)都能夠被投射至相同的共??享子空間中，在該同結(jié)構(gòu)共享空間中則能夠?qū)崿F(xiàn)數(shù)據(jù)的聚類(lèi)與分類(lèi)等操作。??？??Ｓｐａｃｅ?１?〇０??ｒ?°［ｘ?Ｓｈａｒｅｄ??＾－７?女一〇?〇＇°ｖ?Ｓｕｂｓｐａｃｅ??陽(yáng)々?：減Ｓ?｜??ｄａｔａ?：?〇〇ｌ?〇??Ｓｐａｃｅ?ｎ?°?〇??４?？？Ｖ?＊??＾?°?Ａ??圖１－３共享子空間學(xué)習(xí)??Ｆｉｇ．?１－３?Ｓｈａｒｅｄ?ｓｕｂｓｐａｃｅ?ｌｅａｒｎｉｎｇ??起初，Ｈａｒｄｏｏｎ?等人利用典型相關(guān)分析（Ｃａｎｏｎｉｃａｌ?Ｃｏｒｒｅｌａｔｉｏｎ?Ａｎａｌｙｓｉｓ，ＣＣＡ）的??策略將差異模態(tài)間的數(shù)據(jù)完成極限程度關(guān)聯(lián)ｎ６］，從而學(xué)習(xí)出最優(yōu)的共享子空間，并得??到各個(gè)模態(tài)所相應(yīng)的映射矩陣。以此思想為基礎(chǔ)，Ｐｅｒｅｉｒａ等人提出ＣＣＡ的負(fù)線性??優(yōu)化策略，即基于核ＣＣＡ?（ＫｅｎｅｒｌＣＣＡ，ＫＣＣＡ）的同享子空間學(xué)習(xí)方法。此方法先??采用非線性轉(zhuǎn)換的方式實(shí)現(xiàn)由數(shù)據(jù)點(diǎn)至高維數(shù)據(jù)結(jié)構(gòu)的投影，之后再使用線性的ＣＣＡ??實(shí)現(xiàn)共享子空間的學(xué)習(xí)。ＣＣＡ和ＫＣＣＡ算法都屬于無(wú)監(jiān)督學(xué)習(xí)，而Ｋａｎ等人提出??的多模態(tài)判斷分析方法為有監(jiān)督學(xué)習(xí)方式，該方法利用帶有標(biāo)注的數(shù)據(jù)去學(xué)習(xí)獲得效??果更優(yōu)的投影矩陣，從而使差異模態(tài)數(shù)據(jù)間的相關(guān)程度進(jìn)一步增加。??（４）概率依賴(lài)方

【參考文獻(xiàn)】：
博士論文
[1]多模態(tài)數(shù)據(jù)融合算法研究[D]. 趙亮.大連理工大學(xué) 2018
[2]唐寅書(shū)畫(huà)鑒定研究[D]. 車(chē)旭東.南京大學(xué) 2018

碩士論文
[1]基于深度學(xué)習(xí)的圖像檢索技術(shù)[D]. 陳寶盈.南京郵電大學(xué) 2019
[2]基于深度學(xué)習(xí)的跨模態(tài)圖文檢索方法研究[D]. 趙天.桂林電子科技大學(xué) 2019
[3]基于BERT詞向量和Attention-CNN的智能司法研究[D]. 楊彬.大連理工大學(xué) 2019



本文編號(hào)：3562713