【摘要】：隨著信息技術(shù)和社交網(wǎng)絡(luò)的迅猛發(fā)展,數(shù)字圖像、文本、音頻、視頻等跨媒體數(shù)據(jù)正在改變著人們的生活和工作方式。如何使計算機(jī)理解跨媒體數(shù)據(jù)的語義內(nèi)容和分析跨媒體數(shù)據(jù)之間的關(guān)聯(lián),已經(jīng)成為跨媒體和模式識別領(lǐng)域的重要研究課題。本文以跨媒體數(shù)據(jù)為研究對象,針對跨媒體語義增強(qiáng)、跨媒體檢索和多標(biāo)簽屬性學(xué)習(xí)等關(guān)鍵問題開展了深入的研究工作,論文的主要創(chuàng)新性研究成果包括：1.提出一種跨媒體語義增強(qiáng)框架,并應(yīng)用于基于內(nèi)容的圖像檢索。跨媒體語義增強(qiáng)的目標(biāo)是通過利用視覺特征和文本特征之間的對應(yīng)關(guān)系,尋求一種有效的映射機(jī)制�；谶@種映射,視覺特征的雜亂分布特性可以通過具有顯著判別分布特性的文本特征進(jìn)行改善。實驗結(jié)果表明該方法可以有效地提升圖像檢索任務(wù)的性能。2.提出一種任務(wù)驅(qū)動的跨媒體檢索算法(Task-specific Cross-media Retrieval,簡稱TSCR). TSCR通過聯(lián)合優(yōu)化成對圖像和文本之間的相關(guān)性以及某種模態(tài)(文本或圖像)特征向其對應(yīng)語義空間的線性回歸,從而獲得兩組將文本和圖像原始特征投影到同構(gòu)空間中的映射矩陣,分別用于圖像檢索文本和文本檢索圖像。實驗結(jié)果驗證了TSCR算法的有效性。3.提出一種深度語義匹配(deep Semantic Matching,簡稱deep-SM)算法用來解決跨媒體檢索問題。deep-SM通過兩種不同的深度神經(jīng)網(wǎng)絡(luò)將圖像和文本映射到同構(gòu)的語義空間中,進(jìn)而實現(xiàn)兩種模態(tài)數(shù)據(jù)之間的跨媒體檢索。同時對比分析深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,簡稱CNN)的視覺特征對跨媒體檢索的影響。實驗結(jié)果驗證了deep-SM算法和CNN視覺特征對跨媒體檢索的有效性。4.提出一種HCP (Hypotheses-CNN-Pooling)深度學(xué)習(xí)框架用于解決多標(biāo)簽屬性分類問題。HCP利用一種似物性推薦框(Hypotheses)篩選方法對每張多標(biāo)簽圖片選取了少量具有代表性的Hypotheses,并通過共享的CNN和跨Hypotheses的池化(Pooling)策略構(gòu)建了一個有效的多標(biāo)簽預(yù)測框架.HCP通過端到端的方式進(jìn)行訓(xùn)練并在Pascal VOC 2007和VOC 2012兩個數(shù)據(jù)集上獲得了國際領(lǐng)先的分類性能。
【圖文】：

及心心及互聯(lián)網(wǎng)技術(shù)和社交網(wǎng)絡(luò)的飛速發(fā)展，人們越來越習(xí)慣于在互聯(lián)網(wǎng)中通過逡逑各種社交網(wǎng)絡(luò)（如Q啠椋悖耄頡ⅲ裕鰨椋簦簦澹頡ⅲ疲幔悖澹猓錚錚�、ＹｅP酰簦酰猓�、优酷、袇嗡微博谍x├村義戲⒉枷喙氐畝嗝教迨蕁Ｍ跡保哺雋說鼻耙恍┲計窒磽鏡淖⒉崛嗽筆義狹�？。据统计，删|煌紓疲幔悖澹猓錚錚朊刻斕鈉驕洗計吭冢幣謖派�，其总辶x鮮考壕�，０００抑q�；知名陀嫭分洗擑涨G疲歟椋悖耄蠔停桑睿螅歟幔紓潁幔淼納洗計芾镥義弦卜直鶇锏攪隋澹叮耙謖藕停保耙謖牛唬裕鰨椋簦簦澹蠣刻旆⒉嫉模裕鰨澹澹簦笫砍保匆諤酰誨義希伲錚蹩郟猓迕糠種由洗氖悠凳背こ保埃靶∈�。�些大規(guī)模的多媒體數(shù)據(jù)在高層逡逑語義上通常具有較強(qiáng)關(guān)聯(lián)性，同時與其相關(guān)的標(biāo)注信息和用戶評論信息也可ｔＵ反逡逑映出這些數(shù)據(jù)的語義內(nèi)容。逡逑在跨媒體數(shù)據(jù)飛速發(fā)展的背景下，利用跨媒體之間的關(guān)聯(lián)性，深入理解和挖逡逑掘數(shù)據(jù)中所包含的信息，，對人們的生活和社會的發(fā)展都具有重要意義。首先，通逡逑過對社交網(wǎng)絡(luò)中網(wǎng)民發(fā)布的圖片和評論等跨媒體數(shù)據(jù)進(jìn)行分析，可有效了解群逡逑眾對當(dāng)前一些熱點話題的看法或預(yù)測出影響公共安全的社會問題，幫助政府部口逡逑或相關(guān)機(jī)構(gòu)制定相應(yīng)的應(yīng)對策略。其次

用于解決文本和圖像之間的跨媒體檢索問題。文獻(xiàn)ＵＷ通過引入第Ｈ種高層語義逡逑的視角信息，使得具有相同語義的文本和圖巧在同構(gòu)空間中具有良好的聚集性。逡逑圖２．２給出了三視角ＣＣＡ方法的示意圖。假設(shè)共有ｎ姐訓(xùn)練數(shù)據(jù)，每一組訓(xùn)練逡逑數(shù)據(jù)包含一個Ｖ維的視覺特征，一個／維的文本特征和一個Ｃ維的氋層語義特逡逑征。令訓(xùn)練數(shù)據(jù)中的圖像、文本和語義信息對應(yīng)的特征矩陣分別是ＸｉｅＲ＂ｘｖ，逡逑NB２邋６邋Ｒ＂ｗ和Ａ邋ｅ及定義的？）為將特征從原始空間映射到另外一個非線性核空逡逑間的核函數(shù)，進(jìn)而三視角ＣＣＡ的目標(biāo)是通過優(yōu)化映射矩陣Ｗ，片＝１，２，３）將文本逡逑和圖像從巧維的非線性空間中映射到低維的同構(gòu)空間中，使得具有同樣語義的文逡逑本和困像在同構(gòu)空間中的距離最小。其對應(yīng)的優(yōu)化公式為，逡逑熱Ｖ乏ＪＩａ化）Ｗ邋－的斯Ｗ｜倍邐口邋７）逡逑王Ｗｆ邋完ａＷ邋＝邐＝邋０，１．邋Ｊ邋＝邋１，…，３，邋＊邋NB邋＊，；邋＝邋１，邋－邋．．邋，邋ｄ，邋Ａ邋幸邋／逡逑其中２：ｙ為化）巧e�？（与）的协分v罹卣螅鰨崾牽

本文編號：2578257