隨著互聯(lián)網(wǎng)的發(fā)展,每天都有大量的多媒體文件產(chǎn)生,如何在海量數(shù)據(jù)中檢索相關(guān)內(nèi)容成為了科研人員重點關(guān)注的內(nèi)容。傳統(tǒng)的檢索方法是在同一模態(tài)的數(shù)據(jù)中進行檢索,如:圖片檢索、文本檢索等,這種檢索方式反饋的結(jié)果類型單一、形式不靈活,無法滿足人們的需求,因此很多科研人員開始研究跨模態(tài)檢索問題�？缒B(tài)檢索是在不同的媒體數(shù)據(jù)中進行檢索,通常用某種類型的數(shù)據(jù)查詢得到內(nèi)容相關(guān)的其他類型文件,例如:圖片檢索文本、文本檢索圖片等。和傳統(tǒng)的檢索方法相比,跨模態(tài)檢索的反饋結(jié)果包含的信息更加豐富,不同的媒體文件間內(nèi)容互補,給人們帶來良好的檢索體驗。但是不同模態(tài)的數(shù)據(jù)間存在著異構(gòu)鴻溝,如特征提取方式不同、特征維度空間不同、數(shù)據(jù)分布不同等,我們無法直接計算不同媒體文件間的相關(guān)程度。因此,如何縮小不同模態(tài)間的異構(gòu)差異成為了跨模態(tài)檢索要解決的難點問題。受到領(lǐng)域適配中特征遷移的啟發(fā),我們將域適應(yīng)能力融入在子空間學(xué)習(xí)中,提取出具有域間不變性的特征,這樣我們可以在子空間中直接計算不同模態(tài)樣本間的相關(guān)程度,從而得到相應(yīng)的檢索結(jié)果。本文提出了兩種算法來解決跨模態(tài)檢索問題,主要工作如下:1.傳統(tǒng)的子空間算法重點關(guān)注的是同一模態(tài)內(nèi)部的結(jié)構(gòu)... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 跨模態(tài)檢索研究現(xiàn)狀
        1.2.2 領(lǐng)域適配研究現(xiàn)狀
    1.3 本文的主要貢獻與創(chuàng)新
    1.4 結(jié)構(gòu)安排
第二章 跨模態(tài)檢索相關(guān)研究工作
    2.1 圖片特征表達
        2.1.1 顏色信息
        2.1.2 紋理信息
        2.1.3 SIFT算法
        2.1.4 Gist算法
        2.1.5 卷積神經(jīng)網(wǎng)絡(luò)
    2.2 文本特征表達
        2.2.1 詞袋模型
        2.2.2 Word2vector
        2.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.2.4 長短時記憶網(wǎng)絡(luò)
    2.3 經(jīng)典算法介紹
        2.3.1 典型相關(guān)分析法
        2.3.2 核典型相關(guān)分析法
        2.3.3 深度典型相關(guān)分析法
        2.3.4 LCFS算法
    2.4 本章小結(jié)
第三章 基于子空間學(xué)習(xí)的跨模態(tài)檢索
    3.1 子空間學(xué)習(xí)算法
        3.1.1 數(shù)學(xué)標(biāo)識
        3.1.2 分類誤差
        3.1.3 拉普拉斯圖正則
        3.1.4 損失函數(shù)
    3.2 算法優(yōu)化
    3.3 實驗內(nèi)容與分析
        3.3.1 數(shù)據(jù)集介紹
        3.3.2 評價指標(biāo)
        3.3.3 實驗結(jié)果
            3.3.3.1 Wiki低維特征
            3.3.3.2 Wiki高維特征
            3.3.3.3 Pascal Sentence
            3.3.3.4 Pascal VOC
        3.3.4 算法深度分析
            3.3.4.1 收斂速度
            3.3.4.2 時間復(fù)雜度
            3.3.4.3 參數(shù)敏感度
            3.3.4.4 算法優(yōu)勢與不足
    3.4 本章小結(jié)
第四章 基于多空間學(xué)習(xí)的跨模態(tài)檢索
    4.1 預(yù)備知識
        4.1.1 VGG網(wǎng)絡(luò)結(jié)構(gòu)
        4.1.2 Autoencoder
    4.2 多空間學(xué)習(xí)算法實現(xiàn)
        4.2.1 數(shù)學(xué)標(biāo)識
        4.2.2 公共子空間的學(xué)習(xí)過程
        4.2.3 私有空間的學(xué)習(xí)過程
        4.2.4 代價函數(shù)
    4.3 實驗內(nèi)容與分析
        4.3.1 參數(shù)設(shè)置
        4.3.2 數(shù)據(jù)集
        4.3.3 對比方法
        4.3.4 評價指標(biāo)
        4.3.5 實驗結(jié)果
            4.3.5.1 Wiki低維特征
            4.3.5.2 Pascal VOC
            4.3.5.3 Wiki高維特征
            4.3.5.4 Pascal Sentence
        4.3.6 算法深度分析
            4.3.6.1 參數(shù)敏感度
            4.3.6.2 收斂速度
            4.3.6.3 各模塊作用
            4.3.6.4 結(jié)果可視化
            4.3.6.5 算法優(yōu)勢與不足
    4.4 本章小結(jié)
第五章 全文總結(jié)與展望
    5.1 全文總結(jié)
    5.2 后續(xù)工作展望
致謝
參考文獻
攻碩期間取得的研究成果


【參考文獻】：
期刊論文
[1]基于潛在語義空間的文本檢索問題研究[J]. 劉海峰,王元元,張學(xué)仁.  情報科學(xué). 2007(05)
[2]基于內(nèi)容的圖像檢索技術(shù)研究[J]. 黃祥林,沈蘭蓀.  電子學(xué)報. 2002(07)
[3]基于概念空間的文本檢索系統(tǒng)[J]. 鄭毅,吳斌,史忠植.  計算機工程與應(yīng)用. 2002(12)
[4]基于內(nèi)容的圖像檢索技術(shù)與系統(tǒng)[J]. 李向陽,莊越挺,潘云鶴.  計算機研究與發(fā)展. 2001(03)



本文編號：3390843