跨模態(tài)檢索（Cross-Modal Retrieval）旨在為不同模態(tài)的多媒體數(shù)據(jù)（如圖像,文本,視頻等）提供相互檢索的能力。相較于傳統(tǒng)的單模態(tài)數(shù)據(jù)檢索（如圖像檢索圖像）,跨模態(tài)檢索能夠提供更加多樣化的檢索體驗,如使用視頻數(shù)據(jù)檢索相關(guān)的文本描述等。但是由于不同的多媒體數(shù)據(jù)往往具有不同的數(shù)據(jù)分布,因此無法直接利用傳統(tǒng)相似性度量手段對它們之間的相似度進行度量。當前主流的解決方案是先將不同的多模態(tài)數(shù)據(jù)映射到一個公共的子空間中,然后依據(jù)它們在該公共子空間內(nèi)的相似度作為度量依據(jù)檢索相似的樣本。為了進一步減少大規(guī)模數(shù)據(jù)在進行跨模態(tài)檢索時所需的存儲空間和計算復雜度,基于哈希學習的跨模態(tài)檢索算法在近年來得到了廣泛的關(guān)注,本文主要探討如何設(shè)計出更加有效的跨模態(tài)哈希算法。首先,本文提出了基于圖卷積神經(jīng)網(wǎng)絡(luò)的半監(jiān)督跨模態(tài)哈希算法（SGCH）。由于現(xiàn)有的跨模態(tài)哈希方法絕大多數(shù)是有監(jiān)督的,需要人為對訓練數(shù)據(jù)進行標注,因此當數(shù)據(jù)規(guī)模較大時人力資源的消耗也是巨大的。而半監(jiān)督跨模態(tài)哈希方法通過利用少量有標注樣本和大量無標注數(shù)據(jù)進行訓練,能夠取得接近于有監(jiān)督方法的性能,因此具有更好的實用性。SGCH首先通過圖建模（Gr... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

跨模態(tài)檢索示例

第一章緒論2圖1-1跨模態(tài)檢索示例的語義相關(guān)性。圖1-2展示了基于子空間學習的圖像和文本跨模態(tài)檢索示意圖，其中包含訓練以及測試（Inference）階段。在訓練階段，我們根據(jù)訓練數(shù)據(jù)學習圖像映射矩陣和文本映射矩陣，以此來分別將原始圖像和文本數(shù)據(jù)映射到低維的子空間中，并且使得原始數(shù)據(jù)在子空間中的坐標（特征）能夠較好地反映它們的語義關(guān)系。而在測試階段，我們根據(jù)用戶輸入的模態(tài)類別，使用相應(yīng)的映射矩陣將輸入數(shù)據(jù)映射到之前學習好的子空間中，然后找到距離它最近的top-K個數(shù)據(jù)作為結(jié)果返回給用戶。圖1-2公共子空間映射示意圖隨著互聯(lián)網(wǎng)中的多媒體數(shù)據(jù)（如圖片，視頻，文字等）呈現(xiàn)爆炸性的增長，傳統(tǒng)基于連續(xù)值的跨模態(tài)檢索算法已經(jīng)不再適用，為了能夠更加高效地對大規(guī)模多模態(tài)數(shù)據(jù)進行存儲以及檢索，基于哈希編碼的跨模態(tài)檢索算法（Cross-ModalHashing,a.k.a.CMH）成為了學術(shù)界以及工業(yè)界的研究熱點。哈希方法（Hashing[4]）被廣泛地應(yīng)用于近似最近鄰搜索（ApproximateNearestNeighborSearch,a.k.a.ANN）等任務(wù)中，它通過學習原始數(shù)據(jù)的低維二進制表示（哈希編碼），使用{0,1}或{-1,1}等二值編碼來代替原始的連續(xù)性數(shù)據(jù)，并且盡可能地保留原始數(shù)據(jù)之間的鄰近關(guān)系，即對于原始空間中相似的數(shù)據(jù)，其哈希編碼也盡可能的相似，反之，

第一章緒論2圖1-1跨模態(tài)檢索示例的語義相關(guān)性。圖1-2展示了基于子空間學習的圖像和文本跨模態(tài)檢索示意圖，其中包含訓練以及測試（Inference）階段。在訓練階段，我們根據(jù)訓練數(shù)據(jù)學習圖像映射矩陣和文本映射矩陣，以此來分別將原始圖像和文本數(shù)據(jù)映射到低維的子空間中，并且使得原始數(shù)據(jù)在子空間中的坐標（特征）能夠較好地反映它們的語義關(guān)系。而在測試階段，我們根據(jù)用戶輸入的模態(tài)類別，使用相應(yīng)的映射矩陣將輸入數(shù)據(jù)映射到之前學習好的子空間中，然后找到距離它最近的top-K個數(shù)據(jù)作為結(jié)果返回給用戶。圖1-2公共子空間映射示意圖隨著互聯(lián)網(wǎng)中的多媒體數(shù)據(jù)（如圖片，視頻，文字等）呈現(xiàn)爆炸性的增長，傳統(tǒng)基于連續(xù)值的跨模態(tài)檢索算法已經(jīng)不再適用，為了能夠更加高效地對大規(guī)模多模態(tài)數(shù)據(jù)進行存儲以及檢索，基于哈希編碼的跨模態(tài)檢索算法（Cross-ModalHashing,a.k.a.CMH）成為了學術(shù)界以及工業(yè)界的研究熱點。哈希方法（Hashing[4]）被廣泛地應(yīng)用于近似最近鄰搜索（ApproximateNearestNeighborSearch,a.k.a.ANN）等任務(wù)中，它通過學習原始數(shù)據(jù)的低維二進制表示（哈希編碼），使用{0,1}或{-1,1}等二值編碼來代替原始的連續(xù)性數(shù)據(jù)，并且盡可能地保留原始數(shù)據(jù)之間的鄰近關(guān)系，即對于原始空間中相似的數(shù)據(jù)，其哈希編碼也盡可能的相似，反之，

【參考文獻】：
期刊論文
[1]大數(shù)據(jù)哈希學習:現(xiàn)狀與趨勢[J]. 李武軍,周志華.  科學通報. 2015(Z1)



本文編號：3019613