發(fā)布時間：2021-02-26 15:18

　　隨著計算機技術(shù)的日益進步,數(shù)據(jù)的收集來源和應(yīng)用方式變得越來越多樣化、復(fù)雜化。這些針對同一對象的從不同來源獲取或者從不同角度刻畫的數(shù)據(jù),我們稱之為多模態(tài)數(shù)據(jù)。從不同來源獲取的數(shù)據(jù),我們稱之為異源多模態(tài)數(shù)據(jù);反之來源單一,但是可以從不同角度刻畫的數(shù)據(jù),我們稱之為同源多模態(tài)數(shù)據(jù)。如何從這些多模態(tài)數(shù)據(jù)中提取特征并加以利用的研究稱為多模態(tài)學(xué)習。近幾年,得益于計算機性能的大幅度提升,深度學(xué)習技術(shù)日益成熟,因而許多研究人員為了能夠更有效地從這些多模態(tài)數(shù)據(jù)中提取有價值的特征,結(jié)合不同的數(shù)據(jù)特點以及應(yīng)用場景特點,提出許多基于不同的深度學(xué)習構(gòu)件的多模態(tài)數(shù)據(jù)應(yīng)用算法。然而,現(xiàn)有的多模態(tài)數(shù)據(jù)研究中仍然存在著一些問題沒有被很好地解決,例如數(shù)據(jù)的模態(tài)不一致、表示復(fù)雜以及信息匱乏等。于是,本文分別針對異源及同源多模態(tài)數(shù)據(jù)在多個應(yīng)用場景中存在的問題,從以下三個方面進行研究,并且提出了相應(yīng)的解決方法:1.異源多模態(tài)數(shù)據(jù)模態(tài)不一致問題研究。大多數(shù)現(xiàn)有的異源多模態(tài)方法都會利用模態(tài)一致性來降低學(xué)習問題的復(fù)雜性。模態(tài)一致性是指同一對象的不同模態(tài)示例之間內(nèi)容一致。為了保持這種模態(tài)間的一致性,我們需要保證獲取的數(shù)據(jù)模態(tài)完整,否則模... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：95 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．１關(guān)于多模態(tài)數(shù)據(jù)中模態(tài)缺失問題示例

即樣本內(nèi)容與數(shù)據(jù)集不一致。??影響多模態(tài)算法魯棒性的重要障礙。在多模態(tài)不一致異常數(shù)據(jù)中，主要有兩種??類型，如圖２．２所示。其中，前兩行的樣例代表正常數(shù)據(jù)，而第三行的是類異??常數(shù)據(jù)（因為圖片和文本描述的內(nèi)容不一致），第四行則是屬性異常數(shù)據(jù)（因為這??是一個不相關(guān)的廣告數(shù)據(jù)，與數(shù)據(jù)集整體內(nèi)容不一致）。為了解決這類問題，我??們引入一種深度能量模型構(gòu)件ＤＳＥＢＭｓ?［１３８］對ＤＣＣＡＥ基本框架進行改進。具??體來說，能量函數(shù)是某個確定的深度祌經(jīng)網(wǎng)絡(luò)的輸出，如ＭＬＰ、ＣＮＮ、ＲＮＮ??等。一個能量函數(shù)可以被表示為一個Ｌ層的深度ＥＢＭ結(jié)構(gòu)：??１?Ｎｌ??＝?７：Ｗｘｉｋ?￣?＾＇＼＼ｉ?￣?＾?Ｖ／??２?Ｕ?（２．２）??ｓ．ｔ．?ｈｉ?＝?ｇ｛ｆ?（ｈｉ＾＼）），?ｌｅ｛ｌ，－－－，Ｌ］??其中，ｙｖ，是第／層的維度，而ｇＵ）表示函數(shù)細（ｉ?＋?ｐ）。此外，／（ｕ則表??示某個具體的網(wǎng)絡(luò)結(jié)構(gòu)。例如，對于全連接網(wǎng)絡(luò)，／（／／Ｍ）?＝?ｅ??ｅ?Ｒ＇?／＾）表示前一層的輸出。除此之外

中左側(cè)所示），而每個查詢展現(xiàn)了前５個檢索結(jié)果（圖中右側(cè)所示）。特別地，正確的結(jié)果被??砧成藍色，而其他的被標成紅色。??率，從０％到９０％并以２０％為間隔。圖２．４記錄了?４個公開數(shù)據(jù)集上的結(jié)果。??從這些圖中，我們可以發(fā)現(xiàn)ＤＲＵＭＮ取得了最好的性能結(jié)果。同時，我們也發(fā)??現(xiàn)當缺失率變高時，ＵＲＵＭＮ的性能下降比對比方法慢。??異常檢測??除學(xué)４識別特征表示外，ＤＲＵＭＮ還考慮了不一致異常的多模態(tài)數(shù)據(jù)問??題。圖２．５展現(xiàn)了一些ＷＫＧ?Ｇａｍｅ－Ｈｕｂ數(shù)據(jù)集上的異常檢測結(jié)果樣例。結(jié)果表??明，ｈ?ＤＫＵＭＮ－Ｔｈｒｅｓ方讓相比，ＤＲＵＭＮ方法既能檢測到類異常，又能檢測??到屬性異常。具體來說


本文編號：3052774