多模態(tài)學習是數(shù)據(jù)挖掘、機器學習等相關領域的重要研究內容。相對于單模態(tài)學習,多模態(tài)學習旨在建立能處理和關聯(lián)多種模態(tài)信息的模型,有效的多模態(tài)學習可獲得更豐富的語義表示,進而提升單模態(tài)和多模態(tài)集成的性能。傳統(tǒng)的多模態(tài)學習方法大多依賴于單模態(tài)自身信息相對充分、模態(tài)間信息一致的假設。但在實際應用中,多模態(tài)特征通常無法滿足上述假設,尤其是在開放環(huán)境下受到特征噪聲、缺失等因素的影響,使得多模態(tài)的數(shù)據(jù)收集、數(shù)據(jù)表示以及模型輸出更為復雜,主要表現(xiàn)為:1)不同模態(tài)的收集代價不一致,存在模態(tài)代價差異大;2)不同模態(tài)的數(shù)據(jù)表示不一致,存在缺失模態(tài)和對應關系不明確的模態(tài);3)不同模態(tài)的信息量不一致,存在模態(tài)有強弱。概括地說,存在“模態(tài)代價不一致”、“模態(tài)表示不一致”以及“模態(tài)強弱不一致”三個挑戰(zhàn)性問題。論文針對這三個挑戰(zhàn)性問題展開研究,提出了一系列完備多模態(tài)學習方法,并在公開及真實數(shù)據(jù)集上進行了驗證。主要的研究工作如下:1.提出了一種考慮多模態(tài)代價不一致的序列化模態(tài)提取方法。開放環(huán)境中針對不均衡多模態(tài)數(shù)據(jù),不同模態(tài)的收集代價也不盡相同。傳統(tǒng)的多模態(tài)方法在訓練和測試階段均需要樣本的全量模態(tài)信息,忽略了不同模態(tài)的收... 

【文章來源】：南京大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：120 頁

【學位級別】：博士

【部分圖文】：

圖１－２：?ＭＭＤＬ框架，其利用自動編碼網(wǎng)絡網(wǎng)絡學習不同模態(tài)的共享隱含表示（圖片源??］＇■?［８２］）〇??ＭＭＤＬ的核心思想在于利用深度網(wǎng)絡學習不同模態(tài)間的共享隱含表示

３２］提出利用強模態(tài)作為軟監(jiān)督信息輔助弱模態(tài)，??［４９，?１０８，?１５０］考慮加權等操作排除不一致樣本的干擾。??適應開放環(huán)境的多模態(tài)學習技術???????模態(tài)代價不一致?模態(tài)表示不一致?模態(tài)強弱不一致??ｒ?￣?＂?１?＂??！?｜最小化代價的序｜?！?ｆｉｓｌｆｌｌｌ！?＇Ｉ強模態(tài)的模１１基于不充分度??ｉ列化模態(tài)提＊?，?ｉ?１型復用（第五植的完備多模ｉ??，丨（第二�。�?！丨｜＿）和聚類（第二｜?第記四消章ｆ麵丨丨丨丨章）?丨丨態(tài)學；六章丨??圖１－３：開放環(huán)境下多模態(tài)學習存在的挑戰(zhàn)及相丨、Ｖ：的解決方案。??

１８?第二章樣本自適應的動態(tài)序列化模態(tài)提取??臟??Ｂｌｏｏｄ??Ｘ－Ｒａｙｓ?＇＇＾ｒ?ＣＴ??賀…２＾３－ｓ＞??ＰＥＴ－ＣＴ?Ｂ－Ｓｃａｎ??？？？?ｒ＾）??Ｉ繼－？??圖２－１：序列化模態(tài)抽取示例。例如針對相同的疾病，所有患者首先接受相同的檢查，接著??根據(jù)歷史的檢查結果進行不同的后續(xù)檢查。??同的后續(xù)檢測。部分病患經(jīng)過簡單檢查即能做出診斷，而部分病患則需要更多??復雜檢查才能得到最終的診斷。如果利用級聯(lián)方法，所有病患需要進行相同順??序的檢查，這樣做明顯違背實際情況。因此各樣本應擁有自適應的模態(tài)提取序??列，才能在保證精度的前提下提高預測效率。具體地，更普適的方法是利用歷??史模態(tài)的特征信息量及預測結果決定下一模態(tài)的抽取，這才可為每個樣本自適??應的提取最有效的ｔ吳態(tài)序列。??針對上述問題，基于自適應模態(tài)提取的思想出發(fā)，即針對簡單樣本利用信??息含量較少但開銷低廉的模態(tài)，而復雜樣本可以增加信息含量多但開銷昂貴的??模態(tài)。文獻［５１，?５９］構造了分類樹模型將樣本平均測試時間作為約束項目項，??最大化樣本分類的準確率。然而這一方法需要解決非凸問題，且難以處理維度??不一致的多模態(tài)數(shù)據(jù)。為此文獻［１１９，?１２０］提出了自適應的模態(tài)抽取方法，但??該類方法需要預先排列所有可能的模態(tài)序列，會導致排列組合爆炸問題。針對??上述問題，本章提出了一種新穎的樣本自適應動態(tài)序列化模態(tài)提取端到端神經(jīng)??網(wǎng)絡模型ＤＭＰ?（Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ?Ｍｏｄａｌ?Ｐｕｒｓｕｉｔ）。具體地，該方法基于長短記憶??神經(jīng)網(wǎng)絡模型，利用歷史模態(tài)的信息同時進行分類和下一模態(tài)選擇的預測，同??時將預測損失引入模態(tài)選擇


本文編號：3380274