隨著數(shù)據(jù)收集能力的提高,我們可以獲得越來越多的多模態(tài)數(shù)據(jù)。在實際應用場景中,往往存在著模態(tài)不平衡現(xiàn)象:不同模態(tài)對于任務的重要性不同,與任務強相關的模態(tài)稱作強模態(tài);與之對應的,與任務弱相關的模態(tài)稱其為弱模態(tài)。在模態(tài)不平衡環(huán)境中,會出現(xiàn)不同模態(tài)的預測精度不同、不同模態(tài)的抽取代價不同等現(xiàn)象。本文基于模態(tài)不平衡環(huán)境下的多模態(tài)學習問題做出以下工作:第一,本文提出一種帶有敲除技術的固有模型復用框架FMR（Fixed Model Reuse）。固定模態(tài)抽取代價,統(tǒng)一使用弱模態(tài)進行預測,FMR通過利用在強模態(tài)上提取好的特征（固定特征）以及訓練好的模型（固定模型）指導弱模態(tài)模型的構建,從而提高弱模態(tài)所對應的模型的判別性。訓練階段,在固定模型及固定特征的輔助下,弱模態(tài)利用深度網(wǎng)絡同時學習類別標記和固定特征信息,來增強模型的判別能力,通過敲除技術逐漸削弱固定模態(tài)和網(wǎng)絡之間的關聯(lián),從而在訓練的最后階段,得到和測試階段一致的網(wǎng)絡。測試階段,僅輸入弱模態(tài)即能進行預測。固有模型的復用能夠有效減少訓練階段所需帶標記樣本數(shù),減少訓練時間開銷,同時減少對專家知識的需求。第二,本文提出了一個端到端的樣本自適應序列化模態(tài)選擇... 

【文章來源】：南京大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：75 頁

【學位級別】：碩士

【部分圖文】：

圖２．２米用Ｋｎｏｃｋｄｏｗｎ的并彳丁化結構??

圖２．３權垂擴散（ＷＰ）??

?南京大學研究生畢業(yè)論文??上包含５１個類的混淆矩陣。??ｖ??ＴＴＴＴＴＴＴＴＴＴＴＴＴｉＴｌＴＴｔＴｉＴＴＴＴ??Ｐｌ－ｌｒＰｉｌｉｌｉｌｐｔ－ｒ�。�??工?一?；?４?１?一??（ａ）?ＵＣＦ５０??ｆｌｉ??ｉＷＷＷｗｍＷｆＷｍ??－§?ｉ?ｉ?■＂?＾?ｉ?■＂??＾?Ｔ３?－Ｃ??（ｂ）?ＨＭＤＢ５１??圖２．６動作識別數(shù)據(jù)集的混淆矩陣??２２??


本文編號：3097275