隨著數(shù)據(jù)收集能力的提高,我們可以獲得越來越多的多模態(tài)數(shù)據(jù)。在實(shí)際應(yīng)用場景中,往往存在著模態(tài)不平衡現(xiàn)象:不同模態(tài)對于任務(wù)的重要性不同,與任務(wù)強(qiáng)相關(guān)的模態(tài)稱作強(qiáng)模態(tài);與之對應(yīng)的,與任務(wù)弱相關(guān)的模態(tài)稱其為弱模態(tài)。在模態(tài)不平衡環(huán)境中,會出現(xiàn)不同模態(tài)的預(yù)測精度不同、不同模態(tài)的抽取代價(jià)不同等現(xiàn)象。本文基于模態(tài)不平衡環(huán)境下的多模態(tài)學(xué)習(xí)問題做出以下工作:第一,本文提出一種帶有敲除技術(shù)的固有模型復(fù)用框架FMR（Fixed Model Reuse）。固定模態(tài)抽取代價(jià),統(tǒng)一使用弱模態(tài)進(jìn)行預(yù)測,FMR通過利用在強(qiáng)模態(tài)上提取好的特征（固定特征）以及訓(xùn)練好的模型（固定模型）指導(dǎo)弱模態(tài)模型的構(gòu)建,從而提高弱模態(tài)所對應(yīng)的模型的判別性。訓(xùn)練階段,在固定模型及固定特征的輔助下,弱模態(tài)利用深度網(wǎng)絡(luò)同時(shí)學(xué)習(xí)類別標(biāo)記和固定特征信息,來增強(qiáng)模型的判別能力,通過敲除技術(shù)逐漸削弱固定模態(tài)和網(wǎng)絡(luò)之間的關(guān)聯(lián),從而在訓(xùn)練的最后階段,得到和測試階段一致的網(wǎng)絡(luò)。測試階段,僅輸入弱模態(tài)即能進(jìn)行預(yù)測。固有模型的復(fù)用能夠有效減少訓(xùn)練階段所需帶標(biāo)記樣本數(shù),減少訓(xùn)練時(shí)間開銷,同時(shí)減少對專家知識的需求。第二,本文提出了一個(gè)端到端的樣本自適應(yīng)序列化模態(tài)選擇... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．２米用Ｋｎｏｃｋｄｏｗｎ的并彳丁化結(jié)構(gòu)??

圖２．３權(quán)垂擴(kuò)散（ＷＰ）??

?南京大學(xué)研究生畢業(yè)論文??上包含５１個(gè)類的混淆矩陣。??ｖ??ＴＴＴＴＴＴＴＴＴＴＴＴＴｉＴｌＴＴｔＴｉＴＴＴＴ??Ｐｌ－ｌｒＰｉｌｉｌｉｌｐｔ－ｒ�。�??工?一?；?４?１?一??（ａ）?ＵＣＦ５０??ｆｌｉ??ｉＷＷＷｗｍＷｆＷｍ??－§?ｉ?ｉ?■＂?＾?ｉ?■＂??＾?Ｔ３?－Ｃ??（ｂ）?ＨＭＤＢ５１??圖２．６動(dòng)作識別數(shù)據(jù)集的混淆矩陣??２２??


本文編號：3097275