本文關鍵詞：面向模態(tài)不均衡數(shù)據(jù)的多模態(tài)學習技術研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：真實應用中的復雜對象語義豐富、表示復雜,如：包含文字、語音和圖像的多媒體數(shù)據(jù)以及用于身份識別的面部和指紋特征等,這些從不同角度刻畫或描述同一事物的數(shù)據(jù)被業(yè)界稱為多模態(tài)數(shù)據(jù)或多組特征,如何將復雜對象表示為多組特征并加以學習成了研究者關注的重要任務,進而產(chǎn)生多模態(tài)學習。多數(shù)已有的多模態(tài)學習方法賦以多組多模態(tài)特征以相同的重要性,但在真實應用中不同的模態(tài)的重要程度是不同的,例如,在身份識別任務中使用指紋特征比面部特征更能獲得更優(yōu)的識別率。為此,本文對強模態(tài)輔助弱模態(tài),并減少強模態(tài)收集開銷進行了分析和研究,取得了如下創(chuàng)新成果：1.對不同模態(tài)的強弱加以劃分,并提出了Auxiliary Information Regularized Machine (ARM)方法。該方法對弱模態(tài)最具有判別信息子空間加以提取,同時采用正則化技術對弱模態(tài)子空間信息加以有效利用,以此提高強模態(tài)預測。2.為減少強模態(tài)的收集開銷,提出了ACQUEST(Active QUErying STrong modalities)框架。該框架通過主動查詢挑選樣本對應的強模態(tài)特征而不是標記信息,通過逆向預測技術緩解了對強模態(tài)特征取值查詢可能帶來的組合爆炸問題,將ACQUEST轉(zhuǎn)為統(tǒng)一的優(yōu)化模型,從而降低了整體的特征抽取開銷。3.為了更有效使用強模態(tài)的領域知識輔助弱模態(tài)進行特征學習,提出了結(jié)合深度學習技術的多模態(tài)學習方法。該方法側(cè)重在訓練階段利用強模態(tài)特征輔助弱模態(tài)學習更魯棒的深度網(wǎng)絡。
【關鍵詞】：多模態(tài)學習 半監(jiān)督學習 特征學習 主動學習 深度學習
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP181
【目錄】：

• 摘要4-6
• Abstract6-9
• 第一章 緒論9-14
• 1.1 研究背景及意義9-10
• 1.2 研究現(xiàn)狀10-11
• 1.3 待研究的問題11-12
• 1.4 本文的工作12-14
• 第二章 輔助信息正則化學習14-28
• 2.1 引言14-15
• 2.2 相關工作15-16
• 2.3 輔助信息正則化學習16-21
• 2.4 實驗21-27
• 2.5 結(jié)論27-28
• 第三章 主動強模態(tài)特征查詢學習28-43
• 3.1 引言28-29
• 3.2 相關工作29-30
• 3.3 主動強模態(tài)特征查詢學習30-36
• 3.4 實驗36-42
• 3.5 結(jié)論42-43
• 第四章 強模態(tài)深度網(wǎng)絡輔助學習43-50
• 4.1 引言43-44
• 4.2 相關工作44-45
• 4.3 強模態(tài)深度網(wǎng)絡輔助學習45-47
• 4.4 實驗47-49
• 4.5 結(jié)論49-50
• 第五章 總結(jié)50-52
• 參考文獻52-60
• 致謝60-61
• 附錄61-62

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 彭建武;于曉燕;齊偉;;圖書館中的多模態(tài)應用[J];圖書館界;2011年01期

2 保羅·范登侯汶;楊穎;;多模態(tài)論辯話語重構(gòu):以美國廣播公司一則新聞為例[J];國際新聞界;2013年04期

3 王學東;胡宋敏;謝輝;丁帥;曹高輝;;多模態(tài)網(wǎng)絡主題資源聚合與實證研究[J];情報科學;2014年07期

4 胡壯麟;;談多模態(tài)小品中的主體模態(tài)[J];符號與傳媒;2011年01期

5 張薇;徐筱秋;;基于云教育平臺的多模態(tài)輸入優(yōu)化模型建構(gòu)[J];校園英語(教研版);2012年05期

6 郭志斌;;網(wǎng)絡環(huán)境下的新聞聽力多模態(tài)教學模式[J];新聞愛好者;2010年14期

7 ;《媽祖文化的多模態(tài)語篇研究》簡介[J];莆田學院學報;2011年01期

8 王瑜;穆志純;徐正光;;多模態(tài)生物特征識別技術進展綜述[J];計算機應用與軟件;2009年02期

9 胡阿旭;陳貴萍;于洪志;;多模態(tài)語音實驗室在語言研究中的應用[J];西北民族大學學報(自然科學版);2012年01期

10 黃戎;肖超;;多模態(tài)策略在復雜控制過程中的應用(英文)[J];機床與液壓;2012年24期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 王愛東;谷珍;楊燕平;白鶴;;多媒體多模態(tài)教學在民辦高校大學英語教學中的適用性及效果研究[A];語言與文化研究（第十四輯）[C];2014年

2 張霄軍;;多模態(tài)語料庫:搶救瀕危語言的有效途徑[A];民族語言文字信息技術研究——第十一屆全國民族語言文字信息學術研討會論文集[C];2007年

3 夏凡;王宏;;多模態(tài)情感數(shù)據(jù)標注方法與實現(xiàn)[A];第一屆建立和諧人機環(huán)境聯(lián)合學術會議（HHME2005）論文集[C];2005年

4 趙賢;;多模態(tài)基底系統(tǒng)性質(zhì)研究[A];2010年全國應用邏輯研討會會議論文集[C];2010年

5 張友安;胡云安;周紹磊;;Hammerstein系統(tǒng)的多模態(tài)模型及其兩步辨識法[A];1996中國控制與決策學術年會論文集[C];1996年

6 鐘若飛;郭華東;王為民;朱博勤;;SZ-4多模態(tài)傳感器輻射模態(tài)數(shù)據(jù)處理與應用評價研究[A];第十四屆全國遙感技術學術交流會論文摘要集[C];2003年

7 康志峰;;口譯中多模態(tài)的AA研究[A];第十四屆全國科技翻譯研討會論文匯編[C];2011年

8 黃俊輝;李文政;李學軍;;基于多模態(tài)醫(yī)學影像數(shù)據(jù)的計算機輔助醫(yī)療設計與腫瘤精確治療[A];中國腫瘤內(nèi)科進展 中國腫瘤醫(yī)師教育（2014）[C];2014年

9 孟祥亮;史元春;楊欣;;基于分層原語的多模態(tài)輸入統(tǒng)一訪問接口[A];第四屆和諧人機環(huán)境聯(lián)合學術會議論文集[C];2008年

10 郭華東;王為民;朱博勤;;多模態(tài)傳感器輻射模態(tài)數(shù)據(jù)在SZ-4飛船模擬驗證研究[A];全國國土資源與環(huán)境遙感技術應用交流會論文文集[C];2004年

中國重要報紙全文數(shù)據(jù)庫 前2條

1 記者 劉垠;在分子水平上認識疾病[N];大眾科技報;2009年

2 羅綿衛(wèi) 王建成;中國航天科工高分專項實現(xiàn)零突破[N];中國航天報;2011年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 高靜;信息物理融合系統(tǒng)中基于多模態(tài)數(shù)據(jù)的事件監(jiān)測問題研究[D];哈爾濱工業(yè)大學;2015年

2 侯濤;多信息融合濾波的多模態(tài)智能控制在高速列車速度控制中的研究[D];蘭州交通大學;2015年

3 聶為之;多模態(tài)媒體數(shù)據(jù)分析關鍵技術研究[D];天津大學;2014年

4 張征;英語課堂多模態(tài)讀寫能力實證研究[D];山東大學;2011年

5 李寶磊;多元優(yōu)化過程記憶算法及動靜條件下多模態(tài)尋優(yōu)研究[D];云南大學;2015年

6 潘鳴威;多模態(tài)視角下的口語交際能力：重構(gòu)與探究[D];上海外國語大學;2011年

7 逯波;多模態(tài)媒體信息檢索技術研究[D];東北大學;2013年

8 譚帥;多模態(tài)過程統(tǒng)計建模及在線監(jiān)測方法研究[D];東北大學;2012年

9 王洋;多模態(tài)圖像檢索技術[D];中國科學技術大學;2013年

10 張志堅;多模態(tài)生物特征識別融合算法的研究[D];中國科學技術大學;2008年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 劉潔;大學英語課堂中的多模態(tài)話語對學生多元識讀能力的影響[D];西南大學;2015年

2 邵榮;牛津版高中英語教材的多模態(tài)語篇分析[D];西南大學;2015年

3 王玉竹;中美報刊政治漫畫的批評性多模態(tài)話語分析[D];西南大學;2015年

4 周德英;基于多模態(tài)互動意義的公益廣告研究[D];華南理工大學;2015年

5 蔣迪;計劃生育宣傳畫的多模態(tài)語篇分析[D];天津商業(yè)大學;2015年

6 宋康利;概念整合理論視角下平面廣告中的多模態(tài)隱喻研究[D];湖南工業(yè)大學;2015年

7 張君艷;中國文化網(wǎng)主頁的多模態(tài)話語分析[D];華中師范大學;2015年

8 凌霄;基于多模態(tài)話語分析的平面商業(yè)廣告英漢翻譯研究[D];廣東外語外貿(mào)大學;2015年

9 楊曉倩;多模態(tài)語篇分析[D];寧夏大學;2015年

10 葛欣;中職英語物流詞匯多模態(tài)教學模式探究[D];閩南師范大學;2015年

  本文關鍵詞：面向模態(tài)不均衡數(shù)據(jù)的多模態(tài)學習技術研究，由筆耕文化傳播整理發(fā)布。

本文編號：256853