本文選題：典型相關性分析　切入點：語義模態(tài)　出處：《北京郵電大學》2017年博士論文　論文類型：學位論文

【摘要】：在過去的幾年中,互聯(lián)網(wǎng)上的多媒體數(shù)據(jù)呈現(xiàn)爆炸式地增長�？缒B(tài)檢索(Cross-modal retrieval)由于融合了圖像、文本等多個模態(tài)而成為多媒體信息檢索中的一個研究熱點。但其仍存在多模態(tài)表示、跨模態(tài)關聯(lián)機制等多個挑戰(zhàn)性的問題,因此,跨模態(tài)檢索具有重要的理論意義和應用價值。針對當前跨模態(tài)檢索的難點,即如何有效構(gòu)建圖像和對應文本的相關性,本文從典型相關性分析(canonical correlation analysis,CCA)出發(fā),利用深度學習對跨模態(tài)檢索進行了深入研究,文本的主要工作如下:1.將語義一致性引入圖像和文本的相關性學習中。為了增強隱空間中的語義一致性,將傳統(tǒng)的2模態(tài)CCA擴展到3模態(tài)CCA,同時最大化圖像、文本和語義的相關性。提出了 4種類型的語義模態(tài):有監(jiān)督的類別標簽,無監(jiān)督的超圖語義、局部近鄰和局部保持。針對超圖語義,提出了一種快速生成超邊的方法。實驗結(jié)果證明了這4種語義模態(tài)對于提高跨模態(tài)檢索性能的有效性。2.提出了兩種防止過擬合的技術(shù):(1)自編碼器。在相關性學習之后加入一個重構(gòu)層,以重構(gòu)模態(tài)內(nèi)的輸入。通過反向傳播機制回傳到相關層的重構(gòu)損失可以看作是一種正則項,進而克服過擬合。(2)遞進框架。在傳統(tǒng)的神經(jīng)網(wǎng)絡框架中加入一個線性的損失層,聯(lián)合優(yōu)化線性投影和非線性損失來學習更好的特征表示。為了驗證遞進框架的一般性,在3種不同的應用中嵌入遞進框架。實驗結(jié)果證明遞進框架可以為更多神經(jīng)網(wǎng)絡優(yōu)化的問題提供更好更快的解決方案。3.提出了兩種相似度的度量優(yōu)化方式:(1)基于檢索的相似度。傳統(tǒng)的基于CCA的算法在獲得隱空間后直接采用人工設計的度量方式計算模態(tài)間的相似度。受PageRank算法的啟發(fā),提出了一種間接度量隱空間中圖像和文本對相似度的方法。(2)度量學習。我們試圖將行人再辨識中的度量學習方法遷移到跨模態(tài)檢索中。本文利用大規(guī)模相似度學習度量相似度,并結(jié)合跨模態(tài)檢索語義一致性的特點,提出了一種相似對的構(gòu)建方法。實驗結(jié)果表明兩種度量方法都是有效的,在提高跨模態(tài)檢索性能方面是互補的。4.綜合語義一致性、防止過擬合技術(shù)以及度量優(yōu)化提出了兩種和當前最好算法相比具有競爭力的跨模態(tài)檢索模型。對于無監(jiān)督跨模態(tài)檢索,提出了一種改進的CCA。傳統(tǒng)的CCA不能建模隱空間中的語義一致性,難以學習模態(tài)間的非線性相關性。由于傳統(tǒng)度量學習不直接優(yōu)化隱空間中的度量,所以在相似度比較方面存在問題。為了解決這些問題,改進的CCA方法引入局部近鄰和局部保持來改善隱空間的語義一致性,將CCA從2視角擴展到4視角。為了學習非線性相關性,將4視角CCA嵌入遞進框架。用大規(guī)模相似度學習方法改善CCA在度量方面存在的不足。對于有監(jiān)督的跨模態(tài)檢索,提出了兩階段深度學習算法。為了最大化有監(jiān)督語義信息的作用,在兩個階段都采用有監(jiān)督的學習。為了克服過擬合,在第一階段的訓練加入重構(gòu)損失來約束相關性學習。在第二個階段,提出了一個利用對比損失和中心損失聯(lián)合優(yōu)化的全卷積網(wǎng)絡。最后應用到微軟必應的圖像檢索競賽中,驗證了算法的有效性。
[Abstract]:......
【學位授予單位】：北京郵電大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 李紅美;;論網(wǎng)絡教育環(huán)境下學習者學習動機的激發(fā)[J];繼續(xù)教育;2006年11期

2 李秀英;;網(wǎng)絡環(huán)境下學生學習的特點[J];教師;2009年04期

3 夏定海,黃智英;教會學習 學會學習 終身學習[J];發(fā)明與革新;2000年06期

4 黃啟兵;汪芳;;論網(wǎng)絡時代學習與創(chuàng)新的統(tǒng)一[J];教學研究;2002年03期

5 陳相安;把檔案部門建成學習型組織[J];中國檔案;2003年09期

6 顧新,蔡兵,李久平;學習與學習型社會[J];軟科學;2004年02期

7 鄭軍;試論編輯的學習特征[J];中國編輯;2005年06期

8 邱曉榮,孔一童;試論網(wǎng)絡環(huán)境中的合作學習[J];當代教育論壇;2005年02期

9 冷平,王仁蓉,刁永鋒;網(wǎng)絡學習的成功要素探析[J];教育信息化;2005年03期

10 張建光;朱秀娥;張笑雙;;網(wǎng)絡學習社區(qū)的特征和構(gòu)建[J];中國教育技術(shù)裝備;2006年03期

相關會議論文 前10條

1 韓文;;讓合作學習在逆境中重生[A];中華教育理論與實踐科研論文成果選編（第2卷）[C];2010年

2 呂啟春;;淺談小學數(shù)學中的小組合作學習[A];2014年1月現(xiàn)代教育教學探索學術(shù)交流會論文集[C];2014年

3 杜俊娟;;用學習動機培養(yǎng)策略課題的學習對體育教師進行研究性學習培養(yǎng)的實驗研究[A];第七屆全國體育科學大會論文摘要匯編（一）[C];2004年

4 瞿春波;;淺議合作學習之誤區(qū)[A];校園文學編輯部寫作教學年會論文集[C];2007年

5 時龍;;把握分析學情是改進教學和促進學習的基礎[A];2012·學術(shù)前沿論叢——科學發(fā)展：深化改革與改善民生（下）[C];2012年

6 韋彩紅;;如何組織學生共享學習成果[A];中華教育理論與實踐科研論文成果選編（第2卷）[C];2010年

7 格保耿;;培養(yǎng)學生學習物理的興趣[A];2014年5月現(xiàn)代教育教學探索學術(shù)交流會論文集[C];2014年

8 鈕榮榮;;關于小學數(shù)學教學中小組合作學習的幾點思考[A];2014年6月現(xiàn)代教育教學探索學術(shù)交流會論文集[C];2014年

9 陳妙;;讓數(shù)學課堂效率得到真正的提高——淺談新課改下學生學習興趣的培養(yǎng)[A];中華教育理論與實踐科研論文成果選編（第3卷）[C];2010年

10 黃春妙;;淺談語文課堂合作學習的有效把握[A];中華教育理論與實踐科研論文成果選編（第3卷）[C];2010年

相關重要報紙文章 前10條

1 農(nóng)行浙江東陽支行 吳新國 周龍飛;銀行如何創(chuàng)建學習型組織[N];上海金融報;2003年

2 西北師范大學 李瑾瑜;校長：如何引領和促進教師學習[N];中國教育報;2008年

3 永壽縣店頭中學 劉俊鋒;大力提倡合作學習 全面促進有效教學[N];咸陽日報;2009年

4 本報評論員;要在真學習上下功夫[N];酒泉日報;2009年

5 本報記者 李天然;學習應該是一種終身行為[N];大連日報;2010年

6 劉繼芳;淺議建設學習型黨組織中的“學習”內(nèi)涵[N];伊犁日報(漢);2010年

7 哈爾濱市第五醫(yī)院 蒙碩;淺談醫(yī)院創(chuàng)建學習型黨組織[N];黑龍江日報;2010年

8 翟愛霞;淺談如何深入推進學習型黨組織建設[N];太行日報;2011年

9 李振 上海交通大學國際與公共事務學院;制度變遷中的制度學習[N];中國社會科學報;2012年

10 重慶市教育評估院院長、中國高等教育學會學習科學研究分會常務副會長 龔春燕;實施新學習，建設學習型社會[N];中國教育報;2013年

相關博士學位論文 前10條

1 邵杰;基于深度學習的跨模態(tài)檢索[D];北京郵電大學;2017年

2 徐峰;基于社會網(wǎng)絡的大學生學習網(wǎng)絡結(jié)構(gòu)研究[D];江西財經(jīng)大學;2014年

3 付亦寧;本科生深層學習過程及其教學策略研究[D];蘇州大學;2014年

4 馮子勇;基于深度學習的圖像特征學習和分類方法的研究及應用[D];華南理工大學;2016年

5 王星;關系分類模型的學習界限與應用[D];哈爾濱工業(yè)大學;2015年

6 潘劍寒;基于多潛在空間的遷移學習算法研究[D];合肥工業(yè)大學;2016年

7 楊春;反饋類型對大學生學習成績的影響：自我調(diào)節(jié)學習的中介作用[D];東北師范大學;2016年

8 王浩宇;資源整合、創(chuàng)業(yè)學習與新創(chuàng)企業(yè)創(chuàng)新的關系研究[D];吉林大學;2017年

9 田青;有序?qū)W習及在圖像分析中的應用研究[D];南京航空航天大學;2016年

10 鄒朋成;有監(jiān)督的相似性度量學習研究與應用[D];南京航空航天大學;2016年

相關碩士學位論文 前10條

1 王以宣;感知教師支持、基本心理需要滿足與初中學生英語學習倦怠的關系[D];上海師范大學;2015年

2 李榮敬;不同情緒狀態(tài)對學習判斷的影響[D];河北師范大學;2015年

3 李蘭翠;M00C學習平臺的應用研究[D];上海師范大學;2015年

4 孫航;農(nóng)民工隨遷子女學習生態(tài)研究[D];上海師范大學;2015年

5 左揚揚;碎片化時代下企業(yè)微課程設計與應用[D];上海師范大學;2015年

6 戚政霞;基于翻轉(zhuǎn)課堂的小學語文教學設計研究[D];上海師范大學;2015年

7 蘇治芳;小學中高年級“微課題式”語文學習的實踐研究[D];上海師范大學;2015年

8 張華;提高中職生語文課堂學習動力的策略研究[D];上海師范大學;2015年

9 強敏;“學困生”的現(xiàn)狀調(diào)查與教育轉(zhuǎn)化途徑研究[D];寧夏師范學院;2015年

10 謝平;對初中學困生學習素質(zhì)提高的情感教育研究[D];河北大學;2014年

，

本文編號：1561999