本文選題：度量學習　切入點：相似性學習　出處：《南京航空航天大學》2016年博士論文

【摘要】：近來大數(shù)據(jù)概念十分火熱,機器學習作為其中的關鍵技術,相關研究正受到越來越多的重視,并在實踐中得到了廣泛應用。相似性度量是機器學習中一個非常重要的概念,很多主流機器學習方法如最近鄰分類、支持向量機分類和K-Means聚類等,它們的性能都與樣本間相似性度量函數(shù)緊密相關。現(xiàn)成的度量函數(shù)如歐式距離等未必能很好地捕獲數(shù)據(jù)樣本間的相似性,一個好的度量函數(shù)應該是與具體任務相適應的。然而手工選擇或構造一個好的相似度量通常十分困難,因而近年來度量學習成為了一個熱門的研究主題,它旨在利用數(shù)據(jù)監(jiān)督信息,自動地學習一個好的相似度度量函數(shù),從而提升學習系統(tǒng)的性能。目前已經(jīng)有許多度量學習方法被提出,典型的是利用樣本間的相似約束作為監(jiān)督信息學習一個以矩陣為參數(shù)的相似度量函數(shù),從而在特定問題中更好地捕獲樣本間潛在的相似特性。本文關注的重點是如何通過度量學習提升后續(xù)學習任務的性能,因為度量學習的目的不僅是為了獲得好的相似性函數(shù),更是期望結果學習器能依據(jù)所學度量獲得性能更好的預測模型,對此仍有很多問題亟待解決。目前有監(jiān)督的相似性度量學習方法主要是一類兩步式學習,即先學習相似度函數(shù),再將其放入結果學習器中訓練得到最終的預測模型。這里的結果學習器是指根據(jù)任務選擇的不同學習方法,如最近鄰分類等。在兩步式學習中,相似度量的學習和結果學習器的訓練實際是分開的,盡管許多經(jīng)驗結果表明這類方法能提升最近鄰分類這種局部近鄰模型的性能,但仍需從理論上給出更多的解釋;為了提升度量有效性,目前的方法常利用大量數(shù)據(jù)進行學習,而在大數(shù)據(jù)背景下新數(shù)據(jù)常常是逐步收集獲得,對應地,度量學習將在增量式場景下進行,如何準確而快速地更新度量,仍需設計有效的算法;此外,目前兩步式方法并不能保證所學度量能提升支持向量機等全局學習模型的性能,因而近期的研究越來越關注單步式的相似度量學習,即如何將相似度量函數(shù)和結果學習器有機結合進行聯(lián)合學習,也有待進一步探索。針對上述的一些問題,本文開展了初步的研究與探索,主要的研究成果如下:1、度量學習在最近鄰分類中的間隔分布解釋:兩步式度量學習方法常用最近鄰分類器評估其有效性,盡管經(jīng)驗結果表明能提高最近鄰分類精度,但尚未從理論上給出所學度量與最近鄰分類器性能之間的聯(lián)系,本文從間隔分布的角度做了解釋,給出了最近鄰分類器關于所學度量的泛化誤差上界,表明這類方法是通過增大最近鄰的間隔分布,提升分類性能。這一解釋在已有方法上進行了實驗驗證,并且可用于設計新的度量學習算法。2、基于支持向量方法的增量式度量學習:對于現(xiàn)實環(huán)境下增量獲得的數(shù)據(jù),度量函數(shù)應根據(jù)新數(shù)據(jù)增量更新,而現(xiàn)有方法往往不夠靈活。為此,提出一種基于支持向量方法的增量式度量學習算法,它將用于分類的支持向量學習推廣應用到度量學習場景中,使度量函數(shù)能根據(jù)新信息靈活地更新。文中證明了增量更新所得度量與批學習所得度量是一致的,給出了算法的可行性與收斂性理論證明,并通過實驗驗證了算法有效性。3、針對回歸任務的核嵌入式的度量學習:針對回歸任務,提出一種核嵌入式的單步式度量學習算法。該方法結合支持向量回歸,將相似度量嵌入核函數(shù),聯(lián)合優(yōu)化度量和訓練支持向量回歸。由于真實數(shù)據(jù)中可能存在噪聲或者冗余特征,算法通過對度量矩陣的稀疏約束,降低噪聲或冗余特征的影響,并通過度量的集成學習,提升算法泛化性能。該算法在標準數(shù)據(jù)集上得到了驗證,并應用于機場噪聲預測問題。4、相似特征嵌入的相似度量學習:從相似空間學習的角度提出一種新的單步式相似度算法,每個樣本均用自身與代表樣本間的相似度刻畫特征,考慮到這一學習過程中,既需要好的度量函數(shù),也要選擇合適的代表樣本使構造的相似特征具有判別性。為此,算法將相似度量與lasso聯(lián)合學習,在學習相似度函數(shù)的同時選擇有效的代表樣本。且所學度量矩陣無半正定約束,相似函數(shù)更靈活。文中從理論上分析了算法泛化性能,并得到了實驗驗證。
[Abstract]:......
【學位授予單位】：南京航空航天大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP181

【相似文獻】

相關期刊論文 前10條

1 李紅美;;論網(wǎng)絡教育環(huán)境下學習者學習動機的激發(fā)[J];繼續(xù)教育;2006年11期

2 李秀英;;網(wǎng)絡環(huán)境下學生學習的特點[J];教師;2009年04期

3 夏定海,黃智英;教會學習 學會學習 終身學習[J];發(fā)明與革新;2000年06期

4 黃啟兵;汪芳;;論網(wǎng)絡時代學習與創(chuàng)新的統(tǒng)一[J];教學研究;2002年03期

5 陳相安;把檔案部門建成學習型組織[J];中國檔案;2003年09期

6 顧新,蔡兵,李久平;學習與學習型社會[J];軟科學;2004年02期

7 鄭軍;試論編輯的學習特征[J];中國編輯;2005年06期

8 邱曉榮,孔一童;試論網(wǎng)絡環(huán)境中的合作學習[J];當代教育論壇;2005年02期

9 冷平,王仁蓉,刁永鋒;網(wǎng)絡學習的成功要素探析[J];教育信息化;2005年03期

10 張建光;朱秀娥;張笑雙;;網(wǎng)絡學習社區(qū)的特征和構建[J];中國教育技術裝備;2006年03期

相關會議論文 前10條

1 韓文;;讓合作學習在逆境中重生[A];中華教育理論與實踐科研論文成果選編（第2卷）[C];2010年

2 呂啟春;;淺談小學數(shù)學中的小組合作學習[A];2014年1月現(xiàn)代教育教學探索學術交流會論文集[C];2014年

3 杜俊娟;;用學習動機培養(yǎng)策略課題的學習對體育教師進行研究性學習培養(yǎng)的實驗研究[A];第七屆全國體育科學大會論文摘要匯編（一）[C];2004年

4 瞿春波;;淺議合作學習之誤區(qū)[A];校園文學編輯部寫作教學年會論文集[C];2007年

5 時龍;;把握分析學情是改進教學和促進學習的基礎[A];2012·學術前沿論叢——科學發(fā)展：深化改革與改善民生（下）[C];2012年

6 韋彩紅;;如何組織學生共享學習成果[A];中華教育理論與實踐科研論文成果選編（第2卷）[C];2010年

7 格保耿;;培養(yǎng)學生學習物理的興趣[A];2014年5月現(xiàn)代教育教學探索學術交流會論文集[C];2014年

8 鈕榮榮;;關于小學數(shù)學教學中小組合作學習的幾點思考[A];2014年6月現(xiàn)代教育教學探索學術交流會論文集[C];2014年

9 陳妙;;讓數(shù)學課堂效率得到真正的提高——淺談新課改下學生學習興趣的培養(yǎng)[A];中華教育理論與實踐科研論文成果選編（第3卷）[C];2010年

10 黃春妙;;淺談語文課堂合作學習的有效把握[A];中華教育理論與實踐科研論文成果選編（第3卷）[C];2010年

相關重要報紙文章 前10條

1 農(nóng)行浙江東陽支行 吳新國 周龍飛;銀行如何創(chuàng)建學習型組織[N];上海金融報;2003年

2 西北師范大學 李瑾瑜;校長：如何引領和促進教師學習[N];中國教育報;2008年

3 永壽縣店頭中學 劉俊鋒;大力提倡合作學習 全面促進有效教學[N];咸陽日報;2009年

4 本報評論員;要在真學習上下功夫[N];酒泉日報;2009年

5 本報記者 李天然;學習應該是一種終身行為[N];大連日報;2010年

6 劉繼芳;淺議建設學習型黨組織中的“學習”內(nèi)涵[N];伊犁日報(漢);2010年

7 哈爾濱市第五醫(yī)院 蒙碩;淺談醫(yī)院創(chuàng)建學習型黨組織[N];黑龍江日報;2010年

8 翟愛霞;淺談如何深入推進學習型黨組織建設[N];太行日報;2011年

9 李振 上海交通大學國際與公共事務學院;制度變遷中的制度學習[N];中國社會科學報;2012年

10 重慶市教育評估院院長、中國高等教育學會學習科學研究分會常務副會長 龔春燕;實施新學習，建設學習型社會[N];中國教育報;2013年

相關博士學位論文 前10條

1 徐峰;基于社會網(wǎng)絡的大學生學習網(wǎng)絡結構研究[D];江西財經(jīng)大學;2014年

2 付亦寧;本科生深層學習過程及其教學策略研究[D];蘇州大學;2014年

3 馮子勇;基于深度學習的圖像特征學習和分類方法的研究及應用[D];華南理工大學;2016年

4 王星;關系分類模型的學習界限與應用[D];哈爾濱工業(yè)大學;2015年

5 潘劍寒;基于多潛在空間的遷移學習算法研究[D];合肥工業(yè)大學;2016年

6 楊春;反饋類型對大學生學習成績的影響：自我調(diào)節(jié)學習的中介作用[D];東北師范大學;2016年

7 王浩宇;資源整合、創(chuàng)業(yè)學習與新創(chuàng)企業(yè)創(chuàng)新的關系研究[D];吉林大學;2017年

8 田青;有序?qū)W習及在圖像分析中的應用研究[D];南京航空航天大學;2016年

9 鄒朋成;有監(jiān)督的相似性度量學習研究與應用[D];南京航空航天大學;2016年

10 楊南昌;學習科學視域中的設計研究[D];華東師范大學;2008年

相關碩士學位論文 前10條

1 王以宣;感知教師支持、基本心理需要滿足與初中學生英語學習倦怠的關系[D];上海師范大學;2015年

2 李榮敬;不同情緒狀態(tài)對學習判斷的影響[D];河北師范大學;2015年

3 李蘭翠;M00C學習平臺的應用研究[D];上海師范大學;2015年

4 孫航;農(nóng)民工隨遷子女學習生態(tài)研究[D];上海師范大學;2015年

5 左揚揚;碎片化時代下企業(yè)微課程設計與應用[D];上海師范大學;2015年

6 戚政霞;基于翻轉課堂的小學語文教學設計研究[D];上海師范大學;2015年

7 蘇治芳;小學中高年級“微課題式”語文學習的實踐研究[D];上海師范大學;2015年

8 張華;提高中職生語文課堂學習動力的策略研究[D];上海師范大學;2015年

9 強敏;“學困生”的現(xiàn)狀調(diào)查與教育轉化途徑研究[D];寧夏師范學院;2015年

10 謝平;對初中學困生學習素質(zhì)提高的情感教育研究[D];河北大學;2014年

，

本文編號：1683046