【摘要】：統(tǒng)計(jì)學(xué)習(xí)中經(jīng)典的大間隔方法以“最小間隔”為優(yōu)化目標(biāo),而近期Boosting的研究表明優(yōu)化最小間隔并不能保證良好的泛化性能,更為重要的概念是“間隔分布”,因此如何在常用框架下高效地優(yōu)化間隔分布成為機(jī)器學(xué)習(xí)面臨的一個(gè)新挑戰(zhàn)。本文針對四種常見的機(jī)器學(xué)習(xí)任務(wù),分別提出相應(yīng)的顯式優(yōu)化間隔分布的方法,從而完整地建立起了這一新型統(tǒng)計(jì)學(xué)習(xí)范型,主要工作包括:1.二分類最優(yōu)間隔分布學(xué)習(xí)機(jī)ODM。針對二分類問題,通過將任務(wù)形式化為最大化間隔均值同時(shí)最小化間隔方差來優(yōu)化間隔分布,并提出一種基于對偶坐標(biāo)下降的求解方法。實(shí)驗(yàn)結(jié)果表明ODM的泛化性能顯著優(yōu)于、且在最壞情況下不差于優(yōu)化最小間隔的傳統(tǒng)大間隔方法。2.多分類最優(yōu)間隔分布學(xué)習(xí)機(jī)mcODM。針對多分類問題,通過將多類間隔定義為每類與“其他類”的二類間隔的最小值來優(yōu)化間隔分布,并提出一種基于對偶?jí)K坐標(biāo)下降的求解方法。實(shí)驗(yàn)結(jié)果表明mcODM的泛化性能顯著優(yōu)于、且在最壞情況下不差于優(yōu)化最小間隔的多分類方法。3.聚類最優(yōu)間隔分布學(xué)習(xí)機(jī)ODMC。針對聚類問題,通過尋找一個(gè)超平面使得在將簇標(biāo)記指派給每個(gè)簇的同時(shí)得到最優(yōu)間隔分布,并提出一種基于隨機(jī)鏡像下降的求解方法。實(shí)驗(yàn)結(jié)果表明ODMC的聚類性能顯著優(yōu)于、且在最壞情況下不差于優(yōu)化最小間隔的聚類方法。4.半監(jiān)督最優(yōu)間隔分布學(xué)習(xí)機(jī)ssODM。針對半監(jiān)督學(xué)習(xí)問題,通過尋找一個(gè)超平面使得在將類別標(biāo)記指派給未標(biāo)記樣本的同時(shí)得到最優(yōu)間隔分布,并提出一種基于隨機(jī)鏡像近端下降的求解方法。實(shí)驗(yàn)結(jié)果表明ssODM的泛化性能顯著優(yōu)于、且在最壞情況下不差于優(yōu)化最小間隔的半監(jiān)督學(xué)習(xí)方法。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP181
【圖文】：

邐４１逡逑２．４．３間隔分布逡逑圖２．２展示了在數(shù)據(jù)集９６（７１１３？１上，５￥１＾、００＾／和０［）＼１最終輸出的間隔逡逑分布的頻度直方圖�？梢钥闯�，相比于ＯＤＭ＂和ＯＤＭ，邋ＳＶＭ確實(shí)得到了更大逡逑的最小間隔，這是它的優(yōu)化目標(biāo)所致。我們所提的兩個(gè)方法，得到的最小間隔逡逑雖然比ＳＶＭ的要小，但是整體來說，間隔較�。ɡ纾迹埃┑臉颖究倲�(shù)要少逡逑于ＳＶＭ，間隔較大（例如＞０．５）的樣本總數(shù)要多于ＳＶＭ，因此我們的方法有逡逑更好的間隔分布，也從而有更好的泛化性能和魯棒性。在其他數(shù)據(jù)集上也有與逡逑圖２．２類似的結(jié)果。逡逑ｇｅｒｍａｎ逡逑ｓ：］邋■逡逑４０－１邐－0５邐0。邐0５邐１0邐睡冗邋１５逡逑－０．５邐０．０邐間隔邋０５邐１0邐＾＾邋１．５逡逑－０．５邐０．０邐間隔邋０．５邐１０邐１．５逡逑圖２．２：邋ＳＶＭ、ＯＤＭＡ和ＯＤＭ在數(shù)據(jù)集ｇｅｒｍａｎ邋ｈeA終輸出的Ｎ隔分布的頻度ｆｔ方閣，逡逑ＯＤＭ＾＂和ＯＤＭ得到的最小間隔雖然比ＳＶＭ要小，但是間隔分布要顯著好于ＳＶＭ逡逑Ｉ冬１２＿３展邋４邋Ｉ＂在數(shù)掘集邋ａｕｓｔｒａ、ｈｅａｒｔ－ｓｔａｔｌｏｇ、ｇｅｒｍａｎ、ａｕｓｔｒａｌｉａｎ邋上

隔小于ｆ的樣本占整個(gè)數(shù)據(jù)集的比例逡逑務(wù)器上進(jìn)行，求解的軟件是ＭＡＴＬＡＢ邋（２０１２ｂ）。每個(gè)數(shù)據(jù)集的平均時(shí)間開銷逡逑（單位：秒）如圖２．４所示。記ＬＩＢＬ丨ＮＥＡＲ軟件包＿實(shí)現(xiàn)的ＳＶＭ為ＳＶＭ／，逡逑記ＳＧＤ軟件包１邋見的ＳＶＭ為ＳＶＭ，�？梢钥闯�，ＳＶＭ，和我們的方法都快于逡逑ＳＶＭ”這要?dú)w功于ＳＧＤ的速度。ＯＤＭ７？和ＯＤＭ僅僅在２個(gè)數(shù)據(jù)集上（ｗ８ａ逡逑和ｃｏｄ－ｒｎａ）上稍慢于ＳＶＭ、．，其他數(shù)據(jù)集上都是相當(dāng)?shù)�。注意ＳＶＭｊＰＳＶＭ，逡逑都是ＳＶＭ非常成熟和高效的�?shí)現(xiàn)，因此可以說我們的方法在計(jì)算開銷上還是逡逑可接受的。逡逑２．５小結(jié)逡逑本文提出了面向二分類問題的最優(yōu)間隔分布學(xué)習(xí)機(jī)ＯＤＭ，通過將任務(wù)形逡逑式化為最大化間隔均值同時(shí)最小化間隔方差來優(yōu)化間隔分布，并提出一種基于逡逑對偶坐標(biāo)下降的方法進(jìn)行求解。對于大規(guī)模數(shù)據(jù)集，本文提出了基于ＳＶＲＧ的逡逑＇ｈｔｔｐ：／／ｌｅｏｎ．ｂｏｔｔｏｕ．ｏｒｇ／ｐｒｏｊｅｃｔｓ／ｓｇｄ逡逑

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊仁海,李茂季,趙郁森;隨機(jī)起始間隔分布實(shí)驗(yàn)[J];原子能科學(xué)技術(shù);1986年02期

2 史永謙 ,李茂季 ,劉仁康 ,趙郁森 ,鄭伍欽 ,楊仁海;間隔分布法測量反應(yīng)堆動(dòng)態(tài)參數(shù)[J];原子能科學(xué)技術(shù);1983年05期

3 陳加略;姜遠(yuǎn);;最優(yōu)間隔分布脊回歸[J];計(jì)算機(jī)研究與發(fā)展;2017年08期

4 何亭;徐秀蓮;王旭明;;3位畫家創(chuàng)作的高峰類型及時(shí)間間隔分布[J];科技導(dǎo)報(bào);2011年34期

5 陳利高;余綱林;王侃;李成龍;楊鑫;;中子噪聲間隔分布實(shí)驗(yàn)及計(jì)算方法研究[J];核動(dòng)力工程;2010年S2期

6 白倫;定纖生絲的接緒間隔分布解析[J];蘇州大學(xué)學(xué)報(bào)(工科版);2002年01期

7 程凡永;羅海波;阮志強(qiáng);;基于快速區(qū)域定位和二重間隔分布機(jī)的行人檢測[J];湖南理工學(xué)院學(xué)報(bào)(自然科學(xué)版);2017年02期

8 趙庚升;張寧;周濤;;網(wǎng)頁瀏覽中的標(biāo)度行為研究[J];統(tǒng)計(jì)與決策;2009年01期

9 鄭木華;姜羅羅;趙明;;股票交易時(shí)間間隔分布特征的實(shí)證研究[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2012年02期

10 顧亦然;李金發(fā);謝鴻飛;;陣發(fā)特性影響因素的研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2010年09期

相關(guān)會(huì)議論文 前1條

1 夏發(fā)生;朱宏;;鯰魚(parasilurus asotus)壇形電感官的生理特性及環(huán)境電場分析[A];中國地震學(xué)會(huì)第三次全國地震科學(xué)學(xué)術(shù)討論會(huì)論文摘要匯編[C];1986年

相關(guān)博士學(xué)位論文 前3條

1 張騰;最優(yōu)間隔分布學(xué)習(xí)機(jī)[D];南京大學(xué);2019年

2 王澎;人類在線行為的實(shí)證和建模[D];中國科學(xué)技術(shù)大學(xué);2011年

3 程凡永;間隔分布正則化機(jī)器學(xué)習(xí)理論及其應(yīng)用研究[D];湖南大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 丁毅;間隔分布邏輯回歸及其拓展研究[D];南京航空航天大學(xué);2018年

2 陳加略;基于間隔分布的脊回歸和主動(dòng)學(xué)習(xí)[D];南京大學(xué);2016年

3 史正謙;基于間隔分布優(yōu)化的大間隔分類器改進(jìn)方法研究[D];吉林大學(xué);2016年

4 吳昌楠;新的基于優(yōu)化間隔分布的AdaBoost算法[D];西安電子科技大學(xué);2013年

5 李瑞冰;通信業(yè)務(wù)的分布特征及建模[D];北京郵電大學(xué);2017年

6 孫芳芳;移動(dòng)互聯(lián)網(wǎng)主要數(shù)據(jù)業(yè)務(wù)的分布規(guī)律研究[D];北京郵電大學(xué);2015年

7 朱鵬飛;基于特征空間鄰域結(jié)構(gòu)分析的故障識(shí)別方法[D];哈爾濱工業(yè)大學(xué);2011年

8 張標(biāo);基于管型空域航路規(guī)劃方法研究[D];中國民航大學(xué);2014年

9 夏浩峻;移動(dòng)路徑中人類行為模式研究[D];華中科技大學(xué);2011年

10 王月;手機(jī)在線閱讀中人類行為動(dòng)力學(xué)的研究[D];北京郵電大學(xué);2012年

本文編號(hào)：2720083