【摘要】：AUC是衡量分類算法性能的重要指標(biāo)之一,被廣泛應(yīng)用于類不平衡學(xué)習(xí)、排序?qū)W習(xí)、異常檢測和代價(jià)敏感學(xué)習(xí)等任務(wù)中。在線學(xué)習(xí)憑借其處理大規(guī)模數(shù)據(jù)和流數(shù)據(jù)的高效性在機(jī)器學(xué)習(xí)領(lǐng)域受到廣泛關(guān)注。針對大數(shù)據(jù)環(huán)境下的AUC優(yōu)化問題,研究者提出了諸多在線AUC優(yōu)化算法。在線AUC優(yōu)化的難點(diǎn)在于AUC優(yōu)化的損失函數(shù)由來自不同類別的兩個(gè)樣本構(gòu)成,這使得依賴于損失函數(shù)之和的目標(biāo)函數(shù)與訓(xùn)練樣本數(shù)二次相關(guān),不能直接使用傳統(tǒng)在線學(xué)習(xí)方法求解。當(dāng)前的在線AUC優(yōu)化算法聚焦于通過在求解過程中避免直接計(jì)算所有的損失函數(shù),從而減少問題規(guī)模,實(shí)現(xiàn)在線AUC優(yōu)化,但其復(fù)雜度仍然高于同類型的傳統(tǒng)在線學(xué)習(xí)算法。如何能使AUC優(yōu)化的目標(biāo)函數(shù)不再和訓(xùn)練樣本數(shù)二次相關(guān),僅和訓(xùn)練樣本數(shù)線性相關(guān),是一個(gè)值得研究的問題�；谧钚《藫p失函數(shù),本文提出了一種AUC優(yōu)化的新目標(biāo)函數(shù),該目標(biāo)函數(shù)僅與訓(xùn)練樣本數(shù)線性相關(guān)。理論分析表明,最小化該目標(biāo)函數(shù)等價(jià)于最小化由L2正則化項(xiàng)和最小二乘損失函數(shù)組成的AUC優(yōu)化的目標(biāo)函數(shù)。基于該目標(biāo)函數(shù),本文提出了在線AUC優(yōu)化的線性方法(LOAM)。并根據(jù)不同優(yōu)化求解策略,提出兩種算法:一是使用增量式最小二乘法(ILSC)進(jìn)行優(yōu)化求解的LOAMILSC算法;另一種是使用AdaGrad方法進(jìn)行優(yōu)化求解的LOAMAda算法。其中,LOAMILSC算法的空間復(fù)雜度和每次迭代的復(fù)雜度與ILSC算法相同,LOAMAda算法的空間復(fù)雜度和每次迭代的時(shí)間復(fù)雜度與傳統(tǒng)在線梯度下降算法相同;同時(shí),這兩種算法都不需要存儲任何歷史樣本,僅需掃描數(shù)據(jù)集一遍。實(shí)驗(yàn)結(jié)果表明,與原有方法相比,LOAMILSC算法獲得了更優(yōu)的AUC性能,而對于實(shí)時(shí)或高維學(xué)習(xí)任務(wù),LOAMAda算法則更加高效。
[Abstract]:AUC is one of the most important indexes to measure the performance of classification algorithms. It is widely used in class imbalance learning, ranking learning, anomaly detection and cost sensitive learning. Online learning has attracted much attention in the field of machine learning because of its high efficiency in dealing with large-scale data and stream data. Aiming at the problem of AUC optimization in big data environment, researchers put forward many online AUC optimization algorithms. The difficulty of online AUC optimization is that the loss function of AUC optimization is composed of two samples from different classes, which makes the objective function which depends on the sum of loss functions to be quadratic related to the number of training samples. Traditional online learning methods can not be directly used to solve the problem. The current online AUC optimization algorithm focuses on reducing the size of the problem and realizing online AUC optimization by avoiding the direct calculation of all loss functions in the process of solving the problem, but its complexity is still higher than that of the traditional online learning algorithm of the same type. How to make the objective function of AUC optimization no longer have quadratic correlation with the number of training samples, but only linearly with the number of training samples, is a problem worth studying. Based on the least square loss function, a new objective function for AUC optimization is proposed in this paper. The objective function is only linearly related to the number of training samples. Theoretical analysis shows that minimizing the objective function is equivalent to minimizing the objective function of AUC optimization consisting of L2 regularization term and least square loss function. Based on the objective function, a linear method for on-line AUC optimization, (LOAM)., is presented in this paper. According to different optimization strategies, two algorithms are proposed: one is the LOAMILSC algorithm which uses the incremental least square method (ILSC) to optimize the solution; the other is the LOAMAda algorithm which uses the AdaGrad method to solve the optimization problem. The space complexity and the complexity of each iteration of LOAMILSC algorithm are the same as those of ILSC algorithm, and the space complexity and time complexity of each iteration of LOAMAda algorithm are the same as those of traditional on-line gradient descent algorithm. At the same time, the two algorithms need not store any historical samples, but only scan the data set once. Experimental results show that the LOAMILSC algorithm achieves better AUC performance than the original method, while the LOAMAda algorithm is more efficient for real-time or high-dimensional learning tasks.
【學(xué)位授予單位】：鄭州大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張曉萍,崔敏芳;信息處理子系統(tǒng)識別單元I損失函數(shù)的確定[J];火力與指揮控制;1990年01期

2 王曉陵;;損失函數(shù)對反饋參數(shù)的二階導(dǎo)數(shù)快速計(jì)算法[J];自動化技術(shù)與應(yīng)用;1987年03期

3 潘志斌,周德強(qiáng),李落清;分類中軟間隔損失函數(shù)的V_γ維[J];湖北大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年02期

4 李小光;;混合損失函數(shù)支持向量回歸機(jī)的性能研究[J];西北大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年02期

5 張寧;線性時(shí)常系統(tǒng)損失函數(shù)遞推計(jì)算[J];艦船科學(xué)技術(shù);1981年01期

6 陳翰馥,郭雷;隨機(jī)適應(yīng)LQ問題中的極限過渡(英文)[J];控制理論與應(yīng)用;1989年01期

7 夏潤海,王開顏;機(jī)器學(xué)習(xí)與智能決策支持系統(tǒng)[J];濰坊學(xué)院學(xué)報(bào);2003年02期

8 張明玉,倪志偉;基于機(jī)器學(xué)習(xí)的智能決策支持系統(tǒng)[J];淮南師范學(xué)院學(xué)報(bào);2005年03期

9 楊凌霄;武建平;;機(jī)器學(xué)習(xí)方法在人臉檢測中的應(yīng)用[J];計(jì)算機(jī)與數(shù)字工程;2008年03期

10 ;第十一屆中國機(jī)器學(xué)習(xí)會議[J];智能系統(tǒng)學(xué)報(bào);2008年02期

相關(guān)會議論文 前10條

1 王玨;;歸納機(jī)器學(xué)習(xí)[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

2 王昊;李銀波;紀(jì)志梁;;利用機(jī)器學(xué)習(xí)方法預(yù)測嚴(yán)重藥物不良反應(yīng)-呼吸困難[A];中國化學(xué)會第28屆學(xué)術(shù)年會第13分會場摘要集[C];2012年

3 吳滄浦;;智能系統(tǒng)與機(jī)器學(xué)習(xí)的新領(lǐng)域[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會文集[C];2000年

4 周晴杰;徐立鴻;吳啟迪;;機(jī)器學(xué)習(xí)串級結(jié)構(gòu)的初步探討[A];1998年中國控制會議論文集[C];1998年

5 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機(jī)器學(xué)習(xí)法相結(jié)合的蛋白質(zhì)名識別[A];大連理工大學(xué)生物醫(yī)學(xué)工程學(xué)術(shù)論文集（第2卷）[C];2005年

6 徐禮勝;李乃民;王寬全;張冬雨;耿斌;姜曉睿;陳超海;羅貴存;;機(jī)器學(xué)習(xí)在中醫(yī)計(jì)算機(jī)診斷識別系統(tǒng)中的應(yīng)用思考[A];第一屆全國中西醫(yī)結(jié)合診斷學(xué)術(shù)會議論文選集[C];2006年

7 蔡健平;林世平;;基于機(jī)器學(xué)習(xí)的詞語和句子極性分析[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

8 黃金鐵;李景銀;周建常;;對高爐爐況評價(jià)模型參數(shù)的機(jī)器學(xué)習(xí)——一個(gè)三類線性模式分類器的實(shí)現(xiàn)[A];1995中國控制與決策學(xué)術(shù)年會論文集[C];1995年

9 張?jiān)铝x;宋明順;韓之俊;;動態(tài)特性質(zhì)量損失函數(shù)研究[A];質(zhì)量——持續(xù)發(fā)展的源動力：中國質(zhì)量學(xué)術(shù)與創(chuàng)新論壇論文集（下）[C];2010年

10 李靜茹;錢偉民;;ε-不敏感損失函數(shù)下的Bayes估計(jì)方法[A];中國現(xiàn)場統(tǒng)計(jì)研究會第12屆學(xué)術(shù)年會論文集[C];2005年

相關(guān)重要報(bào)紙文章 前10條

1 黎驪/文 [美] Tom M.Mitchell 著;機(jī)器學(xué)習(xí)與智能化社會[N];中國郵政報(bào);2003年

2 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;機(jī)器學(xué)習(xí)已成為大數(shù)據(jù)基石[N];網(wǎng)絡(luò)世界;2014年

3 本報(bào)記者 房琳琳;合久必分：分布式“機(jī)器學(xué)習(xí)”應(yīng)運(yùn)而生[N];科技日報(bào);2014年

4 雨辰;機(jī)器學(xué)習(xí)類圖書為什么火爆[N];中華讀書報(bào);2014年

5 百度公司技術(shù)副總監(jiān) 多媒體部負(fù)責(zé)人 余凱;深度學(xué)習(xí)與多媒體搜索技術(shù)演進(jìn)[N];中國信息化周報(bào);2013年

6 本報(bào)記者 余建斌;機(jī)器學(xué)習(xí)與互聯(lián)網(wǎng)搜索[N];人民日報(bào);2011年

7 本報(bào)記者 張曄邋通訊員 李瑋;周志華：永不墨守成規(guī)[N];科技日報(bào);2008年

8 記者　 彭德倩;機(jī)器學(xué)習(xí)精度提升近6個(gè)百分點(diǎn)[N];解放日報(bào);2006年

9 本報(bào)記者 閔杰;大數(shù)據(jù)熱 高端人才缺[N];中國電子報(bào);2013年

10 沈建苗 編譯;如何成為大數(shù)據(jù)科學(xué)家[N];計(jì)算機(jī)世界;2013年

相關(guān)博士學(xué)位論文 前10條

1 歐陽林寒;模型不確定下的穩(wěn)健參數(shù)設(shè)計(jì)研究[D];南京理工大學(xué);2016年

2 張?jiān)铝x;質(zhì)量損失函數(shù)與測量系統(tǒng)校準(zhǔn)研究[D];南京理工大學(xué);2010年

3 黃維忠;相依風(fēng)險(xiǎn)及平衡損失函數(shù)下的信度理論[D];華東師范大學(xué);2013年

4 董春茹;機(jī)器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化[D];華南理工大學(xué);2015年

5 姚明臣;機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的若干問題研究[D];大連理工大學(xué);2016年

6 Maxim Pecionchin;[D];對外經(jīng)濟(jì)貿(mào)易大學(xué);2016年

7 杜宇;基于深度機(jī)器學(xué)習(xí)的體態(tài)與手勢感知計(jì)算關(guān)鍵技術(shù)研究[D];浙江大學(xué);2017年

8 鐘錦紅;群智學(xué)習(xí)若干問題研究[D];中國科學(xué)技術(shù)大學(xué);2017年

9 趙東;基于群智能優(yōu)化的機(jī)器學(xué)習(xí)方法研究及應(yīng)用[D];吉林大學(xué);2017年

10 趙玉鵬;機(jī)器學(xué)習(xí)的哲學(xué)探索[D];大連理工大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 翟艷祥;在線AUC優(yōu)化的線性方法研究[D];鄭州大學(xué);2017年

2 薛嬌;Entropy損失函數(shù)下若干分布參數(shù)的Bayes估計(jì)及其性質(zhì)[D];蘭州交通大學(xué);2015年

3 揣瑞;平衡損失函數(shù)下Stein估計(jì)的優(yōu)良性研究[D];吉林大學(xué);2016年

4 黃婷婷;基于損失函數(shù)的最優(yōu)過程均值優(yōu)化設(shè)計(jì)的研究[D];南京理工大學(xué);2016年

5 王旭;Mlinex損失函數(shù)下基于截尾數(shù)據(jù)指數(shù)分布參數(shù)的估計(jì)[D];吉林大學(xué);2017年

6 孔亮;相依風(fēng)險(xiǎn)及非對稱損失下的信度理論[D];吉林大學(xué);2017年

7 徐萬奎;加權(quán)損失函數(shù)下的信度保費(fèi)[D];新疆大學(xué);2011年

8 李春飛;兩類損失函數(shù)的質(zhì)量水平與參數(shù)設(shè)計(jì)[D];東北師范大學(xué);2007年

9 蘇美紅;機(jī)器學(xué)習(xí)中損失函數(shù)問題研究[D];西北大學(xué);2015年

10 鄧海松;一類穩(wěn)健損失函數(shù)的構(gòu)造與應(yīng)用及多元Laplace分布[D];南京理工大學(xué);2006年

，

本文編號：2419481