本文關(guān)鍵詞： 機(jī)器學(xué)習(xí) 非光滑損失函數(shù)問(wèn)題 投影次梯度方法 Nesterov步長(zhǎng)策略 個(gè)體收斂速率 稀疏學(xué)習(xí)　出處：《計(jì)算機(jī)學(xué)報(bào)》2018年01期 　論文類(lèi)型：期刊論文

【摘要】：很多機(jī)器學(xué)習(xí)問(wèn)題都可以最終轉(zhuǎn)換為優(yōu)化問(wèn)題來(lái)進(jìn)行求解,凸優(yōu)化算法已經(jīng)被成功用于各種機(jī)器學(xué)習(xí)優(yōu)化問(wèn)題中,而在優(yōu)化算法的研究中是否能獲得最優(yōu)的收斂速率是一個(gè)最基本問(wèn)題.此外,稀疏性是稀疏學(xué)習(xí)問(wèn)題中關(guān)注的另一個(gè)目標(biāo).目前,人們已經(jīng)提出了大量的隨機(jī)優(yōu)化方法求解大規(guī)模機(jī)器學(xué)習(xí)優(yōu)化問(wèn)題,但大部分的研究只是針對(duì)平均輸出方式獲得了最優(yōu)收斂速率.個(gè)體輸出方式顯然比平均方式的輸出具有更好的稀疏性,但使個(gè)體收斂速率獲得最優(yōu)具有一定的難度,人們已經(jīng)將強(qiáng)凸情形下的最優(yōu)個(gè)體收斂性作為公開(kāi)問(wèn)題進(jìn)行廣泛研究.對(duì)于光滑目標(biāo)函數(shù)的優(yōu)化問(wèn)題,著名學(xué)者Nesterov提出了一種步長(zhǎng)策略,使得梯度方法的收斂速率獲得了數(shù)量級(jí)形式的加速,并且獲得了最優(yōu)的個(gè)體收斂速率.目前,Nesterov加速算法已經(jīng)應(yīng)用于各種具有光滑損失函數(shù)機(jī)器學(xué)習(xí)優(yōu)化問(wèn)題中,研究者基于該加速策略提出了大量的隨機(jī)優(yōu)化算法.能否將這種技巧推廣至非光滑情形獲得最優(yōu)的個(gè)體收斂速率顯然是有意義的問(wèn)題.文中考慮在非光滑優(yōu)化算法中引入這種步長(zhǎng)策略.特別地,我們聚焦經(jīng)典的一階梯度方法,提出了一種嵌入加速算法步長(zhǎng)策略的投影次梯度算法,證明了這種算法在求解非光滑損失函數(shù)學(xué)習(xí)問(wèn)題時(shí)具有最優(yōu)的個(gè)體收斂速率.這是比標(biāo)準(zhǔn)投影次梯度方法只有在平均輸出方式下才具有最優(yōu)收斂速率更強(qiáng)的結(jié)論,也是一階梯度方法在個(gè)體最優(yōu)收斂速率方面比較接近于大家期待的研究成果.與平均方式輸出以及線性插值的投影次梯度方法相比,該文所提方法的梯度運(yùn)算在插值策略之后,因此在求解l1范數(shù)約束的hinge損失函數(shù)學(xué)習(xí)問(wèn)題時(shí)具有更好的稀疏性.人工數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了所提方法的正確性,基準(zhǔn)數(shù)據(jù)集上驗(yàn)證了該方法在保持稀疏性方面具有良好的性能.
[Abstract]:Many machine learning problems can be transformed into optimization problems to solve them. Convex optimization algorithms have been successfully used in various machine learning optimization problems. Whether the optimal convergence rate can be obtained in the study of optimization algorithm is a basic problem. In addition, sparsity is another objective of sparse learning problem. A large number of stochastic optimization methods have been proposed to solve large-scale machine learning optimization problems. But most of the studies only get the optimal convergence rate for the average output mode. The individual output mode is obviously more sparse than the average output mode, but it is difficult to obtain the optimal individual convergence rate. In the case of strong convexity, the optimal individual convergence is widely studied as an open problem. For the optimization of smooth objective functions, Nesterov, a famous scholar, has proposed a step size strategy. The convergence rate of the gradient method is accelerated in the order of magnitude, and the optimal individual convergence rate is obtained. At present, the Nesterov acceleration algorithm has been applied to various machine learning optimization problems with smooth loss functions. Based on this acceleration strategy, researchers have proposed a large number of stochastic optimization algorithms. It is significant to extend this technique to the non-smooth case to obtain the optimal individual convergence rate. In this paper, we consider the non-smooth optimization algorithm. The introduction of this step strategy. In particular, We focus on the classical first-order gradient method and propose a projection subgradient algorithm embedded in the step size strategy of the acceleration algorithm. It is proved that this algorithm has the optimal individual convergence rate when solving the nonsmooth loss function learning problem. This conclusion is stronger than that of the standard projection subgradient method only in the average output mode. The first order gradient method is also close to the expected research results in terms of individual optimal convergence rate. Compared with the average output method and the projection subgradient method of linear interpolation, the gradient operation of the proposed method follows the interpolation strategy. Therefore, the hinge loss function learning problem with l 1 norm constraint has better sparseness. Experiments on artificial data sets verify the correctness of the proposed method. It is verified on the datum data set that this method has good performance in keeping sparsity.
【作者單位】： 中國(guó)人民解放軍陸軍工程大學(xué)指揮信息系統(tǒng)學(xué)院;中國(guó)人民解放軍陸軍炮兵防空兵學(xué)院十一系;
【基金】：國(guó)家自然科學(xué)基金(61273296,61673394)資助~~
【分類(lèi)號(hào)】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 夏潤(rùn)海,王開(kāi)顏;機(jī)器學(xué)習(xí)與智能決策支持系統(tǒng)[J];濰坊學(xué)院學(xué)報(bào);2003年02期

2 張明玉,倪志偉;基于機(jī)器學(xué)習(xí)的智能決策支持系統(tǒng)[J];淮南師范學(xué)院學(xué)報(bào);2005年03期

3 楊凌霄;武建平;;機(jī)器學(xué)習(xí)方法在人臉檢測(cè)中的應(yīng)用[J];計(jì)算機(jī)與數(shù)字工程;2008年03期

4 ;第十一屆中國(guó)機(jī)器學(xué)習(xí)會(huì)議[J];智能系統(tǒng)學(xué)報(bào);2008年02期

5 ;第14屆中國(guó)機(jī)器學(xué)習(xí)會(huì)議[J];智能系統(tǒng)學(xué)報(bào);2012年06期

6 費(fèi)宗銘;呂建;王志堅(jiān);陳道蓄;徐家福;;機(jī)器學(xué)習(xí)[J];計(jì)算機(jī)科學(xué);1991年01期

7 趙沁平;魏華;王軍玲;;機(jī)器學(xué)習(xí)技術(shù)與機(jī)器學(xué)習(xí)系統(tǒng)[J];計(jì)算機(jī)科學(xué);1993年05期

8 姚敏;機(jī)器學(xué)習(xí)及其發(fā)展方向[J];計(jì)算機(jī)時(shí)代;1994年04期

9 ;第31屆機(jī)器學(xué)習(xí)國(guó)際會(huì)議(英文)[J];智能系統(tǒng)學(xué)報(bào);2014年01期

10 黃海濱;機(jī)器學(xué)習(xí)及其主要策略[J];河池師范高等專科學(xué)校學(xué)報(bào)(自然科學(xué)版);2000年04期

相關(guān)會(huì)議論文 前8條

1 王玨;;歸納機(jī)器學(xué)習(xí)[A];2001年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2001年

2 吳滄浦;;智能系統(tǒng)與機(jī)器學(xué)習(xí)的新領(lǐng)域[A];西部大開(kāi)發(fā) 科教先行與可持續(xù)發(fā)展——中國(guó)科協(xié)2000年學(xué)術(shù)年會(huì)文集[C];2000年

3 周晴杰;徐立鴻;吳啟迪;;機(jī)器學(xué)習(xí)串級(jí)結(jié)構(gòu)的初步探討[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

4 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機(jī)器學(xué)習(xí)法相結(jié)合的蛋白質(zhì)名識(shí)別[A];大連理工大學(xué)生物醫(yī)學(xué)工程學(xué)術(shù)論文集（第2卷）[C];2005年

5 蔡健平;林世平;;基于機(jī)器學(xué)習(xí)的詞語(yǔ)和句子極性分析[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

6 黃金鐵;李景銀;周建常;;對(duì)高爐爐況評(píng)價(jià)模型參數(shù)的機(jī)器學(xué)習(xí)——一個(gè)三類(lèi)線性模式分類(lèi)器的實(shí)現(xiàn)[A];1995中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1995年

7 程國(guó)建;蔡磊;潘華賢;;核向量機(jī)在大規(guī)模機(jī)器學(xué)習(xí)中的應(yīng)用[A];第十一屆中國(guó)青年信息與管理學(xué)者大會(huì)論文集[C];2009年

8 張鈸;張鈴;;統(tǒng)計(jì)學(xué)習(xí)理論及其應(yīng)用[A];2001年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2001年

相關(guān)重要報(bào)紙文章 前3條

1 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;機(jī)器學(xué)習(xí)已成為大數(shù)據(jù)基石[N];網(wǎng)絡(luò)世界;2014年

2 本報(bào)記者 房琳琳;合久必分：分布式“機(jī)器學(xué)習(xí)”應(yīng)運(yùn)而生[N];科技日?qǐng)?bào);2014年

3 雨辰;機(jī)器學(xué)習(xí)類(lèi)圖書(shū)為什么火爆[N];中華讀書(shū)報(bào);2014年

相關(guān)博士學(xué)位論文 前10條

1 董春茹;機(jī)器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化[D];華南理工大學(xué);2015年

2 姚明臣;機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的若干問(wèn)題研究[D];大連理工大學(xué);2016年

3 杜宇;基于深度機(jī)器學(xué)習(xí)的體態(tài)與手勢(shì)感知計(jì)算關(guān)鍵技術(shù)研究[D];浙江大學(xué);2017年

4 鐘錦紅;群智學(xué)習(xí)若干問(wèn)題研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2017年

5 趙東;基于群智能優(yōu)化的機(jī)器學(xué)習(xí)方法研究及應(yīng)用[D];吉林大學(xué);2017年

6 趙玉鵬;機(jī)器學(xué)習(xí)的哲學(xué)探索[D];大連理工大學(xué);2010年

7 胡巍;面向格結(jié)構(gòu)的機(jī)器學(xué)習(xí)[D];上海交通大學(xué);2009年

8 張義榮;基于機(jī)器學(xué)習(xí)的入侵檢測(cè)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

9 錢(qián)線;快速精確的結(jié)構(gòu)化機(jī)器學(xué)習(xí)方法研究[D];復(fù)旦大學(xué);2010年

10 梁錫軍;稀疏優(yōu)化在機(jī)器學(xué)習(xí)中的若干應(yīng)用[D];大連理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 陳召陽(yáng);基于機(jī)器學(xué)習(xí)的改性麥槽吸附重金屬構(gòu)效關(guān)系模型研究[D];江西理工大學(xué);2014年

2 王成;基于半監(jiān)督機(jī)器學(xué)習(xí)的文本情感分析技術(shù)[D];南京理工大學(xué);2015年

3 孫科;基于Spark的機(jī)器學(xué)習(xí)應(yīng)用框架研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

4 劉江龍;基于機(jī)器學(xué)習(xí)的射頻指紋定位方法研究[D];電子科技大學(xué);2015年

5 張蕾;基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)輿情采集技術(shù)研究與設(shè)計(jì)[D];電子科技大學(xué);2014年

6 裴松年;基于機(jī)器學(xué)習(xí)的分類(lèi)算法研究[D];中北大學(xué);2016年

7 李紅;基于機(jī)器學(xué)習(xí)的中醫(yī)藥配方評(píng)估研究[D];南京大學(xué);2016年

8 劉會(huì)河;一種基于SVM的降維方法在三類(lèi)ROC分析中的應(yīng)用[D];廣東工業(yè)大學(xué);2016年

9 孟曉龍;基于機(jī)器學(xué)習(xí)的推薦技術(shù)研究[D];吉林大學(xué);2016年

10 孫健琳;基于機(jī)器學(xué)習(xí)的宿舍通道管理系統(tǒng)設(shè)計(jì)[D];山東大學(xué);2016年

，

本文編號(hào)：1542704