本文選題：一階梯度方法 + 個(gè)體收斂速率��； 參考：《計(jì)算機(jī)研究與發(fā)展》2017年03期

【摘要】：投影次梯度算法(projected subgradient method,PSM)是求解非光滑約束優(yōu)化問題最簡(jiǎn)單的一階梯度方法,目前只是對(duì)所有迭代進(jìn)行加權(quán)平均的輸出方式得到最優(yōu)收斂速率,其個(gè)體收斂速率問題甚至作為open問題被提及.最近,Nesterov和Shikhman在對(duì)偶平均方法(dual averaging method,DAM)的迭代中嵌入一種線性插值操作,得到一種擬單調(diào)的求解非光滑問題的次梯度方法,并證明了在一般凸情形下具有個(gè)體最優(yōu)收斂速率,但其討論僅限于對(duì)偶平均方法.通過使用相同技巧,提出了一種嵌入線性插值操作的投影次梯度方法,與線性插值對(duì)偶平均方法不同的是,所提方法還對(duì)投影次梯度方法本身進(jìn)行了適當(dāng)?shù)男薷囊源_保個(gè)體收斂性.同時(shí)證明了該方法在一般凸情形下可以獲得個(gè)體最優(yōu)收斂速率,并進(jìn)一步將所獲結(jié)論推廣至隨機(jī)方法情形.實(shí)驗(yàn)驗(yàn)證了理論分析的正確性以及所提算法在保持實(shí)時(shí)穩(wěn)定性方面的良好性能.
[Abstract]:Projection subgradient algorithm (projected subgradient method PSM) is the simplest first-order gradient method for solving non-smooth constrained optimization problems. At present, it is only a weighted average of all iterations to obtain the optimal convergence rate.The problem of individual convergence rate is even mentioned as a open problem.Recently, Nesterov and Shikhman embedded a linear interpolation operation in the iteration of dual averaging method DAM, and obtained a quasi-monotone subgradient method for solving non-smooth problems, and proved that there is an individual optimal convergence rate in general convex cases.But the discussion is limited to the dual averaging method.By using the same technique, a projection subgradient method with embedded linear interpolation operations is proposed, which is different from the dual average method of linear interpolation.The proposed method also modifies the projection subgradient method itself to ensure individual convergence.At the same time, it is proved that the method can obtain the optimal convergence rate of individuals in the general convex case, and the results obtained are further extended to the case of stochastic methods.Experiments verify the correctness of the theoretical analysis and the good performance of the proposed algorithm in maintaining real-time stability.
【作者單位】： 中國人民解放軍理工大學(xué)指揮信息系統(tǒng)學(xué)院;中國人民解放軍陸軍軍官學(xué)院十一系;
【基金】：國家自然科學(xué)基金項(xiàng)目(61673394,61273296)~~
【分類號(hào)】：O224

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張?zhí)炝?并行多分裂迭代收斂速率的估計(jì)(英文)[J];數(shù)學(xué)季刊;2000年03期

2 汪長(zhǎng)江,周忠;四符號(hào)循環(huán)星花積和普適收斂速率[J];云南大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年S1期

3 尹秀玲;;一類正則化方法的收斂速率[J];喀什師范學(xué)院學(xué)報(bào);2008年06期

4 梁進(jìn);;具有跳擴(kuò)散的美式期權(quán)二叉樹計(jì)算格式的收斂速率[J];高等學(xué)校計(jì)算數(shù)學(xué)學(xué)報(bào);2008年01期

5 王兆智;牛頓與近似牛頓混合算法的收斂速率[J];中國農(nóng)業(yè)大學(xué)學(xué)報(bào);1997年02期

6 諸梅芳,吳振奎;關(guān)于MDLS算法收斂速率的一個(gè)注記(英文)[J];高等學(xué)校計(jì)算數(shù)學(xué)學(xué)報(bào);1982年02期

7 何天曉,黃有群;關(guān)于Polak-Ribier(?)算法收斂速率的一個(gè)注記[J];高等學(xué)校計(jì)算數(shù)學(xué)學(xué)報(bào);1983年01期

8 初元紅;馬紅娟;;Newton-Moser法在奇異點(diǎn)處的加速[J];數(shù)值計(jì)算與計(jì)算機(jī)應(yīng)用;2014年01期

9 何炳生;申遠(yuǎn);;求解凸規(guī)劃及鞍點(diǎn)問題定制的PPA算法及其收斂速率[J];中國科學(xué):數(shù)學(xué);2012年05期

10 萬宏輝;幾種收斂速率較高的迭代求解程序[J];華中工學(xué)院學(xué)報(bào);1984年01期

，

本文編號(hào)：1739994