本文選題：乘子交替方向法 + 全局收斂��； 參考：《哈爾濱工業(yè)大學(xué)》2016年博士論文

【摘要】：眾所周知,乘子交替方向法(ADMM)的直接推廣用于求解多塊可分凸優(yōu)化問(wèn)題時(shí),不一定具有收斂性。這一事實(shí)激勵(lì)學(xué)者們?nèi)ジ倪M(jìn)ADMM算法。他們大多采用兩種改進(jìn)方式:第一種方式,在每一次迭代中通過(guò)簡(jiǎn)單的校正ki對(duì)直接推廣的ADMM算法產(chǎn)生的輸出進(jìn)行校正。另一種方式,通過(guò)在直接推廣的ADMM算法的每一個(gè)子問(wèn)題中引入一個(gè)漸近項(xiàng)對(duì)其進(jìn)行非精確求解。本文結(jié)合以上兩種方式提出兩個(gè)有效的求解多塊可分凸優(yōu)化問(wèn)題的算法。此外,本文利用經(jīng)典梯度法的思想,設(shè)計(jì)出一個(gè)求解更一般的非凸非光滑復(fù)合優(yōu)化問(wèn)題的有效算法,并且給出收斂性分析。最后,本文對(duì)漸近正則、次可微連續(xù)函數(shù)的二階增長(zhǎng)條件給出了若干刻畫(huà)。本文主要內(nèi)容概括如下:1.本文提出兩個(gè)求解多塊可分凸優(yōu)化模型的有效方法。這兩個(gè)方法能夠簡(jiǎn)化子問(wèn)題的求解,并保證算法的收斂性。由于這兩個(gè)方法不需要等式約束中的矩陣具有列滿(mǎn)秩性質(zhì),因此,它的應(yīng)用范圍更廣。數(shù)值結(jié)果表明這兩個(gè)方法是數(shù)值有效的。2.本文證明了在一個(gè)弱于強(qiáng)凸性的條件下,直接推廣的乘子交替方向法用于求解三塊可分凸優(yōu)化問(wèn)題具有收斂性。這很好地解釋了為什么三塊可分凸優(yōu)化問(wèn)題的目標(biāo)函數(shù)中沒(méi)有強(qiáng)凸函數(shù),而乘子交替方向法卻有很好的數(shù)值表現(xiàn)。3.本文提出了一個(gè)求解非凸非光滑復(fù)合優(yōu)化問(wèn)題的梯度算法。該算法通過(guò)引入復(fù)合梯度映射,構(gòu)造出一個(gè)輔助問(wèn)題——其目標(biāo)函數(shù)是兩部分的和,第一部分是原目標(biāo)函數(shù)中光滑部分的線(xiàn)性化函數(shù),而第二部分是原目標(biāo)函數(shù)中的非光滑函數(shù),在算法的每次迭代中通過(guò)求解這一輔助問(wèn)題得到算法新的迭代點(diǎn)。該算法具有理論上的收斂性。4.本文證明在一定的條件下,二階增長(zhǎng)條件中非零常數(shù)的最緊上界可達(dá),并且建立了漸近正則、次可微連續(xù)函數(shù)的二階增長(zhǎng)條件與函數(shù)次微分的強(qiáng)度量正則性和強(qiáng)度量次正則性之間的等價(jià)刻畫(huà)。
[Abstract]:It is well known that the direct generalization of the multiplier alternating direction method (ADMMM) is not necessarily convergent when it is used to solve multi-block separable convex optimization problems.This fact encourages scholars to improve the ADMM algorithm.Most of them adopt two improved methods: the first way is to correct the output generated by the directly generalized ADMM algorithm through a simple correction Ki in each iteration.In another way, an asymptotic term is introduced into each subproblem of the directly generalized ADMM algorithm to solve the problem inaccurately.In this paper, two effective algorithms for solving multi-block separable convex optimization problems are proposed.In addition, using the idea of classical gradient method, this paper designs an effective algorithm for solving more general nonconvex nonsmooth composite optimization problems, and gives the convergence analysis.Finally, some characterizations of the second order growth conditions for asymptotically regular and subdifferentiable continuous functions are given.The main contents of this paper are summarized as follows: 1: 1.In this paper, two effective methods for solving multi-block separable convex optimization model are presented.These two methods can simplify the solution of the subproblem and ensure the convergence of the algorithm.Because these two methods do not require that the matrices in equality constraints have the property of full column rank, they are more widely used.The numerical results show that the two methods are numerically effective.In this paper, it is proved that under a condition that is weaker than that of strong convexity, the direct extension of the multiplier alternating direction method for solving three block separable convex optimization problems has convergence.This explains why there is no strong convex function in the objective function of the three separable convex optimization problems, but the multiplicator alternating direction method has a good numerical performance.In this paper, a gradient algorithm for nonconvex nonsmooth composite optimization problems is proposed.By introducing compound gradient mapping, the algorithm constructs an auxiliary problem-its objective function is the sum of two parts. The first part is the linearization function of the smooth part of the original objective function.The second part is the non-smooth function in the original objective function. The new iteration point of the algorithm is obtained by solving this auxiliary problem in each iteration of the algorithm.The algorithm has theoretical convergence. 4.In this paper, we prove that under certain conditions, the most compact upper bound of the nonzero constant of the second order growth condition is reachable, and the asymptotic regularity is established.The equivalent characterizations between the second-order growth conditions of subdifferentiable continuous functions and the intensity regularity and intensity subregularity of subdifferential functions.
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：O224

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫敏;;求解結(jié)構(gòu)型單調(diào)變分不等式的投影類(lèi)交替方向法[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年02期

2 曾文平;多維振動(dòng)問(wèn)題的交替方向法[J];福州大學(xué)學(xué)報(bào);1982年04期

3 浦志勤;;解線(xiàn)性變分不等式問(wèn)題的一個(gè)簡(jiǎn)單交替方向法(英文)[J];南京師大學(xué)報(bào)(自然科學(xué)版);2007年03期

4 周瑾;交替方向法求解帶線(xiàn)性約束的變分不等式[J];高等學(xué)校計(jì)算數(shù)學(xué)學(xué)報(bào);1999年02期

5 黎景;;求解一類(lèi)非對(duì)稱(chēng)單調(diào)變分不等式的非精確自適應(yīng)交替方向法[J];數(shù)學(xué)理論與應(yīng)用;2007年03期

6 胡伯霞;;一類(lèi)非對(duì)稱(chēng)單調(diào)變分不等式的自適應(yīng)交替方向法[J];衡陽(yáng)師范學(xué)院學(xué)報(bào);2008年03期

7 陶敏;唐誠(chéng);;缺失信息的主成份分析[J];南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

8 藍(lán)健朋;樂(lè)仲;劉光泓;申呈潔;;基于交替方向法的混合l_(2,1)-正規(guī)化的組稀疏優(yōu)化算法[J];科技信息;2013年17期

9 李建宇;解非線(xiàn)性方程組的單調(diào)牛頓-交替方向法[J];高等學(xué)校計(jì)算數(shù)學(xué)學(xué)報(bào);1982年02期

10 周叔子;胡伯霞;;一類(lèi)非對(duì)稱(chēng)變分不等式的非精確交替方向法[J];湖南大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年04期

相關(guān)會(huì)議論文 前1條

1 李敏;何炳生;;求解帶約束的min-max問(wèn)題的預(yù)測(cè)校正交替方向法[A];2006年中國(guó)運(yùn)籌學(xué)會(huì)數(shù)學(xué)規(guī)劃分會(huì)代表會(huì)議暨第六屆學(xué)術(shù)會(huì)議論文集[C];2006年

相關(guān)博士學(xué)位論文 前2條

1 晁綿濤;帶回代乘子交替方向法與誤差界研究[D];北京工業(yè)大學(xué);2015年

2 王金江;乘子交替方向法與函數(shù)二階增長(zhǎng)條件[D];哈爾濱工業(yè)大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 郭來(lái)鵬;求解H權(quán)重的最近相關(guān)系數(shù)矩陣問(wèn)題的交替方向法[D];大連理工大學(xué);2015年

2 竇莉峰;用交替方向法求解離散線(xiàn)性二次最優(yōu)控制問(wèn)題[D];河北工業(yè)大學(xué);2015年

3 宋永存;求解帶Stokes方程約束最優(yōu)控制問(wèn)題的交替方向法[D];吉林大學(xué);2016年

4 王艷艷;交替方向法及其改進(jìn)算法的研究[D];重慶大學(xué);2013年

5 黎蕾;求解凸最優(yōu)化問(wèn)題的近似交替方向法[D];重慶師范大學(xué);2013年

6 黎景;求解一類(lèi)單調(diào)變分不等式的交替方向法[D];湖南大學(xué);2008年

7 李玉勝;交替方向法及其應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

8 胡伯霞;求解一類(lèi)非對(duì)稱(chēng)單調(diào)變分不等式的交替方向法[D];湖南大學(xué);2006年

9 靳正芬;求解矩陣核范數(shù)極小化問(wèn)題的交替方向法[D];河南大學(xué);2012年

10 萬(wàn)里;解可分離結(jié)構(gòu)變分不等式的投影收縮交替方向法[D];南開(kāi)大學(xué);2012年

，

本文編號(hào)：1761702