許多工程應(yīng)用問題都可以歸結(jié)于優(yōu)化問題,即給定目標(biāo)函數(shù)和約束求解最小值.近年以來,隨著科技的發(fā)展,一方面工程中所需要處理的數(shù)據(jù)量越來越大,從而要解決的優(yōu)化問題的規(guī)模也越來越大,大規(guī)模優(yōu)化的算法受到了更多的關(guān)注.另一方面,隨著問題的復(fù)雜程度增大,在一些情況下目標(biāo)函數(shù)是非凸并且非光滑的,這使得很多傳統(tǒng)的基于梯度的優(yōu)化方法失效.交替方向乘子法（ADMM）正是這樣一種適用于大規(guī)模優(yōu)化和非凸非光滑優(yōu)化的一種算法.當(dāng)目標(biāo)函數(shù)可以分離成兩個關(guān)于不同變量的函數(shù)之和,并且這兩個變量之間有一個線性約束時,ADMM交替優(yōu)化這兩個變量以及對偶變量.一般來說,優(yōu)化單個函數(shù)會顯著比優(yōu)化兩個函數(shù)之和簡單,實(shí)踐中經(jīng)�？梢缘玫浇馕鼋饣蛘吣軌虿⑿袃�(yōu)化.這些特點(diǎn)使得ADMM每一步的迭代代價非常低,從而適用于大規(guī)模優(yōu)化.在整個優(yōu)化過程中,ADMM并不需要這兩個函數(shù)的梯度,取而代之的是兩個函數(shù)的逼近映射（Proximal Mapping）.而對于很多函數(shù)而言,逼近映射計(jì)算代價很低,這也使得ADMM非常適用于非凸非光滑優(yōu)化的情況.盡管ADMM已經(jīng)在工程中得到了廣泛應(yīng)用,研究者發(fā)現(xiàn)它有一個明顯的缺點(diǎn).ADMM通�？梢砸院芸斓乃俣鹊玫�... 

【文章頁數(shù)】：76 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 引言
    1.2 相關(guān)工作
    1.3 文章的結(jié)構(gòu)安排
第二章 預(yù)備知識
    2.1 非光滑分析
    2.2 ADMM
    2.3 DR分裂算法
    2.4 安德森加速
第三章 ADMM的安德森加速
    3.1 一般情況的安德森加速
    3.2 特殊結(jié)構(gòu)的ADMM的加速
    3.3 ADMM的收斂性分析
    3.4 數(shù)值實(shí)驗(yàn)
    3.5 小結(jié)
第四章 基于DR分裂算法的ADMM的安德森加速
    4.1 背景介紹
    4.2 算法細(xì)節(jié)
    4.3 收斂性分析
    4.4 數(shù)值實(shí)驗(yàn)
    4.5 小結(jié)
第五章 總結(jié)和展望
    5.1 總結(jié)
    5.2 展望
參考文獻(xiàn)
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果


【參考文獻(xiàn)】：
期刊論文
[1]Convergence of multi-block Bregman ADMM for nonconvex composite problems[J]. Fenghui WANG,Wenfei CAO,Zongben XU.  Science China（Information Sciences）. 2018(12)



本文編號：3651491