【摘要】：稀疏優(yōu)化問題具有重要的應(yīng)用背景,如信號(hào)去噪,模型選擇,圖像處理等等.本文研究LASSO,塊LASSO以及稀疏塊LASSO,針對(duì)更一般的模型,目標(biāo)函數(shù)為光滑函數(shù)與非光滑函數(shù)的和,提出了求解方法.詳細(xì)說明如下:首先,提出了修正鄰近梯度方法,主要是以固定步長(zhǎng)下的鄰近梯度作為迭代方向,并選取自適應(yīng)步長(zhǎng).證得算法具有Q-線性收斂速率,與原始鄰近梯度法的收斂速率相比有很大改進(jìn).通過數(shù)值實(shí)驗(yàn),將本文提出的修正鄰近梯度法與原始方法相比較,表明所提算法在計(jì)算時(shí)間上具有一定的優(yōu)勢(shì).原因在于固定步長(zhǎng)下的鄰近梯度的求解與原始鄰近梯度法在經(jīng)過若干次線搜索確定步長(zhǎng)后再求解鄰近梯度相比節(jié)約了大量運(yùn)算時(shí)間.其次,為改進(jìn)上述修正鄰近梯度方法的非單調(diào)性,提出了一類新的下降步長(zhǎng)搜索方法用以計(jì)算下降方向.基本思想是利用目標(biāo)函數(shù)光滑部分梯度的Lipschitz連續(xù)性,在鄰近梯度的計(jì)算過程中,只需幾步迭代就可以確定使得目標(biāo)函數(shù)值下降的方向.迭代步長(zhǎng)選取之前修正鄰近梯度法自適應(yīng)步長(zhǎng)變化區(qū)間的最大值,即采用固定步長(zhǎng).新的修正鄰近梯度法同樣具有Q-線性收斂速率.數(shù)值實(shí)驗(yàn)表明,新的修正鄰近梯度法不僅具有目標(biāo)函數(shù)值下降的性質(zhì),而且在計(jì)算時(shí)間上也具有一定優(yōu)勢(shì).在上述兩部分工作的基礎(chǔ)上,設(shè)計(jì)了一般性的稀疏度約束問題模型,計(jì)算具有一定稀疏度或分塊稀疏問題.具體計(jì)算過程需要將變量分為各具有稀疏度約束兩部分.特別地,稀疏優(yōu)化問題與分塊稀疏優(yōu)化問題皆可以看作是稀疏度約束問題的特殊情況.針對(duì)該類問題,我們提出分層求解方法,整體采用交替最小化方法,而針對(duì)每個(gè)子問題借助投影梯度法求解.在給定的最優(yōu)化條件下,證明了投影梯度法求解子問題所得函數(shù)值序列是下降的.進(jìn)一步,給出算法的收斂性分析,并在目標(biāo)函數(shù)為凸的條件下證明了算法的次線性收斂速率.最后,本文設(shè)計(jì)了求解一類稀疏優(yōu)化問題的凹凸(DC)算法.主要思想是利用光滑凹部分的線性近似函數(shù),設(shè)計(jì)出凸規(guī)劃模型的求解問題.在某些標(biāo)準(zhǔn)假設(shè)條件下,得到解的稀疏性質(zhì),并給出了算法的收斂性分析.
【圖文】：

的迭代圖像．其中向量維數(shù)我們選取《邋＝邋１０００，邋ｍ分別選取的是ａ３ｎ，０．６ｎ．因?yàn)槲义义蟼冎饕獪y(cè)試兩個(gè)算法下降的快慢，所以當(dāng)結(jié)果顯示出來差別的時(shí)候我們就停止算逡逑法的運(yùn)行．具體結(jié)果如圖３邋－邋１和圖３邋－邋２．逡逑ｍ＝０．３ｎ逡逑；邐Ｉ邐Ｉ邐Ｉ邐Ｉ邐Ｉ逡逑＼邐邐ＰＧＭ逡逑＼邐—邋—邋一邋ＭＰＧＭ逡逑＼＼逡逑＼＼逡逑１．９邋Ｗ逡逑１０邐＇邋ｗ邐＇逡逑Ｗ逡逑Ｗ逡逑￥邋＼＼＼＼逡逑＼邋＼逡逑＼邋＼逡逑＼邋＼逡逑＼邋＼逡逑＼邋＼逡逑＼邋、、逡逑＼邋、、逡逑１0１．８－邋、＇邋、、、、邋－逡逑、、、邋＿逡逑邐，邐，邐邐——…．一邋，邐逡逑０邐２００邐４００邐６００邐８００邐１０００邐１２００逡逑ｉｔｅｒ逡逑圖３－１：目標(biāo)函數(shù)值下降速度比較逡逑圖３邋－邋１和圖３邋－邋２中，ｏｂｊ代表的是目標(biāo)函數(shù)值的對(duì)數(shù)指標(biāo)，ｉｔｅｒ代表迭代次數(shù)．逡逑從圖３邋－邋１和圖３－２中我們可以看出來修正鄰近梯度法是具有目標(biāo)函數(shù)下降性質(zhì)逡逑的，并且下降速度相對(duì)較快．進(jìn)一步，，我們還測(cè)試了相同情況下兩個(gè)相鄰迭代點(diǎn)的逡逑距離隨著運(yùn)行時(shí)間的變化圖像．結(jié)果見圖３邋＿３和圖３邋－邋４．逡逑圖３邋－邋３和圖３－４中，ｓｕｃｃｅｓｓｆｕｌ邋ｄｉｆｆｅｒｅｎｃｅ表不兩個(gè)相鄰迭代之間的跑禽．從兩逡逑個(gè)圖中不難看．出，修正鄰近梯度法運(yùn)行更加穩(wěn)�。义希常村灞菊滦〗Y(jié)逡逑本章主要分析求解非光滑凸優(yōu)化問題（１－２３）的單調(diào)修正鄰近梯度的設(shè)計(jì)與實(shí)逡逑現(xiàn)．在設(shè)計(jì)算法的思路分析中

_去目標(biāo)函數(shù)值下降速度比較
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：O224

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳元媛;高巖;劉志敏;杜守強(qiáng);;一類特殊優(yōu)化問題的光滑梯度法[J];運(yùn)籌學(xué)學(xué)報(bào);2017年02期

2 李蕊;;半定規(guī)劃的改進(jìn)的外梯度法[J];重慶文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年05期

3 孫佑民;曾繼富;蘇殿貞;凌萍華;;梯度法及其應(yīng)用實(shí)例[J];優(yōu)選與管理科學(xué);1986年02期

4 徐爾;一個(gè)超線性收斂的廣義既約梯度法[J];高校應(yīng)用數(shù)學(xué)學(xué)報(bào)A輯(中文版);1988年03期

5 O.FUJIARA;關(guān)洪林;袁達(dá)q

本文編號(hào)：2697263