【摘要】：Barzilai-Borwein (BB)算法是一種求解無約束優(yōu)化問題的有效算法.因其易于實現(xiàn)、要求存儲量小以及實際計算效果好等優(yōu)點,BB算法吸引了很多學(xué)者的關(guān)注.BB算法已經(jīng)被推廣到約束優(yōu)化和非光滑優(yōu)化,并且在支持向量機、圖像處理和壓縮感知等領(lǐng)域有廣泛的應(yīng)用.針對不同的問題設(shè)計高效的BB型算法是近年來的研究熱點之一然而,很多優(yōu)化問題的目標(biāo)函數(shù)都是非凸、非光滑甚至非Lipschitz連續(xù)的.目前,求解這些問題的BB型算法還很少.本文研究幾類常見的優(yōu)化問題,包括光滑凸約束優(yōu)化問題、非光滑無約束優(yōu)化問題、帶有非負(fù)約束的非光滑優(yōu)化問題和非Lipschitz約束優(yōu)化問題等,分別給出了相應(yīng)的BB型算法.主要成果概括如下：1.研究光滑凸約束優(yōu)化問題,其目標(biāo)函數(shù)連續(xù)可微且約束是閉凸集.已有的投影梯度算法的收斂性分析大多要求目標(biāo)函數(shù)的梯度是Lipschitz連續(xù)的.然而,很少有算法利用梯度的Lipschitz常數(shù)信息.我們利用梯度的Lipschitz常數(shù)構(gòu)造當(dāng)前迭代點處目標(biāo)函數(shù)的二次正則近似,結(jié)合投影策略和非單調(diào)線搜索,提出了二次正則投影BB算法,并證明了算法的全局收斂性.我們將新算法應(yīng)用于非負(fù)矩陣分解并與已有算法做了對比.雖然新算法每次迭代需要計算兩次梯度和投影,但是數(shù)值結(jié)果表明新算法可以在較少迭代次數(shù)和較短的時間內(nèi)得到滿意的解.2.研究一類非光滑的無約束優(yōu)化問題,其目標(biāo)函數(shù)是一個光滑函數(shù)與一個凸函數(shù)的和.這類問題可以看作光滑凸約束優(yōu)化問題的推廣.我們結(jié)合非單調(diào)線搜索,提出一種BB型算法,并分析了算法的全局收斂性.證明了當(dāng)目標(biāo)函數(shù)的光滑項是凸函數(shù)時,新算法是次線性收斂的；當(dāng)光滑項是嚴(yán)格凸函數(shù)時,新算法的收斂速度是R-線性的.我們將新算法應(yīng)用于求解l2-l1問題、圖像去模糊問題、分組可分正則問題和全變分正則問題等,數(shù)值結(jié)果表明算法是有效的.3.考慮一類帶有非負(fù)約束的非光滑優(yōu)化問題,結(jié)合光滑技術(shù)和有效集策略,我們提出了一種光滑仿射尺度BB算法,并證明了在合適的條件下算法收斂到穩(wěn)定點,該穩(wěn)定點與光滑函數(shù)相關(guān).我們將新算法應(yīng)用于求解隨機線性互補問題(SLCP)的期望殘差極小化(ERM)模型,與光滑投影梯度法的相比,新算法需要的迭代次數(shù)更少,花費的CPU時間更短并且解的精度更高.4.我們對一類非Lipschitz約束優(yōu)化問題進行了研究,其目標(biāo)函數(shù)是一個光滑函數(shù)與一個非Lipschitz連續(xù)函數(shù)的和.結(jié)合光滑技術(shù)和投影策略,提出了一種光滑投影BB算法,證明了在合適的條件下算法收斂到尺度化穩(wěn)定點.當(dāng)目標(biāo)函數(shù)局部Lipschitz連續(xù)時,選擇合適的光滑函數(shù)可以保證算法收斂到Clarke穩(wěn)定點.我們將新算法應(yīng)用于求解l2-lp問題、圖像恢復(fù)問題和SLCP的ERM模型等,數(shù)值結(jié)果表明新算法是有效的.
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：O224
【圖文】：

９８．８邐４９．４邐１．８１邐２．７９８２邐７．９５ｅ－Ｑ５逡逑停止條件為式（３－１２）．表３．５給出了邋６＝邋ＩＣｒ５時，１０個問題的平均結(jié)果．可Ｗ看出，逡逑算法３．１比ＳｐａＲＳＡ需要更少的ＣＰＵ時間和矩陣向量乘積次數(shù)．圖３．２和圖３．３分別給逡逑出了取么和＇00正則項的重構(gòu)結(jié)果．逡逑４１逡逑

（ｃ）邋０閑＝ｒ＜0＇５，邋ｒ邋＝邋０．００５邐（ｄ）把的，ｒ邋＝邋０．０１逡逑圖５．１邋ＳＰＢＢ算法用于恢復(fù)６４邋ｘ邋６４的打ｒｃ］ｅ圖像逡逑差分矩陣公Ｇ吸ｒｘｎ２的第Ｕ于：逡逑

【相似文獻】

相關(guān)期刊論文 前10條

1 李德勝;張才仙;陳淑銘;;選擇策略對進化算法性能的影響[J];科技資訊;2007年11期

2 梁民,孫仲康;多層前饋神經(jīng)網(wǎng)絡(luò)的快速學(xué)習(xí)算法及其仿真研究[J];系統(tǒng)工程與電子技術(shù);1993年09期

3 王忠;陳伏虎;;基于陣元域數(shù)據(jù)的聯(lián)合檢測與跟蹤算法[J];聲學(xué)學(xué)報(中文版);2007年06期

4 蘇開樂;關(guān)于D.W.Etherington的擴充產(chǎn)生算法的一個注記[J];計算機工程與科學(xué);1998年04期

5 江宇聞;;Overcomplete ICA算法研究[J];中山大學(xué)研究生學(xué)刊(自然科學(xué)、醫(yī)學(xué)版);2004年02期

6 王杰;王加銀;;Mean Shift算法的收斂性討論[J];北京師范大學(xué)學(xué)報(自然科學(xué)版);2008年05期

7 胡夢佑;陳鈞量;;快速加權(quán)滑窗RLS格型算法[J];中山大學(xué)學(xué)報(自然科學(xué)版);1992年02期

8 裴炳南;吳顯鼎;張明武;;MLMS算法的偽收斂現(xiàn)象[J];河南科學(xué);1993年Z1期

9 張承慧;一種工業(yè)過程時變參數(shù)估計新算法——修正目標(biāo)函數(shù)法[J];中國工程科學(xué);2001年11期

10 丁海軍;李峰磊;;蜂群算法在TSP問題上的應(yīng)用及參數(shù)改進[J];中國科技信息;2008年03期

相關(guān)會議論文 前10條

1 何敏;陳中顯;梅松濤;;蟻群算法的研究與進展[A];中國計量協(xié)會冶金分會2010年會論文集[C];2010年

2 高瑋;;免疫連續(xù)蟻群算法[A];第二十六屆中國控制會議論文集[C];2007年

3 唐乾玉;韓曾晉;;基于擾動分析的優(yōu)化算法[A];1994中國控制與決策學(xué)術(shù)年會論文集[C];1994年

4 金成勛;周廣祿;郭恒業(yè);;對ICP算法中穩(wěn)定采樣的研究[A];立體圖象技術(shù)及其應(yīng)用研討會論文集[C];2005年

5 陳元琰;閆友彪;羅曉曙;;REM算法的改進[A];廣西計算機學(xué)會2005年學(xué)術(shù)年會論文集[C];2005年

6 范瑛;;改進蟻群算法結(jié)合BP網(wǎng)絡(luò)用于入侵檢測[A];中國運籌學(xué)會模糊信息與模糊工程分會第五屆學(xué)術(shù)年會論文集[C];2010年

7 萬麗芬;鐘炎平;;約束LMS算法研究[A];第二十屆電工理論學(xué)術(shù)年會論文集[C];2008年

8 云飛;薛青;姚義軍;;改進型LMBP算法在軍事數(shù)據(jù)分析中的應(yīng)用研究[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2010年

9 朱雙東;艾智斌;閻夏;;BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進方案探析[A];1998年中國智能自動化學(xué)術(shù)會議論文集（上冊）[C];1998年

10 唐乾玉;陳翰馥;韓曾晉;;串行生產(chǎn)線的參數(shù)優(yōu)化[A];1994年中國控制會議論文集[C];1994年

相關(guān)博士學(xué)位論文 前10條

1 楊擴軍;TIADC系統(tǒng)校準(zhǔn)算法研究與實現(xiàn)[D];電子科技大學(xué);2015年

2 黃亞魁;幾類優(yōu)化問題的BB型算法研究[D];西安電子科技大學(xué);2015年

3 王可心;大規(guī)模過程系統(tǒng)非線性優(yōu)化的簡約空間理論與算法研究[D];浙江大學(xué);2008年

4 鮑吉鋒;平衡問題和優(yōu)化問題若干算法的收斂性分析[D];浙江大學(xué);2013年

5 韓飛;基于先驗信息編碼的約束學(xué)習(xí)算法研究[D];中國科學(xué)技術(shù)大學(xué);2006年

6 袁東輝;蟻群算法在飛行模擬器平臺中若干應(yīng)用問題的研究[D];吉林大學(xué);2011年

7 厲丹;視頻目標(biāo)檢測與跟蹤算法及其在煤礦中應(yīng)用的研究[D];中國礦業(yè)大學(xué);2011年

8 滕月陽;正電子發(fā)射斷層成像中的數(shù)學(xué)模型與算法[D];東北大學(xué);2012年

9 張曉偉;全局優(yōu)化的若干隨機性算法[D];西安電子科技大學(xué);2008年

10 鄭洪英;基于進化算法的入侵檢測技術(shù)研究[D];重慶大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 楊展;城軌列車自動調(diào)整系統(tǒng)模型與算法研究[D];西南交通大學(xué);2015年

2 馬英鈞;基于人工蜂群算法的約束優(yōu)化問題研究[D];華中師范大學(xué);2015年

3 錢其;電網(wǎng)諧波和間諧波功率的計量算法研究[D];中國科學(xué)技術(shù)大學(xué);2015年

4 蔣玉冰;無線通信信號到達(dá)角跟蹤算法研究[D];電子科技大學(xué);2014年

5 孫方亮;基于粒子群與中心引力的一種新混合算法及應(yīng)用[D];西安電子科技大學(xué);2014年

6 劉坤;人工植物優(yōu)化算法混合策略的研究及應(yīng)用[D];太原科技大學(xué);2011年

7 魏紅凱;人工蜂群算法及其應(yīng)用研究[D];北京工業(yè)大學(xué);2012年

8 劉婷婷;基于反饋的多目標(biāo)人工蜂群算法研究[D];東北大學(xué);2013年

9 李云彬;多目標(biāo)人工蜂群算法的研究與應(yīng)用[D];東北大學(xué);2012年

10 李長榮;面向非線性優(yōu)化問題的學(xué)習(xí)算法的研究[D];華東師范大學(xué);2015年

本文編號：2730632