有約束條件優(yōu)化問題的MM算法
本文選題:MM算法 + Lasso ; 參考:《蘭州大學(xué)》2017年碩士論文
【摘要】:統(tǒng)計(jì)中諸多問題都可以轉(zhuǎn)化為帶約束條件的優(yōu)化問題,然而這些優(yōu)化函數(shù)往往因形式復(fù)雜或者不可導(dǎo)而很難求其最優(yōu)值,如Lasso,Fused-Lasso,FLSA等.本文以MM(Majorization Minorization)算法為基礎(chǔ),具體研究了Lasso,Fused-Lasso,FLSA等具有約束條件的有化問題.首先,我們論證了用MM算法求解Lasso的過程實(shí)際上是在用變參數(shù)嶺回歸來逼近Lasso,而且在稀疏數(shù)據(jù)下速度很快.其次,本文給出了其他較為簡(jiǎn)單的約束優(yōu)化問題的MM算法迭代式.再次,用MM算法求解Fused-Lasso問題時(shí)提出了合并記錄算法和記錄跳躍算法,以解決運(yùn)算中出現(xiàn)分母為0的問題,并通過實(shí)踐表明了合并記錄法的效果.最后,文章又以MM算法為基礎(chǔ),用記錄跳躍法來解決二維Fused-Lasso,并做了圖像平滑的實(shí)例驗(yàn)證.
[Abstract]:Many problems in statistics can be transformed into optimization problems with constraints. However, these optimization functions are often difficult to find the optimal value due to the complexity of the form or non-derivation, such as Lasso-Fused-Lasso-FLSA and so on. In this paper, based on the MM(Majorization Minorization algorithm, we study the problem of LassoFused-Lasso-FLSA with constraint conditions. First of all, we demonstrate that the process of solving Lasso by MM algorithm is actually approaching Lassoby variable parameter ridge regression, and the speed is very fast under sparse data. Secondly, this paper gives the iterative formula of MM algorithm for other simple constrained optimization problems. Thirdly, when the MM algorithm is used to solve the Fused-Lasso problem, the merging record algorithm and the record jumping algorithm are proposed to solve the problem of denominator zero in the operation, and the effect of the combined recording method is proved by practice. Finally, based on MM algorithm, this paper uses the record jump method to solve the two-dimensional Fused-Lasso. and an example of image smoothing is given.
【學(xué)位授予單位】:蘭州大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2017
【分類號(hào)】:F224
【相似文獻(xiàn)】
相關(guān)博士學(xué)位論文 前3條
1 夏穎;WLAN室內(nèi)半監(jiān)督定位及指紋更新算法研究[D];哈爾濱工業(yè)大學(xué);2016年
2 戴震龍;幾類問題基于自然邊界歸化的算法研究[D];南京師范大學(xué);2017年
3 吳珊珊;數(shù)據(jù)流頻繁項(xiàng)挖掘及相關(guān)性分析算法的研究[D];浙江大學(xué);2017年
相關(guān)碩士學(xué)位論文 前10條
1 李曉萍;有約束條件優(yōu)化問題的MM算法[D];蘭州大學(xué);2017年
2 韋陽(yáng)陽(yáng);兩類廣義多乘積規(guī)劃問題的優(yōu)化算法[D];河南師范大學(xué);2017年
3 張曉丹;WSN中基于改進(jìn)粒子群優(yōu)化算法的分簇拓?fù)渌惴ㄑ芯縖D];鄭州大學(xué);2017年
4 杜仲平;基于嵌入式的嬰兒哭聲報(bào)警算法研究[D];天津大學(xué);2016年
5 馬霜遜;基于標(biāo)簽傳播的PU學(xué)習(xí)算法研究[D];蘭州大學(xué);2017年
6 賈yN愷;基于深度特征學(xué)習(xí)的目標(biāo)檢測(cè)與跟蹤算法研究[D];西安科技大學(xué);2017年
7 張燦龍;不確定DM-chameleon聚類算法在滑坡危險(xiǎn)性預(yù)測(cè)的研究及應(yīng)用[D];江西理工大學(xué);2017年
8 王玉芳;基于灰狼優(yōu)化算法的風(fēng)電場(chǎng)短期風(fēng)速區(qū)間預(yù)測(cè)[D];蘭州大學(xué);2017年
9 周清玲;基于流體仿真的人群運(yùn)動(dòng)模擬基礎(chǔ)算法研究[D];天津大學(xué);2016年
10 張娜;基于梯度動(dòng)力系統(tǒng)求解多峰函數(shù)優(yōu)化問題的算法研究[D];天津大學(xué);2016年
,本文編號(hào):1819312
本文鏈接:http://sikaile.net/jingjifazhanlunwen/1819312.html