由于目前數(shù)據(jù)呈爆炸性增長(zhǎng),原有的機(jī)器學(xué)習(xí)算法已無(wú)法應(yīng)對(duì)新的挑戰(zhàn).然而,分布式算法是解決大數(shù)據(jù)問(wèn)題的一個(gè)有效方法.因此,將分布式算法和傳統(tǒng)的機(jī)器學(xué)習(xí)算法結(jié)合是很有必要的.交替方向乘子法(ADMM)是一個(gè)優(yōu)秀的分布式算法,本文的研究正是基于ADMM的一些分布式算法,我們研究該算法針對(duì)l_1問(wèn)題的最優(yōu)步長(zhǎng)、分布式支持向量機(jī)的ADMM算法和在線的分布式支持向量機(jī)的ADMM算法.具體內(nèi)容如下:1.ADMM算法已經(jīng)成為求解大規(guī)模優(yōu)化問(wèn)題的有效方法.盡管已經(jīng)有較多的關(guān)于該算法收斂性的研究,但關(guān)于該算法參數(shù)對(duì)收斂性的影響仍然需要進(jìn)一步的研究,在實(shí)驗(yàn)中參數(shù)通常是經(jīng)驗(yàn)性的選擇.本文研究基于ADMM算法l_1正則最小問(wèn)題的最優(yōu)步長(zhǎng).我們發(fā)現(xiàn)Lasso的解用軟閾值算子表示后,軟閾值的三種情況可以轉(zhuǎn)化為算法收斂因子的兩種情況,然后通過(guò)最小化收斂因子可以解出最優(yōu)步長(zhǎng).數(shù)值仿真實(shí)驗(yàn)表明,應(yīng)用該方法選出的步長(zhǎng),其算法的收斂速度明顯快于其它情況.此外,我們將該方法應(yīng)用到壓縮感知問(wèn)題,給出一個(gè)計(jì)算最優(yōu)步長(zhǎng)的近似值策略,獲得了較好的實(shí)驗(yàn)結(jié)果.2.眾所周知,支持向量機(jī)是一個(gè)有效的機(jī)器學(xué)習(xí)算法,針對(duì)大數(shù)據(jù),我們提出了master-slave網(wǎng)絡(luò)模型下的分布式SVM算法(MS-DSVM).該算法結(jié)合了分布式ADMM算法和SVM算法,該網(wǎng)絡(luò)結(jié)構(gòu)下master節(jié)點(diǎn)和slave節(jié)點(diǎn)相連,傳遞計(jì)算結(jié)果.分布式SVM可以看作是一個(gè)正則化優(yōu)化問(wèn)題,ADMM算法把原問(wèn)題分解成一系列的子問(wèn)題求解,最后合并得到全局解.我們引入了過(guò)松弛技術(shù)增加所提出算法的收斂速度.理論分析顯示:本文提出的MS-DSVM算法具有線性收斂速率,這也是現(xiàn)有分布式ADMM算法中最好的結(jié)果.實(shí)驗(yàn)結(jié)果也表明該算法的收斂速度和分類(lèi)準(zhǔn)確率都好于現(xiàn)有的方法.3.在現(xiàn)實(shí)世界中,很多任務(wù)是需要實(shí)時(shí)計(jì)算的,傳統(tǒng)的批量處理算法無(wú)法勝任.因此我們提出基于ADMM算法的在線分布式SVM算法,通過(guò)對(duì)數(shù)據(jù)矩陣引入時(shí)間參數(shù),對(duì)MS-DSVM算法做修改,得到在線的MS-DSVM算法.其中數(shù)據(jù)的流入隨時(shí)間變化,流入節(jié)點(diǎn)的方式也沒(méi)有限制,即任意節(jié)點(diǎn)在任意時(shí)間可以接受任意量的數(shù)據(jù),實(shí)驗(yàn)顯示在線的算法對(duì)數(shù)據(jù)的變化做出了及時(shí)且正確的回應(yīng),對(duì)實(shí)時(shí)數(shù)據(jù)具有較好的分類(lèi)結(jié)果.
【學(xué)位單位】：中國(guó)計(jì)量大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類(lèi)】：TP181;O224
【部分圖文】：

大數(shù)據(jù)已是研究熱點(diǎn).圖1.1是百度指數(shù)中“big data”的熱搜趨勢(shì)圖,從中可以清楚的看到,人們對(duì)大數(shù)據(jù)的高關(guān)注度從未下降.圖1.1百度指數(shù)中Big Data的熱搜度.大數(shù)據(jù)的產(chǎn)生與存儲(chǔ)方式也給現(xiàn)有的機(jī)器學(xué)習(xí)方法帶來(lái)了巨大挑戰(zhàn),比如現(xiàn)在的數(shù)據(jù)規(guī)模遠(yuǎn)遠(yuǎn)超越了單機(jī)的容量.所以,數(shù)據(jù)往往采取分布式存儲(chǔ)的方式,而集中處理分布式數(shù)據(jù)會(huì)產(chǎn)生巨大的額外開(kāi)銷(xiāo),因此,傳統(tǒng)的算法不再適用.于是

大數(shù)據(jù)分析的一般框架.

礪圩鈑挪匠?此時(shí)迭代次數(shù)是13,實(shí)線是不同步長(zhǎng)條件下,算法收斂時(shí)所需的迭代次數(shù),實(shí)線的最小值正好出現(xiàn)在理論最優(yōu)步長(zhǎng)的位置,說(shuō)明此時(shí)理論與實(shí)際相符合.圖3.2則是最優(yōu)步長(zhǎng)時(shí)對(duì)應(yīng)的收斂因子,縱坐標(biāo)是原始誤差與對(duì)偶誤差之和.圖3.1正則化參數(shù) λ = 1 時(shí)的迭代結(jié)果. 圖 3.2 正則化參數(shù) λ = 1, 步長(zhǎng)為最優(yōu)時(shí)的收斂情況.當(dāng)選取最優(yōu)的步長(zhǎng)時(shí), ADMM算法迭代13次達(dá)到收斂,表3.1給出了迭代過(guò)程中z的值,此時(shí)向量z是3維的,迭代次數(shù)為1時(shí)z = 0 表示初始值選取零向量. 在后續(xù)整個(gè)迭代中,z1和z3都不等于零，說(shuō)明它們是按照(3.15)式的第一種情況更新的, z2在整個(gè)迭代中幾乎都等于零，說(shuō)明它是按照(3.15)式第二種更新的,只有一次迭代進(jìn)行了變化,在如此極端的情況下,圖1中的理論最優(yōu)步長(zhǎng)和實(shí)際結(jié)果也相符,這也基本驗(yàn)證了上一節(jié)的理論的正確性.表3.1選取最優(yōu)步長(zhǎng)時(shí),迭代到收斂時(shí)的z的值迭代次數(shù)1 2 3 4 5 6 7 8z10 0

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 付強(qiáng),劉長(zhǎng)軍;交替方向隱式時(shí)域有限差分算法的應(yīng)用與發(fā)展[J];成都信息工程學(xué)院學(xué)報(bào);2005年01期

2 J.R.Bates,A.Mcdonald,楊世瑩;積分多層原始方程的半拉格朗日交替方向隱式法[J];海洋預(yù)報(bào);1988年S1期

3 黃康樂(lè);求解二維飽和-非飽和溶質(zhì)運(yùn)移問(wèn)題的交替方向特征有限單元法[J];水利學(xué)報(bào);1988年07期

4 吳美娟,M.A.Letchziner;速度、壓力耦合方程組的塊隱式解[J];華東化工學(xué)院學(xué)報(bào);1988年02期

5 黃偉祥;;一類(lèi)非線性發(fā)展方程的交替方向格式[J];內(nèi)蒙古民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年04期

6 孫敏;徐健騰;時(shí)貞軍;;一種新的投影型變分不等式交替方向方法[J];工程數(shù)學(xué)學(xué)報(bào);2006年06期

7 劉波,高本慶,薛正輝,胡瀝;無(wú)條件穩(wěn)定的交替方向隱式FDTD算法[J];電波科學(xué)學(xué)報(bào);2002年05期

8 黎麗梅;;交替方向隱式差分法在分?jǐn)?shù)次微分方程中的應(yīng)用[J];湖南理工學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年03期

9 來(lái)翔;袁益讓;;一類(lèi)三維擬線性雙曲型方程交替方向有限元法[J];計(jì)算數(shù)學(xué);2010年01期

10 張爭(zhēng)茹;帶有遷移的瘧疾病與瘧蚊數(shù)學(xué)模型的交替方向有限元法及其數(shù)值分析[J];生物數(shù)學(xué)學(xué)報(bào);2003年01期

相關(guān)會(huì)議論文 前10條

1 劉波;高本慶;薛正輝;胡瀝;;交替方向隱式FDTD法[A];全國(guó)電磁兼容學(xué)術(shù)會(huì)議論文集[C];2001年

2 張寶琳;;交替差分塊方法及其差分圖[A];中國(guó)工程物理研究院科技年報(bào)（1998）[C];1998年

3 楊義校;康學(xué)凈;陶然;;基于交替方向乘子法的分?jǐn)?shù)傅里葉相位恢復(fù)算法[A];第十二屆全國(guó)信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2018年

4 張嬌嬌;叢爽;鄭凱;李克之;;進(jìn)一步改進(jìn)的交替方向乘子法及其在量子態(tài)估計(jì)的應(yīng)用[A];第17屆中國(guó)系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)年會(huì)論文集（17th CCSSTA 2016）[C];2016年

5 宋萬(wàn)均;張厚;;磁化等離子體ADE-ADI FDTD算法[A];2017年全國(guó)微波毫米波會(huì)議論文集（上冊(cè)）[C];2017年

6 張坤;叢爽;;基于交替方向乘子法的在線量子態(tài)估計(jì)算法[A];第二十屆中國(guó)系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)年會(huì)論文集（20th CCSSTA 2019）[C];2019年

7 鄭忠;胡燕;羅小剛;占賢輝;;基于交替方向隱式差分算法的連鑄坯凝固傳熱模型[A];2008年全國(guó)冶金物理化學(xué)學(xué)術(shù)會(huì)議論文集[C];2008年

8 王林年;褚慶昕;;二維ADI-FDTD算法的PML[A];2003'全國(guó)微波毫米波會(huì)議論文集[C];2003年

9 張良;韓立國(guó);劉爭(zhēng)光;常傲;;基于壓縮感知的交替方向乘子算法恢復(fù)地震數(shù)據(jù)[A];2017中國(guó)地球科學(xué)聯(lián)合學(xué)術(shù)年會(huì)論文集（二十一）——專(zhuān)題44：深部資源探測(cè)技術(shù)與礦集區(qū)立體探測(cè)[C];2017年

10 王燕;田振夫;魏劍英;;Navier-Stokes方程組的一種四階緊致交替方向隱式差分方法[A];第七屆全國(guó)水動(dòng)力學(xué)學(xué)術(shù)會(huì)議暨第十九屆全國(guó)水動(dòng)力學(xué)研討會(huì)文集（上冊(cè)）[C];2005年

相關(guān)博士學(xué)位論文 前10條

1 馬寧;發(fā)展型方程的高階正交配置方法[D];山東大學(xué);2006年

2 來(lái)翔;幾類(lèi)雙曲型方程交替方向有限元分析[D];山東大學(xué);2007年

3 鄧定文;高精度交替方向隱式差分法的理論與應(yīng)用[D];華中科技大學(xué);2012年

4 黎麗梅;分?jǐn)?shù)階偏微分方程交替方向有限元誤差分析[D];湖南師范大學(xué);2013年

5 王慧慧;分布式交替方向乘子法研究[D];南京大學(xué);2017年

6 謝家新;稀疏信號(hào)恢復(fù)問(wèn)題的幾類(lèi)算法及應(yīng)用研究[D];湖南大學(xué);2017年

7 尤燕飛;鞍點(diǎn)問(wèn)題和約束優(yōu)化的幾個(gè)一階算法[D];南京大學(xué);2015年

8 馮民權(quán);大型湖泊水庫(kù)平面及垂向二維流場(chǎng)與水質(zhì)數(shù)值模擬[D];西安理工大學(xué);2003年

9 楊曉波;稀疏信號(hào)的聯(lián)合恢復(fù)與低秩稀疏恢復(fù)的理論及數(shù)值方法[D];湖南大學(xué);2017年

10 楊真真;壓縮感知重構(gòu)技術(shù)及其在圖像融合中的應(yīng)用研究[D];南京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 王楠;求解多塊可分凸優(yōu)化問(wèn)題的并行分裂法[D];南京師范大學(xué);2019年

2 陳慶國(guó);關(guān)于交替方向乘子法一些問(wèn)題的研究[D];中國(guó)計(jì)量大學(xué);2018年

3 李小玉;基于稀疏優(yōu)化方法的地鐵節(jié)能時(shí)刻表研究[D];北京交通大學(xué);2019年

4 駱江耀;外逼近法和分布式交替方向乘子法在電力系統(tǒng)優(yōu)化調(diào)度中的應(yīng)用研究[D];廣西大學(xué);2019年

5 王吉;泊松噪聲下的低秩張量復(fù)原[D];電子科技大學(xué);2019年

6 王曄濤;視頻去雨的模型和算法研究[D];電子科技大學(xué);2019年

7 陸晨茜;計(jì)算幾何中經(jīng)典問(wèn)題的交替方向乘子解法[D];南京大學(xué);2019年

8 王朵;低秩矩陣優(yōu)化問(wèn)題的算法研究[D];河南科技大學(xué);2019年

9 解麗潔;基于交替方向乘子法的二階總廣義變分圖像去噪算法[D];吉林大學(xué);2019年

10 徐秋云;分塊低秩矩陣回歸的線性化乘子交替方向算法[D];北京交通大學(xué);2018年

本文編號(hào)：2817115