科學(xué)技術(shù)的飛速發(fā)展為數(shù)據(jù)采集帶來(lái)了便利,各行各業(yè)都產(chǎn)生了大量的高維數(shù)據(jù).但是,這些數(shù)據(jù)往往包含大量的冗雜信息,如何處理這些數(shù)據(jù),將數(shù)據(jù)信息進(jìn)行有效分類,并剔除冗余,進(jìn)一步從中提取有用的信息已成為機(jī)器學(xué)習(xí)中最基本也是最重要的問(wèn)題.而機(jī)器學(xué)習(xí)中很多問(wèn)題的求解最終都?xì)w結(jié)為求解大規(guī)模優(yōu)化問(wèn)題.本文基于機(jī)器學(xué)習(xí)這一熱點(diǎn)話題,研究“正則化項(xiàng)+損失函數(shù)”的機(jī)器學(xué)習(xí)算法框架.我們將上述問(wèn)題分兩類情況進(jìn)行討論,即光滑經(jīng)驗(yàn)損失問(wèn)題和結(jié)構(gòu)風(fēng)險(xiǎn)最小化問(wèn)題兩種情形.對(duì)這兩類問(wèn)題的求解,本文主要使用隨機(jī)優(yōu)化方法,具體安排如下:對(duì)于光滑的經(jīng)驗(yàn)損失函數(shù)問(wèn)題,我們?cè)谝延须S機(jī)梯度法的基礎(chǔ)上進(jìn)行改進(jìn).由于隨機(jī)梯度法受噪聲梯度估計(jì)的影響,當(dāng)使用固定步長(zhǎng)時(shí),它無(wú)法收斂到最優(yōu)解,即使取遞減步長(zhǎng),它也只能滿足緩慢的次線性收斂.對(duì)此,我們探討了兩種方法.其一,我們探究了一種隨機(jī)梯度降噪法隨機(jī)受控的隨機(jī)梯度法（SCSG）.該方法在隨機(jī)方差減少梯度（SVRG）方法的基礎(chǔ)上使用自動(dòng)參數(shù)調(diào)整系統(tǒng).其收斂性與SVRG方法相似,但其計(jì)算復(fù)雜度較SVRG大大降低,而且所需的存儲(chǔ)空間也大大減少.其二,我們探究了一種修正的隨機(jī)L-BFGS方法,該方法... 

【文章來(lái)源】：貴州大學(xué)貴州省 211工程院校

【文章頁(yè)數(shù)】：51 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 研究目的及意義
    1.3 國(guó)內(nèi)外研究現(xiàn)狀
    1.4 內(nèi)容結(jié)構(gòu)安排
第二章 預(yù)備知識(shí)
    2.1 大規(guī)模機(jī)器學(xué)習(xí)問(wèn)題的基本模型
    2.2 相關(guān)概念
    2.3 基本方法簡(jiǎn)述
        2.3.1 批梯度與隨機(jī)梯度下降法
        2.3.2 隨機(jī)牛頓法
第三章 光滑經(jīng)驗(yàn)損失問(wèn)題的優(yōu)化方法
    3.1 隨機(jī)梯度法的降噪方法
        3.1.1 SVRG方法的基本思想
        3.1.2 隨機(jī)受控的隨機(jī)梯度（SCSG）方法的導(dǎo)出
    3.2 修正的隨機(jī)L-BFGS方法
        3.2.1 擬牛頓法的基本原理
        3.2.2 隨機(jī)L-BFGS方法的導(dǎo)出
        3.2.3 隨機(jī)L-BFGS方法的收斂性分析
    3.3 數(shù)值分析及分析
        3.3.1 SCSG方法的數(shù)值實(shí)驗(yàn)比較與分析
        3.3.2 SL-BFGS方法的數(shù)值實(shí)驗(yàn)比較與分析
第四章 結(jié)構(gòu)風(fēng)險(xiǎn)最小化問(wèn)題的優(yōu)化方法
    4.1 鄰近隨機(jī)L-BFGS方法
        4.1.1 鄰近隨機(jī)L-BFGS算法的基本思想
        4.1.2 鄰近隨機(jī)L-BFGS算法的收斂性分析
        4.1.3 小結(jié)
    4.2 隨機(jī)次梯度鏡面下降方法
        4.2.1 鏡面下降算法的基本原理
        4.2.2 隨機(jī)鏡面下降算法的基本思想
        4.2.3 算法的收斂性分析
        4.2.4 小結(jié)
第五章 總結(jié)與展望
    5.1 工作總結(jié)
    5.2 展望
參考文獻(xiàn)
致謝
附錄 ：攻讀碩士學(xué)位期間的研究成果


【參考文獻(xiàn)】：
期刊論文
[1]使用Nesterov步長(zhǎng)策略投影次梯度方法的個(gè)體收斂性[J]. 陶蔚,潘志松,儲(chǔ)德軍,陶卿.  計(jì)算機(jī)學(xué)報(bào). 2018(01)
[2]稀疏學(xué)習(xí)優(yōu)化問(wèn)題的求解綜述[J]. 陶卿,高乾坤,姜紀(jì)遠(yuǎn),儲(chǔ)德軍.  軟件學(xué)報(bào). 2013(11)
[3]求解大規(guī)模優(yōu)化問(wèn)題的有限內(nèi)存SR-1方法[J]. 吳淦洲.  茂名學(xué)院學(xué)報(bào). 2010(06)



本文編號(hào)：2927503