機(jī)器學(xué)習(xí)方法為計(jì)算機(jī)提供了強(qiáng)大的數(shù)據(jù)分析能力,其在數(shù)據(jù)挖掘、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等許多領(lǐng)域得到了極為廣泛的應(yīng)用。諸多機(jī)器學(xué)習(xí)模型的訓(xùn)練過(guò)程均可看做解大規(guī)模優(yōu)化問(wèn)題,其求解過(guò)程往往涉及大量矩陣操作。高質(zhì)量的矩陣近似可以大幅度提升算法的速度并減小空間開(kāi)銷(xiāo)。本文關(guān)注優(yōu)化算法中的矩陣近似,通過(guò)對(duì)機(jī)器學(xué)習(xí)中常見(jiàn)的矩陣類(lèi)型設(shè)計(jì)近似算法以提升算法的效率;同時(shí)從優(yōu)化角度對(duì)矩陣近似建模,提出更合理的近似方法。這些算法可應(yīng)用于高斯過(guò)程回歸、在線(xiàn)凸優(yōu)化、分解機(jī)模型等問(wèn)題。本文的貢獻(xiàn)概括如下:·本文提出了關(guān)于一般酉不變范數(shù)的正則化矩陣近似形式。正則化矩陣近似在減小近似誤差的同時(shí),還擁對(duì)正定矩陣的近似結(jié)果可逆,減小條件數(shù)的性質(zhì),為優(yōu)化算法中常見(jiàn)的求逆操作提供了很大便利�！け疚奶岢隽俗V平移Nystr?m方法,其通過(guò)對(duì)核矩陣的采樣得到一個(gè)原矩陣的近似結(jié)果。對(duì)于小特征值較大的核矩陣,該算法的近似誤差明顯小于傳統(tǒng)Nystr?m方法。我們將其應(yīng)用于高斯過(guò)程回歸,得到了好于現(xiàn)有算法的結(jié)果�！け疚奶岢隽唆敯纛l繁方向方法,其通過(guò)額外的正則項(xiàng)對(duì)頻繁方向方法和增量奇異值分解進(jìn)行了改進(jìn)。將其應(yīng)用于在線(xiàn)牛頓法中,可自適應(yīng)選擇二階信... 

【文章來(lái)源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：126 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題背景和意義
        1.1.1 機(jī)器學(xué)習(xí)中的優(yōu)化問(wèn)題
        1.1.2 如何提升優(yōu)化算法的效率
    1.2 數(shù)學(xué)符號(hào)定義及矩陣和優(yōu)化基礎(chǔ)
    1.3 機(jī)器學(xué)習(xí)中的優(yōu)化算法
    1.4 論文組織和結(jié)構(gòu)
第二章 正則化矩陣近似及其在優(yōu)化算法中的應(yīng)用
    2.1 基于酉不變范數(shù)的正則化矩陣近似
    2.2 基于Nystr?m方法的正則化矩陣近似
        2.2.1 標(biāo)準(zhǔn)Nystr?m方法與藍(lán)本模型
        2.2.2 正則化Nystr?m方法
        2.2.3 譜平移Nystr?m方法
        2.2.4 實(shí)驗(yàn)分析
    2.3 在線(xiàn)正則化矩陣近似
        2.3.1 增量SVD算法
        2.3.2 頻繁方向方法
        2.3.3 魯棒頻繁方向算法
        2.3.4 實(shí)驗(yàn)分析
    2.4 在線(xiàn)牛頓法及相關(guān)近似算法
        2.4.1 在線(xiàn)凸優(yōu)化問(wèn)題
        2.4.2 在線(xiàn)凸優(yōu)化的基本算法
        2.4.3 自適應(yīng)的概略在線(xiàn)牛頓法
        2.4.4 實(shí)驗(yàn)分析
    2.5 本章小結(jié)
第三章 矩陣參數(shù)的機(jī)器學(xué)習(xí)模型及其優(yōu)化算法
    3.1 支持矩陣機(jī)模型
        3.1.1 問(wèn)題描述和相關(guān)工作
        3.1.2 支持矩陣機(jī)
        3.1.3 學(xué)習(xí)算法
        3.1.4 實(shí)驗(yàn)分析
    3.2 基于概略追隨正則化領(lǐng)袖算法的在線(xiàn)分解機(jī)
        3.2.1 在線(xiàn)分解機(jī)模型和相關(guān)工作
        3.2.2 概略追隨正則化領(lǐng)袖方法
        3.2.3 理論分析
        3.2.4 實(shí)驗(yàn)分析
    3.3 在線(xiàn)矩陣乘法近似
        3.3.1 基于頻繁方向的矩陣乘法近似
        3.3.2 實(shí)驗(yàn)分析
全文總結(jié)
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文
攻讀學(xué)位期間參與的項(xiàng)目



本文編號(hào)：3320031