機器學(xué)習(xí)方法為計算機提供了強大的數(shù)據(jù)分析能力,其在數(shù)據(jù)挖掘、計算機視覺、自然語言處理等許多領(lǐng)域得到了極為廣泛的應(yīng)用。諸多機器學(xué)習(xí)模型的訓(xùn)練過程均可看做解大規(guī)模優(yōu)化問題,其求解過程往往涉及大量矩陣操作。高質(zhì)量的矩陣近似可以大幅度提升算法的速度并減小空間開銷。本文關(guān)注優(yōu)化算法中的矩陣近似,通過對機器學(xué)習(xí)中常見的矩陣類型設(shè)計近似算法以提升算法的效率;同時從優(yōu)化角度對矩陣近似建模,提出更合理的近似方法。這些算法可應(yīng)用于高斯過程回歸、在線凸優(yōu)化、分解機模型等問題。本文的貢獻概括如下:·本文提出了關(guān)于一般酉不變范數(shù)的正則化矩陣近似形式。正則化矩陣近似在減小近似誤差的同時,還擁對正定矩陣的近似結(jié)果可逆,減小條件數(shù)的性質(zhì),為優(yōu)化算法中常見的求逆操作提供了很大便利。·本文提出了譜平移Nystr?m方法,其通過對核矩陣的采樣得到一個原矩陣的近似結(jié)果。對于小特征值較大的核矩陣,該算法的近似誤差明顯小于傳統(tǒng)Nystr?m方法。我們將其應(yīng)用于高斯過程回歸,得到了好于現(xiàn)有算法的結(jié)果。·本文提出了魯棒頻繁方向方法,其通過額外的正則項對頻繁方向方法和增量奇異值分解進行了改進。將其應(yīng)用于在線牛頓法中,可自適應(yīng)選擇二階信... 

【文章來源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：126 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題背景和意義
        1.1.1 機器學(xué)習(xí)中的優(yōu)化問題
        1.1.2 如何提升優(yōu)化算法的效率
    1.2 數(shù)學(xué)符號定義及矩陣和優(yōu)化基礎(chǔ)
    1.3 機器學(xué)習(xí)中的優(yōu)化算法
    1.4 論文組織和結(jié)構(gòu)
第二章 正則化矩陣近似及其在優(yōu)化算法中的應(yīng)用
    2.1 基于酉不變范數(shù)的正則化矩陣近似
    2.2 基于Nystr?m方法的正則化矩陣近似
        2.2.1 標(biāo)準(zhǔn)Nystr?m方法與藍本模型
        2.2.2 正則化Nystr?m方法
        2.2.3 譜平移Nystr?m方法
        2.2.4 實驗分析
    2.3 在線正則化矩陣近似
        2.3.1 增量SVD算法
        2.3.2 頻繁方向方法
        2.3.3 魯棒頻繁方向算法
        2.3.4 實驗分析
    2.4 在線牛頓法及相關(guān)近似算法
        2.4.1 在線凸優(yōu)化問題
        2.4.2 在線凸優(yōu)化的基本算法
        2.4.3 自適應(yīng)的概略在線牛頓法
        2.4.4 實驗分析
    2.5 本章小結(jié)
第三章 矩陣參數(shù)的機器學(xué)習(xí)模型及其優(yōu)化算法
    3.1 支持矩陣機模型
        3.1.1 問題描述和相關(guān)工作
        3.1.2 支持矩陣機
        3.1.3 學(xué)習(xí)算法
        3.1.4 實驗分析
    3.2 基于概略追隨正則化領(lǐng)袖算法的在線分解機
        3.2.1 在線分解機模型和相關(guān)工作
        3.2.2 概略追隨正則化領(lǐng)袖方法
        3.2.3 理論分析
        3.2.4 實驗分析
    3.3 在線矩陣乘法近似
        3.3.1 基于頻繁方向的矩陣乘法近似
        3.3.2 實驗分析
全文總結(jié)
參考文獻
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文
攻讀學(xué)位期間參與的項目



本文編號：3320031