發(fā)布時間：2021-08-03 17:28

　　機器學習方法為計算機提供了強大的數(shù)據(jù)分析能力,其在數(shù)據(jù)挖掘、計算機視覺、自然語言處理等許多領域得到了極為廣泛的應用。諸多機器學習模型的訓練過程均可看做解大規(guī)模優(yōu)化問題,其求解過程往往涉及大量矩陣操作。高質量的矩陣近似可以大幅度提升算法的速度并減小空間開銷。本文關注優(yōu)化算法中的矩陣近似,通過對機器學習中常見的矩陣類型設計近似算法以提升算法的效率;同時從優(yōu)化角度對矩陣近似建模,提出更合理的近似方法。這些算法可應用于高斯過程回歸、在線凸優(yōu)化、分解機模型等問題。本文的貢獻概括如下:·本文提出了關于一般酉不變范數(shù)的正則化矩陣近似形式。正則化矩陣近似在減小近似誤差的同時,還擁對正定矩陣的近似結果可逆,減小條件數(shù)的性質,為優(yōu)化算法中常見的求逆操作提供了很大便利�！け疚奶岢隽俗V平移Nystr?m方法,其通過對核矩陣的采樣得到一個原矩陣的近似結果。對于小特征值較大的核矩陣,該算法的近似誤差明顯小于傳統(tǒng)Nystr?m方法。我們將其應用于高斯過程回歸,得到了好于現(xiàn)有算法的結果。·本文提出了魯棒頻繁方向方法,其通過額外的正則項對頻繁方向方法和增量奇異值分解進行了改進。將其應用于在線牛頓法中,可自適應選擇二階信... 

【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：126 頁

【學位級別】：博士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題背景和意義
        1.1.1 機器學習中的優(yōu)化問題
        1.1.2 如何提升優(yōu)化算法的效率
    1.2 數(shù)學符號定義及矩陣和優(yōu)化基礎
    1.3 機器學習中的優(yōu)化算法
    1.4 論文組織和結構
第二章 正則化矩陣近似及其在優(yōu)化算法中的應用
    2.1 基于酉不變范數(shù)的正則化矩陣近似
    2.2 基于Nystr?m方法的正則化矩陣近似
        2.2.1 標準Nystr?m方法與藍本模型
        2.2.2 正則化Nystr?m方法
        2.2.3 譜平移Nystr?m方法
        2.2.4 實驗分析
    2.3 在線正則化矩陣近似
        2.3.1 增量SVD算法
        2.3.2 頻繁方向方法
        2.3.3 魯棒頻繁方向算法
        2.3.4 實驗分析
    2.4 在線牛頓法及相關近似算法
        2.4.1 在線凸優(yōu)化問題
        2.4.2 在線凸優(yōu)化的基本算法
        2.4.3 自適應的概略在線牛頓法
        2.4.4 實驗分析
    2.5 本章小結
第三章 矩陣參數(shù)的機器學習模型及其優(yōu)化算法
    3.1 支持矩陣機模型
        3.1.1 問題描述和相關工作
        3.1.2 支持矩陣機
        3.1.3 學習算法
        3.1.4 實驗分析
    3.2 基于概略追隨正則化領袖算法的在線分解機
        3.2.1 在線分解機模型和相關工作
        3.2.2 概略追隨正則化領袖方法
        3.2.3 理論分析
        3.2.4 實驗分析
    3.3 在線矩陣乘法近似
        3.3.1 基于頻繁方向的矩陣乘法近似
        3.3.2 實驗分析
全文總結
參考文獻
致謝
攻讀學位期間發(fā)表的學術論文
攻讀學位期間參與的項目



本文編號：3320031