發(fā)布時間：2025-02-11 17:40

　　由于具有對目標函數的假設較弱,收斂速度快和易于實現等特點,一階優(yōu)化算法被廣泛應用于求解機器學習模型參數。然而傳統的一階優(yōu)化算法在實現時會遇到各種各樣的問題。一方面,隨著數據規(guī)模的爆發(fā)式增長和深度神經網絡等機器學習模型中參數規(guī)模不斷增加,傳統的確定性數值優(yōu)化算法有計算量過大的問題。另一方面,數值優(yōu)化領域中討論的一階算法分析往往基于最壞計算復雜度。由于實際當中最壞情況往往不會出現,實際中傳統的隨機梯度下降等方法在求解過程中可能浪費大量的迭代。為此,機器學習領域的研究者們提出了ADAGRAD等針對凸問題的隨機自適應算法,這些方法通過利用隨機梯度的歷史信息來自適應地更新步長,在實際應用中通常有更好的性能。但是,目前大量的機器學習任務(如深度神經網絡)的目標函數為非凸函數,在非凸情況下大部分上述算法在理論層面尚缺乏收斂性保證。綜上,研究實用、收斂速度更快的優(yōu)化算法是機器學習理論中的一個重要挑戰(zhàn)。為此,本文重點研究能同時提升理論收斂速度和實際表現的一階優(yōu)化算法,具體包括四個方面:1)研究了 KL不等式在非凸矩陣秩最小化問題上的應用,證明了當目標函數滿足KL性質時關于奇異值的非凸規(guī)范化項可被傳統的近鄰...

【文章頁數】：137 頁

【學位級別】：博士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 基本問題描述
    1.2 本文貢獻
第2章 背景介紹
    2.1 基本性質和標記定義
        2.1.1 計算復雜度和收斂速度
        2.1.2 標記定義
    2.2 相關工作
        2.2.1 誤差界和Kurdyka-Lojasiewicz性質
        2.2.2 隨機梯度下降法和自適應算法簡介
        2.2.3 非凸優(yōu)化算法簡介
        2.2.4 方差減小的隨機一階算法
第3章 基于迭代閾值收縮的非凸矩陣秩最小化算法
    3.1 矩陣秩最小化問題和非凸規(guī)范化項
    3.2 重加權的非凸奇異值規(guī)范化項收斂結果分析
    3.3 多個矩陣的秩最小化問題
    3.4 實際實現中的問題和解決方案
    3.5 矩陣補全問題中的算法驗證
        3.5.1 人造數據集
        3.5.2 圖像數據集
        3.5.3 多個域的推薦問題
第4章 SADAGRAD:強自適應的隨機梯度算法
    4.1 二階增長條件下的強自適應的隨機次梯度算法
    4.2 SADAGRAD算法基于近鄰算法的變種
    4.3 實際應用中的SADAGRAD算法變種
    4.4 SADAGRAD算法在滿足局部誤差界假設下的擴展
    4.5 實驗驗證
第5章 非凸優(yōu)化中統一的階段化學習方法框架
    5.1 階段化優(yōu)化算法框架
    5.2 具體的階段化優(yōu)化算法
        5.2.1 階段化的隨機梯度下降法
        5.2.2 階段化的動量隨機梯度法
        5.2.3 階段化的自適應算法
    5.3 實驗驗證
第6章 Stagewise-Katyusha:階段化的加速的方差減小隨機梯度下降法
    6.1 Stagewise-Katyusha算法和假設
    6.2 收斂性分析
第7章 總結
參考文獻
附錄A 第3章證明
    A.1 定理3.6證明
    A.2 引理3.7證明
    A.3 定理3.9證明
附錄B 第4章證明
    B.1 命題4.1證明
    B.2 定理4.2證明
    B.3 定理4.4證明
    B.4 定理4.5證明
    B.5 定理4.7證明
    B.6 定理4.8證明
附錄C 第5章證明
    C.1 定理5.3證明
    C.2 定理5.5證明
    C.3 定理5.7證明
    C.4 引理5.4證明
    C.5 引理5.6證明
致謝
在讀期間發(fā)表的學術論文與取得的研究成果



本文編號：4033617