支持向量機（Support Vector Machines,SVM）與懲罰邏輯斯蒂回歸（Penalty Logistic Regression,PLR）是機器學習中兩種重要的核學習方法,具有完善的理論基礎。對于原始空間中的線性不可分問題,SVM和PLR都可以通過核方法將數(shù)據(jù)映射至高維線性可分的空間中進行分類。在這種情況下,其對應線性模型的性能遠不如非線性模型。然而,非線性核學習問題的計算時間復雜度理論上不會低于O n²,其中n為訓練樣本的規(guī)模。這使得非線性SVM和PLR的應用難以擴展至大規(guī)模數(shù)據(jù)集。為此,本文分別設計非線性SVM的兩種亞線性時間優(yōu)化算法和PLR的一種亞線性時間優(yōu)化算法。首先,基于梯度下降的優(yōu)化方法設計非線性SVM的亞線性優(yōu)化算法。算法的每次迭代包括一個梯度下降更新步和一個投影步。在算法的每次迭代過程中應用隨機傅里葉特征映射將采樣得到的樣本映射至隨機傅里葉特征空間執(zhí)行上述步驟,使得算法單次迭代的時間復雜度為常數(shù)。推導出算法的收斂率,并證明算法返回對應目標優(yōu)化問題ε近似解的時間復雜度是獨立于樣本規(guī)模的。進一步,將SVM中的損失函數(shù)替換為指數(shù)損失函數(shù),可... 

【文章來源】：天津大學天津市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：49 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景
    1.2 本文工作
    1.3 章節(jié)安排
第2章 文獻綜述
    2.1 亞線性算法概述
        2.1.1 亞線性算法的基本概念
        2.1.2 亞線性算法的分類
    2.2 SVM與 PLR的研究現(xiàn)狀
        2.2.1 大規(guī)模SVM與 PLR的研究現(xiàn)狀
        2.2.2 亞線性SVM與 PLR的研究現(xiàn)狀
        2.2.3 存在的問題
第3章 非線性核學習的亞線性時間算法
    3.1 非線性核學習
        3.1.1 非線性SVM
        3.1.2 非線性PLR
        3.1.3 隨機傅里葉特征映射
    3.2 基于梯度下降的非線性核學習亞線性算法
        3.2.1 非線性SVM的梯度下降優(yōu)化算法
        3.2.2 非線性PLR的梯度下降優(yōu)化算法
    3.3 基于子集選擇技術的非線性核學習亞線性算法
        3.3.1 改進的亞線性原始-對偶算法
        3.3.2 非線性SVM的子集選擇優(yōu)化算法
    3.4 小結(jié)
第4章 實驗
    4.1 實驗設置
    4.2 性能評估
    4.3 收斂性評估
    4.4 小結(jié)
第5章 結(jié)語
    5.1 總結(jié)
    5.2 展望
參考文獻
發(fā)表論文和參加科研情況說明
致謝



本文編號：3155254