核方法作為機器學習領域中一類重要的非線性方法,廣泛地應用在分類、回歸、聚類、降維等諸多問題中。目前關于核方法研究的關鍵是在于如何設計出或?qū)W習到更靈活的核函數(shù),用以描述數(shù)據(jù)的分布特性。本文工作圍繞核學習展開,主要從非參數(shù)核學習、非正定核學習、核近似問題三個方面進行研究,涵蓋了學習算法的逼近理論研究、相似性學習的算法研究以及在目標跟蹤領域中的應用研究。研究成果主要集中在以下幾個方面:在非參數(shù)核學習方面,本文提出了一種基于數(shù)據(jù)自適應的非參數(shù)核學習框架,對預先給定的核矩陣直接施加一個數(shù)據(jù)自適應矩陣,采用優(yōu)化的方式靈活地學習到該矩陣的每一個元素,從而得到一個相當靈活的非參數(shù)核矩陣。該核學習框架可嵌入至支持向量機（support vector machines,SVM）與支持向量回歸（support vector regression,SVR）模型中,用于分類與回歸問題,可有效地增加類別之間的間隔并減小模型的泛化誤差。針對該優(yōu)化問題的求解,本文論證了目標函數(shù)的梯度是Lipschitz連續(xù)的,從而將核學習的訓練過程與SVM/SVR中參數(shù)優(yōu)化統(tǒng)一至一個求解框架中。此外,針對非參數(shù)核的核近似問題,本文拓... 

【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：194 頁

【學位級別】：博士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景
    1.2 理論基礎
    1.3 相關工作
        1.3.1 正定核學習算法
        1.3.2 非正定核學習算法
        1.3.3 核近似算法
    1.4 本文主要貢獻
    1.5 本文組織結(jié)構(gòu)
第二章 數(shù)據(jù)自適應的非參數(shù)核學習算法
    2.1 本章引言
    2.2 用于分類問題的DANK模型描述
    2.3 DANK模型的優(yōu)化算法
        2.3.1 DANK模型目標函數(shù)的連續(xù)性
        2.3.2 基于Nesterov加速的可微優(yōu)化算法
    2.4 用于回歸問題的DANK模型描述
    2.5 DANK模型的核近似算法
    2.6 實驗結(jié)果對比與分析
        2.6.1 分類結(jié)果
        2.6.2 回歸結(jié)果
    2.7 本章小結(jié)
第三章 用于非參數(shù)核的新增樣本擴張算法
    3.1 本章引言
    3.2 hyper-RKHS上的正則化回歸模型
    3.3 hyper-RKHS上正則化回歸算法的學習率結(jié)果
    3.4 本章主要定理證明
        3.4.1 誤差分解
        3.4.2 估計樣本誤差和輸出誤差
        3.4.3 學習率推導
    3.5 實驗結(jié)果及比較
        3.5.1 UCI數(shù)據(jù)集分類結(jié)果
        3.5.2 LFW人臉識別數(shù)據(jù)集分類結(jié)果
        3.5.3 大規(guī)模數(shù)據(jù)集分類結(jié)果
    3.6 本章小結(jié)
第四章 基于非正定核的正則化學習算法的求解與分析
    4.1 本章引言
    4.2 基于非正定核的邏輯斯蒂回歸模型
    4.3 非精確求解的凹凸規(guī)劃
        4.3.1 IKLR模型中的CCICP算法
        4.3.2 CCICP-GD收斂性分析
        4.3.3 CCICP-SGD的收斂性分析
        4.3.4 CCICP算法的收斂階分析
    4.4 RKKS上的基于最小二乘的正則化回歸算法
        4.4.1 RKKS上嶺回歸算法的求解
        4.4.2 RKKS上嶺回歸算法的學習率結(jié)果
    4.5 本章主要定理證明
        4.5.1 誤差分解
        4.5.2 估計假設誤差
        4.5.3 樣本誤差估計
        4.5.4 學習率推導
    4.6 實驗結(jié)果對比與分析
        4.6.1 實驗設置
        4.6.2 UCI數(shù)據(jù)集分類結(jié)果
        4.6.3 Yale人臉數(shù)據(jù)集識別結(jié)果
        4.6.4 非精確求解參數(shù)?的分析
        4.6.5 CCICP算法的收斂性
        4.6.6 初始化對結(jié)果的影響
        4.6.7 關于CCICP-SGD的討論
    4.7 本章小結(jié)
第五章 基于雙變分貝葉斯框架的非正定核近似算法
    5.1 本章引言
    5.2 預備知識
        5.2.1 隨機傅里葉特征算法簡述
        5.2.2 狄利克雷過程的構(gòu)造
    5.3 RFF-DIGMM模型的圖模型表示
    5.4 RFF-DIGMM模型的變分推斷方法
        5.4.1 基于截斷狄利克雷過程的平均場方法
        5.4.2 RFF-DIGMM模型變分參數(shù)的推導
    5.5 實驗結(jié)果對比與分析
        5.5.1 實驗設置
        5.5.2 核近似算法的逼近結(jié)果
        5.5.3 核近似算法的分類結(jié)果
        5.5.4 MNIST數(shù)據(jù)集識別結(jié)果
        5.5.5 RFF-DIGMM模型參數(shù)分析
    5.6 本章小結(jié)
第六章 基于核化編碼的目標跟蹤算法
    6.1 本章引言
    6.2 基于核化版本的非負局部編碼模型
        6.2.1 LLC算法回顧
        6.2.2 基于核化版本的非負近似LLC算法
        6.2.3 多字典集成
        6.2.4 ?2范數(shù)正則化的理論分析
    6.3 基于KNMC的跟蹤框架
        6.3.1 觀測模型
        6.3.2 遮擋檢測機制
    6.4 實驗結(jié)果對比與分析
        6.4.1 實驗設置
        6.4.2 評價指標
        6.4.3 OTB數(shù)據(jù)集跟蹤結(jié)果
        6.4.4 缺項分析與參數(shù)分析
    6.5 本章小結(jié)
第七章 總結(jié)與展望
    7.1 全文總結(jié)
    7.2 研究展望
參考文獻
致謝
攻讀學位期間發(fā)表的學術論文
攻讀學位期間參與的項目


【參考文獻】：
碩士論文
[1]大規(guī)模機器學習：矩陣低秩近似與在線學習[D]. 李沐.上海交通大學 2011



本文編號：3249631