隨著數(shù)據(jù)采集和存儲技術(shù)的進(jìn)步,金融、醫(yī)學(xué)、網(wǎng)絡(luò)等領(lǐng)域每天都產(chǎn)生著大量的數(shù)據(jù),如何設(shè)計快速有效的算法從中挖掘出有價值的信息,成為大數(shù)據(jù)處理中迫切需要解決的問題.稀疏學(xué)習(xí)是處理大數(shù)據(jù)的重要方法.針對數(shù)據(jù)量較多的大樣本數(shù)據(jù),已有的基于核學(xué)習(xí)的算法需要利用所有樣本計算核矩陣,且模型的解缺乏稀疏性,這無疑導(dǎo)致較大的內(nèi)存和時間消耗,使算法難以處理大數(shù)據(jù).對于高維大數(shù)據(jù),特征中存在著冗余特征,已有的基于隨機(jī)投影的特征稀疏方法快速且有效,然而由于稀疏隨機(jī)投影矩陣生成方式的完全隨機(jī)性,導(dǎo)致矩陣中非零元在列中分布不均,進(jìn)而導(dǎo)致降維后更多的數(shù)據(jù)信息丟失.此外,機(jī)器學(xué)習(xí)中存在著很多非凸優(yōu)化模型,如何為模型設(shè)計高效的算法來快速尋找到“全局”最優(yōu)解是另一個值得研究的課題.本文圍繞大數(shù)據(jù)的稀疏學(xué)習(xí)算法和機(jī)器學(xué)習(xí)中的非凸優(yōu)化問題進(jìn)行研究,主要包括下面幾部分內(nèi)容:(1)為了解決魯棒最小二乘支持向量機(jī)(R-LSSVM)的解不具有稀疏性,難以處理大數(shù)據(jù)的問題,提出了稀疏R-LSSVM算法(SR-LSSVM).首先從重新加權(quán)的角度解釋了R-LSSVM具有魯棒性的原因.然后,利用表示定理得到了基于原空間的R-LSSVM模型,新...

【文章頁數(shù)】：141 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
ABSTRACT
符號對照表
縮略語對照表
第一章 緒論
    1.1 研究背景和意義
    1.2 研究現(xiàn)狀
        1.2.1 基于核學(xué)習(xí)的樣本稀疏算法
        1.2.2 隨機(jī)投影特征提取方法
        1.2.3 非凸優(yōu)化
    1.3 研究目標(biāo)
    1.4 本文的研究內(nèi)容與結(jié)構(gòu)安排
第二章 魯棒最小二乘支持向量機(jī)的稀疏算法
    2.1 引言
    2.2 魯棒LSSVM模型和現(xiàn)有算法
        2.2.1 魯棒LSSVM模型
        2.2.2 求解R-LSSVM模型的現(xiàn)有算法
    2.3 稀疏R-LSSVM算法
        2.3.1 原空間R-LSSVM
        2.3.2 重新加權(quán)角度解釋R-LSSVM的魯棒性
        2.3.3 原空間R-LSSVM的DC分解
        2.3.4 原空間R-LSSVM的稀疏解
        2.3.5 稀疏R-LSSVM算法
        2.3.6 收斂性分析
    2.4 數(shù)值實驗和討論
        2.4.1 分類實驗
        2.4.2 回歸實驗
    2.5 總結(jié)
    2.6 附錄
        2.6.1 減少Pro CRC的計算復(fù)雜度方法
第三章 基于不完全Cholesky分解的快速核c-均值聚類
    3.1 引言
    3.2 相關(guān)工作
    3.3 研究背景
        3.3.1 核c-均值聚類
        3.3.2 不完全Cholesky分解
    3.4 不完全Cholesky分解的收斂性
    3.5 基于不完全Cholesky分解的核c-均值聚類
    3.6 實驗
        3.6.1 人工合成數(shù)據(jù)集實驗
        3.6.2 真實數(shù)據(jù)集實驗
    3.7 結(jié)論
第四章 基于DC規(guī)劃的快速核模糊c-均值聚類算法
    4.1 引言
    4.2 KFCM模型及已有算法
    4.3 基于DCA的KFCM算法
        4.3.1 第一種基于DC分解的KFCM算法
        4.3.2 第二種基于DC分解的KFCM算法
        4.3.3 KFCM2-DCA的近似方法
        4.3.4 算法比較
        4.3.5 初始點選擇策略
    4.4 實驗及結(jié)論
    4.5 總結(jié)
第五章 基于隨機(jī)方差縮減梯度及逐步優(yōu)化算法的非凸優(yōu)化問題求解
    5.1 引言
    5.2 符號和定義
        5.2.1 符號說明
        5.2.2 定義
    5.3 基于SVRG的逐步優(yōu)化算法
        5.3.1 vt的方差
        5.3.2 收斂性和復(fù)雜度分析
        5.3.3 與Grad Opt算法對比
    5.4 基于Prox-SVRG的逐步優(yōu)化算法
    5.5 算法推廣
    5.6 數(shù)值實驗
        5.6.1 敏感性分析
        5.6.2 算法性能對比
    5.7 總結(jié)
第六章 穩(wěn)定稀疏子空間嵌入
    6.1 引言
    6.2 基礎(chǔ)知識
        6.2.1 符號和線性代數(shù)
        6.2.2 子空間嵌入矩陣
    6.3 稀疏嵌入
    6.4 穩(wěn)定稀疏子空間嵌入
    6.5 S-SSE的性質(zhì)
        6.5.1 矩陣的穩(wěn)定性
        6.5.2 歐氏距離的保持性
    6.6 實驗
        6.6.1 降維后數(shù)據(jù)的可分性比較
        6.6.2 歐幾里得距離保持性比較
        6.6.3 c-均值聚類
    6.7 總結(jié)
第七章 結(jié)論與展望
    7.1 全文工作總結(jié)
    7.2 未來工作展望
參考文獻(xiàn)
致謝
作者簡介



本文編號：3912711