變量選擇是建模過(guò)程中的重要環(huán)節(jié)之一,選擇合適的變量可以極大的簡(jiǎn)化模型復(fù)雜度,提高模型的可解釋性。本文概括了 Lasso類(lèi)懲罰方法,包括Lasso,Adaptive Lasso 和 SCAD 等衍生方法,Elastics Net,Group Lasso,Fused Lasso,Graph Lasso等拓展方法,著重比較它們的統(tǒng)計(jì)性質(zhì)和優(yōu)缺點(diǎn),總結(jié)相關(guān)算法并歸納各方法的相關(guān)應(yīng)用情況。文章最后簡(jiǎn)要列明其他變量選擇方法并討論最新的發(fā)展方向和所面臨的挑戰(zhàn)。 

【文章頁(yè)數(shù)】：56 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
1 緒論
    1.1 選題背景及意義
    1.2 研究概況
    1.3 文章結(jié)構(gòu)
2 理論基礎(chǔ)
    2.1 懲罰函數(shù)的概述
    2.2 均方誤差、預(yù)測(cè)誤差和偏差-方差權(quán)衡
    2.3 變量選擇一致性及符號(hào)一致性
    2.4 漸近正態(tài)分布
    2.5 稀疏模型與神諭性
    2.6 交叉驗(yàn)證法
    2.7 高維及超高維數(shù)據(jù)
    2.8 軟閾值函數(shù)和硬閾值函數(shù)
3 Lasso懲罰
    3.1 Lasso懲罰的定義
    3.2 Lasso的解
        3.2.1 Dual Algorithm
        3.2.2 LARS算法
        3.2.3 Coordinate Descent算法
        3.2.4 正交情況下的Lasso的解
        3.2.5 Lasso懲罰的解析路徑
    3.3 Lasso懲罰的性質(zhì)
        3.3.1 完全線性相關(guān)下Lasso解的不唯一性
        3.3.2 Lasso懲罰的變量選擇一致性
        3.3.3 Lasso估計(jì)量的相合性
        3.3.4 Lasso估計(jì)量的漸近分布
4 Lasso懲罰的衍生型
    4.1 逐步法
    4.2 權(quán)重法
    4.3 非凸懲罰
        4.3.1 SCAD
        4.3.2 MCP
        4.3.3 圖像對(duì)比
    4.4 數(shù)值模擬
5 Lasso懲罰的拓展型
    5.1 Elastic Net懲罰
        5.1.1 Ridge懲罰
        5.1.2 Naive Elastic Net懲罰
        5.1.3 Elastic Net
    5.2 Group Lasso
    5.3 Fused Lasso
    5.4 Graph Lasso
6 懲罰函數(shù)的其他選擇
    6.1 Dantzing selector及其衍生方法
    6.2 SIS及其衍生方法
7 總結(jié)
參考文獻(xiàn)
致謝



本文編號(hào)：3655333