統(tǒng)計(jì)機(jī)器學(xué)習(xí)的主要目的是依據(jù)訓(xùn)練數(shù)據(jù)集建立預(yù)測模型,用以描述給定數(shù)據(jù)的統(tǒng)計(jì)規(guī)律,并通過已有的模型對新數(shù)據(jù)進(jìn)行預(yù)測。其中,模型的建立和選擇是關(guān)鍵。所謂模型選擇,指的是通過估計(jì)已建立的不同模型的性能,從而選出其中最好的模型。在傳統(tǒng)的統(tǒng)計(jì)回歸分析中,模型選擇指的是變量的選擇,從上世紀(jì)60年代開始它就一直是統(tǒng)計(jì)學(xué)中的重點(diǎn)研究問題。分類情形的模型選擇主要包括兩個(gè)方面:一方面是分類器(分類算法)的選擇,對于給定的某個(gè)數(shù)據(jù)集,基于某個(gè)性能度量指標(biāo)選擇多個(gè)分類器中性能最好的一個(gè);另一方面是特征(變量)的選擇,選擇一個(gè)最優(yōu)性能的特征組合�，F(xiàn)有文獻(xiàn)中,回歸和分類模型的選擇常常是直接基于泛化誤差的估計(jì)來進(jìn)行,如基于廣泛使用的泛化誤差的交叉驗(yàn)證估計(jì)方法來進(jìn)行模型的選擇。然而,注意到基于這些估計(jì)的方法在選擇模型過程中只使用了估計(jì)本身(均值的信息)而沒有考慮估計(jì)的方差的信息,這樣較大的方差將導(dǎo)致模型大的波動,趨向于選擇較復(fù)雜的模型,從而導(dǎo)致模型較低的泛化性能。因此,本文將方差作為正則化項(xiàng)添加到傳統(tǒng)的回歸和分類模型選擇準(zhǔn)則中,提出了一種新的交叉驗(yàn)證框架下的方差正則化的模型選擇準(zhǔn)則。首先,通過模擬實(shí)驗(yàn)驗(yàn)證了方差正則化...

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【文章目錄】：
中文摘要
Abstract
第一章 引言
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 AIC、BIC類的模型選擇準(zhǔn)則
        1.2.2 交叉驗(yàn)證類的模型選擇準(zhǔn)則
        1.2.3 基于統(tǒng)計(jì)顯著性檢驗(yàn)的模型選擇準(zhǔn)則
        1.2.4 其他模型選擇方法
    1.3 本文研究方法及內(nèi)容
    1.4 文章結(jié)構(gòu)
第二章 模型選擇方法
    2.1 赤池信息準(zhǔn)則(AIC)
    2.2 貝葉斯信息準(zhǔn)則(BIC)
    2.3 最小描述長度(MDL)
    2.4 結(jié)構(gòu)風(fēng)險(xiǎn)最小化(SRM)
    2.5 自助法
    2.6 V折交叉驗(yàn)證
    2.7 組塊3×2 交叉驗(yàn)證
    2.8 方差正則化的交叉驗(yàn)證模型選擇準(zhǔn)則
第三章 實(shí)驗(yàn)分析
    3.1 提出準(zhǔn)則中交叉驗(yàn)證方差估計(jì)模擬
    3.2 模擬數(shù)據(jù)上的模型選擇準(zhǔn)則對照實(shí)驗(yàn)
        3.2.1 多項(xiàng)式回歸數(shù)據(jù)實(shí)驗(yàn)
        3.2.2 多項(xiàng)式分類數(shù)據(jù)實(shí)驗(yàn)
        3.2.3 高維線性回歸數(shù)據(jù)實(shí)驗(yàn)
    3.3 真實(shí)數(shù)據(jù)上的模型選擇準(zhǔn)則對照試驗(yàn)
        3.3.1 分類數(shù)據(jù)
        3.3.2 回歸數(shù)據(jù)
    3.4 調(diào)節(jié)參數(shù)對模型選擇的影響
第四章 理論分析
    4.1 記號及引理
    4.2 方差正則化的交叉驗(yàn)證模型選擇準(zhǔn)則的選擇一致性
第五章 總結(jié)及展望
    5.1 總結(jié)
    5.2 展望
參考文獻(xiàn)
攻讀學(xué)位期間取得的研究成果
致謝
個(gè)人簡況及聯(lián)系方式



本文編號：3841160