確保高預(yù)測精度和發(fā)現(xiàn)相關(guān)預(yù)測變量是統(tǒng)計學(xué)的兩個根本目標(biāo)[53]。在追求這兩個目標(biāo)的眾多方法中,懲罰似然方法應(yīng)用最為廣泛。懲罰似然方法也稱為正則化方法,是在似然函數(shù)中加入一個懲罰項(也稱為正則項),并通過閾值(或稱為罰值、正則項系數(shù))的大小來控制似然函數(shù)與懲罰函數(shù)在目標(biāo)函數(shù)中的比重,起到了使問題的解在模型的擬合精度與稀疏度量之間進(jìn)行權(quán)衡的作用。就如同在機(jī)器學(xué)習(xí)中的監(jiān)督機(jī)學(xué)習(xí)問題,無非就是“minimize your error while regularizing your parameters”[92],也就是在規(guī)則化參數(shù)的同時最小化誤差。正則項系數(shù)的選取直接影響著估計及預(yù)測的精度。懲罰似然方法源于上世紀(jì)六七十年代A.E.Hoerl提出并和R.W.Kennard系統(tǒng)地發(fā)展的嶺回歸(Ridge Regression),最初是為了解決估計的不適定問題。而從1996 年美國科學(xué)院院士 Tibshirani 提出 Lasso(least absolute shrinkage and selection operator),把L1范式作為懲罰項開始,稀疏性懲罰似然成為使用最為廣泛的變量選擇方法,具有模型選擇能力的懲罰函數(shù)稱為稀疏性懲罰函數(shù)。此時正則項系數(shù)的選取不單影響著估計精度,而且也影響著模型選擇的精度。閾值及正則項系數(shù)的選取是懲罰似然和正則化方法的最重要的問題之一,常用的方法有經(jīng)驗或者交叉驗證(Cross validation)。交叉驗證需要引入額外的數(shù)據(jù)。而且又因為交叉驗證對于單閾值選擇時是在一維空間上對該閾值進(jìn)行遍歷,對多閾值進(jìn)行交叉驗證則需要在多維空間上遍歷,所以,交叉驗證僅能給出統(tǒng)一的正則項系數(shù),如果要對各個變量進(jìn)行個性化懲罰,那么交叉驗證的方法便無能為力了,所以統(tǒng)一懲罰只是人們無奈的選擇。統(tǒng)一懲罰相比于個性化懲罰有很多缺點,例如,統(tǒng)一的懲罰下,同一個正則項系數(shù)值難以做到估計精度與模型選擇精度同時達(dá)到最好的效果;統(tǒng)一的懲罰也會給設(shè)計陣的量綱選擇造成困難。而這些問題在個性化懲罰下都是可以克服的。但是要讓個性化懲罰實用化,那就必須有一種與交叉驗證不同的、正則項系數(shù)能根據(jù)數(shù)據(jù)自適應(yīng)選取的方法。本文從線性模型著手,給出了一種自適應(yīng)的稀疏性懲罰似然的多重閾值選擇方法。文中,首先探討了預(yù)測的MSEP與估計的MSE之間的關(guān)系,指出在一定條件下,MSEP與MSE所對應(yīng)的最優(yōu)正則項系數(shù)是一致的,接著探討了給定估計族,達(dá)到MSE下界附近的可能性。然后把正則項問題與估計的MSE和模型選擇建立起聯(lián)系,構(gòu)建了 Global Adaptive Generative Alignment(GAGA)算法,使正則項隱含在估計過程中,從而讓估計問題不再受正則項的選取所困擾。GAGA算法不僅是多重閾值的生成方法,也是一個完整的參數(shù)估計方法,它幾乎不用設(shè)置超參數(shù),并且有著良好的理論性質(zhì)和強(qiáng)力的性能。理論上,本文證明GAGA算法的模型選擇相合性及估計在支撐集上的漸近正態(tài)性。傳統(tǒng)的稀疏性懲罰似然的證明是考察目標(biāo)函數(shù)達(dá)到極值時的性質(zhì),不考慮這個極值是否能達(dá)到,而在n → ∞的假設(shè)下,很多細(xì)節(jié)和問題將被掩蓋。與傳統(tǒng)方法不同的是,本文精細(xì)的刻畫了算法執(zhí)行過程中當(dāng)前解的性質(zhì),在理論上保證了 GAGA算法的實用性能。實驗上,首先是數(shù)值模擬實驗,我們選擇了統(tǒng)計領(lǐng)域的自適應(yīng)Lasso和信號領(lǐng)域的正交匹配追蹤(Orthogonal Matching Pursuit,OMP)這兩個既有理論保證又應(yīng)用廣泛的優(yōu)秀算法作為對比算法,通過數(shù)萬次數(shù)值實驗,對GAGA算法的性能進(jìn)行了考察。通過比較實驗可知,不論是估計的MSE還是模型選擇能力,默認(rèn)參數(shù)的自適應(yīng)多重閾值GAGA算法,都優(yōu)于給出最優(yōu)超參數(shù)情況下的自適應(yīng)Lasso和OMP算法。然后,為了考察GAGA算法針對實際工程問題的處理能力,我們把GAGA算法用在了基于擴(kuò)展?jié)赡峥搜苌淅碚摰墓鈱W(xué)系統(tǒng)像差檢測上,令檢測精度大幅度提升。
【學(xué)位單位】：東北師范大學(xué)
【學(xué)位級別】：博士
【學(xué)位年份】：2018
【中圖分類】：F224
【部分圖文】：

東北師范大學(xué)博士學(xué)位論文鑒反饋的思想，對于＿／?＝?１，．．．，先令ｂ?＝?０，到汐和冷，再更新￥令ｈ?＝?１／冷，然后得到新，是否會構(gòu)成一個如畫３的反饋環(huán)？；０估計得越越準(zhǔn)，然后ｙＳ估計得就會越準(zhǔn)，如此反復(fù)迭代。??建成功，那么即使我們不能寫出以ＭＳＥ最小化能讓估計的ＭＳＥ逐漸減小，去達(dá)到ＭＳＥ下界如下算ｔ去２。??

３６．５３?ｄＢ，?３３．９７?ｄＢ，?３２．００?ｄＢ，３０．６２?ｄＢ。＿一個噪聲水平做一百次賣驗，畫??．．出‘?ｅｒｒｏｒｂａｒ如圖４所示。??２５?Ｉ?１?？?１?１?１?ｉ?ｒｌ?ＳＩＳ??Ｔ?Ｔ?Ｔ?Ｉ?ｆ?Ｉ?－?ＬＳＥ（ｐ＞ｎ）??—ＲｉｄｇｅＲｅｇ??２０?圓?，?］?Ｉ?Ｔ?—?—ＣＶＸ??＾?Ｔ?１?Ｉ?］■?｜?＂?＾？ＯＭＰ??Ｅ?＂?ｉ?Ｉ?１?＿＿?ＭＭａｇｉｃ??＝３?ｉｓ?？?ｉ?Ａ?１?４１?ｉ?？??ｃ??Ｖ）??ｏ??—１０?？?■??ｏ??ｃ??Ｃ３??①?５?＿?■??〇?？?—ｉ——！■?ｉ?ｉ?ｉ?Ｈ??－〇?１?＊＊＊＊＊＊＊?－??－０．５?０?０．５?１?１．５?２?２．５?３?３．５??Ｎｏｉｓｅ?ＳＴＤ??斷４：模型預(yù)選擇方法的測試??圖４中，ＬＳＥ〇?＞?？）和ＲｉｄｇｅＲｅｇ曲線基本Ｍ合；ＣＶＸ和ｌｌｍａｇｉｃ曲線基本??重合，效果最好的是．０ＭＰ。??

５．２．１高斯噪聲情況??首先測試讀出噪聲為髙斯噪聲的情況，分別用１０次多項式來擬合線性函數(shù)，??二次函數(shù)，三次函數(shù)，結(jié)果如圖１４，１５，１６所示。??１０?＿??５?．丨??：：?一－?＼??‘?〇?〇??Ｔｒｕｅ??一，－?－?ＧＡＧＡ??乂?一?削?Ｌａｓｓｏ???Ｌｓｅ??／??■?１０??？?＊?＊?？?＊??－３?－２?－１?０?１?２??Ｘ??圖１４：當(dāng)真實曲線是一次曲線時，用１０次多項式擬合含有高斯噪聲的觀測數(shù)據(jù)??
【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 王松桂,楊愛軍;協(xié)方差改進(jìn)法及其應(yīng)用[J];應(yīng)用概率統(tǒng)計;1998年01期

2 王松桂,楊振海;協(xié)方差改進(jìn)估計的Pitman優(yōu)良性[J];科學(xué)通報;1995年01期

本文編號：2857699