發(fā)布時(shí)間：2024-03-20 20:33

　　隨著高維數(shù)據(jù)的不斷出現(xiàn)和大數(shù)據(jù)分析的需求,統(tǒng)計(jì)學(xué)領(lǐng)域中線性回歸模型的變量選擇變得越來(lái)越熱門,如何在復(fù)雜多樣的預(yù)測(cè)變量中選出真正重要的變量至關(guān)重要,也更具挑戰(zhàn)性。本文對(duì)統(tǒng)計(jì)學(xué)中線性回歸的變量選擇研究成果進(jìn)行了綜述,其中主要為[5]提出的成對(duì)化篩選方法。在變量選擇中,大多數(shù)現(xiàn)有方法集中于邊際效應(yīng),即協(xié)變量與響應(yīng)變量的關(guān)系,而忽視了協(xié)變量之間的依賴性。但[5]中提出的方法考慮將成對(duì)的協(xié)變量之間的效應(yīng)應(yīng)用于篩選和懲罰中。這一方法需要借助獨(dú)立協(xié)變量之間成對(duì)樣本相關(guān)性的最大絕對(duì)值的漸近分布。該理論的獨(dú)特性在于在該漸近分布的收斂性是關(guān)于維數(shù)p的,并且關(guān)于樣本數(shù)n是一致的。另外,將響應(yīng)變量向兩個(gè)不同協(xié)變量上進(jìn)行回歸,可以得到成對(duì)R方最大值的一個(gè)上界。[5]中提出的篩選方法正是基于這些極值的結(jié)論。進(jìn)一步,將成對(duì)化篩選和SIS方法[4]相結(jié)合,[5]給出了一個(gè)新的正則化變量選擇過(guò)程。在一定的條件下,這樣的方法滿足Oracle性質(zhì)。文章結(jié)構(gòu)為:第一章引言部分介紹選題背景和文章內(nèi)容;第二章回顧了一些經(jīng)典的線性模型變量選擇方法,并進(jìn)一步介紹了高維數(shù)據(jù)下常用的正則化方法如LASSO、嶺回歸等,和其他變量篩選方法如...

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．?２嶺回歸的幾何解釋??瓜為ＯＬＳ估計(jì)，札和／？２分別是取不同的；Ｉ值時(shí)所得到的解

?變量選擇方法研宄現(xiàn)狀???＝?＼＼（ＸｔＸ?＋?ＡＩ）－＼ＸｔＸ）Ｐ〇ｌｓ＼＼??＝｜｜（ＸＴＸ?＋?Ａｉｙ＾Ｘ＾?＋?Ａ／?－?Ｕ）Ｐ〇ＬＳ＼＼??＝?＼＼ｉ－？ｉ（＜ｘＴｘ＋ｘｉｒｉｐ０ＬＳ＼＼??＜?ＩＩＷ．??從幾何角度理解嶺回歸會(huì)更加直觀，由凸優(yōu)化的知識(shí)，嶺回歸的目標(biāo)....

圖２．?３三種不同方法應(yīng)用坐標(biāo)下降法的迭代函數(shù)圖像??在ＬＡＲＳ法中，各個(gè)協(xié)變量最多使用一次，并且給出了每一步的步長(zhǎng)，因此??

現(xiàn)過(guò)程，具體來(lái)說(shuō)，一開(kāi)始由于未選入變量，殘差就為ｙ，第一??步會(huì)選擇與相應(yīng)變量相關(guān)性最高（夾角最�。┑膮f(xié)變量方向在該方向上移動(dòng)??步長(zhǎng)＆，使得新的殘差向量ｙ?－?與＆和除七之外相關(guān)性最大的協(xié)變量的相關(guān)??性相等，再以上述殘差向量方向?yàn)樾碌乃阉鞣较蜻M(jìn)行移動(dòng)，直到殘差向量ｙ－??滿足....

圖２．?４?ＬＡＳＳＯ、嶺回歸和橋回歸的幾何表現(xiàn)??總結(jié)上述三種方法，ＬＡＳＳＯ在很大程度上可以進(jìn)行變量選擇（凡＝０或馬＝??

??黑色的點(diǎn)即為輪廓線和約束線“相切”的點(diǎn)，也就是正則估計(jì)。注意到在ＬＡＳＳＯ??和橋回歸中，約束線在０處不是連續(xù)可導(dǎo)的，在坐標(biāo)軸上有尖點(diǎn)，而嶺回歸的圓??形沒(méi)有尖點(diǎn)。當(dāng)橢圓形移動(dòng)時(shí)，有尖點(diǎn)的圖形更容易被碰到，此時(shí)對(duì)應(yīng)的參數(shù)估??計(jì)即為０，從而達(dá)到了變量選擇的目的；而與圓形相切與....

圖２．?５五種正則化方法的罰函數(shù)??關(guān)于貝葉斯變量選擇方法有大量的文獻(xiàn)

?變量選擇方法研宄現(xiàn)狀???圖２．?５展示了三種凸函數(shù)正則法和兩種非凸函數(shù)正則法的罰項(xiàng)，可以清晰地??表示出它們的區(qū)別。除了這些方法，還有Ｄａｎｔｚｉｇ選擇器如７＿；等，全面??概述參見(jiàn)［Ｆａｎ?ａｎｄ?Ｌｉ．?２０?ＪＯＪ。??在變量選擇這一范疇中還有許多不同的方法。例如貝葉斯....

本文編號(hào)：3933264