【摘要】：模型選擇問題是統(tǒng)計分析中一個至關重要的問題。如何使得建立的模型更加精確是所有學者研究的重中之重。當模型中存在復共線性問題時,怎樣解決這樣的問題是現(xiàn)目前研究中的關鍵。本文分成兩種情況對廣義線性模型中的這一問題進行分析并提出在各種情況下應該如何處理。第一種情況是當模型中我們所選擇的每一個變量都不可缺少,同時這些變量之間又具有一定的多重共線性問題時,我們通常選擇嶺估計方法,因為嶺估計不僅僅能夠選出所有的變量,同時嶺估計還對模型進行了一定的壓縮懲罰,能夠解決多重共線性問題。但是由于嶺估計中含有嶺參數(shù),嶺參數(shù)的選取直接影響模型的精確度。所以本文通過對嶺參數(shù)在一般線性模型和廣義線性模型中的參數(shù)估計方法進行總結(jié),同時提出一種新的嶺參數(shù)估計方法,且將這些參數(shù)估計方法運用于Logistic嶺回歸模型中,進行分析。運用Monte Carlo模擬,通過比較模型的均方誤差(MSE)、參數(shù)的均值、參數(shù)的標準差(SD)來進行比較分析,得到新提出的參數(shù)估計方法在Logistic回歸模型中,不僅具有相對較小的MSE,并且是這些參數(shù)估計方法中最穩(wěn)定的一種,從而可以得到新提出的嶺參數(shù)估計方法相對較優(yōu)。第二種情況是當模型是含有一些對模型無用變量的大型模型時,需要對模型中的變量進行篩選,通過壓縮懲罰使得一些解釋變量的回歸系數(shù)壓縮到零,進而達到變量選擇的目的。本文先對文獻中提出的一些經(jīng)典的變量選擇方法LASSO、SCAD、Elastic Net和MCP進行綜述。并且由于在Breheny和Huang(2011)這篇文章中曾指出在一般線性回歸模型和Logistic回歸模型下,MCP都相對優(yōu)于LASSO和SCAD,所以本文將這四種變量選擇方法運用到Poisson回歸模型中并在不同情況下進行了模擬實驗。當變量之間是相對獨立的,得到MCP能夠準確的找出解釋變量中系數(shù)不為零的變量,同時選出的其他不相關的變量是最少的;當變量之間有一定的相關關系時,MCP同時也是這幾種變量選擇方法中能夠最準確的找出所需的變量;當變量之間含有一定的組效應時,MCP相對效果也是非常的理想。因此我們得到MCP變量選擇方法,相對而言優(yōu)于LASSO、SCAD和Elastic Net變量選擇方法。
[Abstract]:Model selection is one of the most important problems in statistical analysis. How to make the model more accurate is the most important research of all scholars. When there is a polycollinearity problem in the model, how to solve this problem is the key in the present research. This paper analyzes this problem in generalized linear model in two cases and puts forward how to deal with it in all kinds of cases. In the first case, when every variable we choose in the model is indispensable and there are some multicollinearity problems between these variables, we usually choose the ridge estimation method. Because ridge estimation not only can select all the variables, but also carries on some compression penalty to the model, which can solve the multi-collinearity problem. However, because ridge estimation contains ridge parameters, the selection of ridge parameters directly affects the accuracy of the model. So this paper summarizes the methods of ridge parameter estimation in general linear model and generalized linear model, and proposes a new ridge parameter estimation method, and applies these methods to Logistic ridge regression model. Carry out analysis. Monte Carlo simulation is used to compare and analyze the mean square error of (MSE), parameters and the standard deviation of parameters (SD). The new method of parameter estimation in Logistic regression model has not only a relatively small MSE,. And it is one of the most stable methods of parameter estimation, so that the proposed ridge parameter estimation method is relatively optimal. The second case is that when the model is a large model that contains some useless variables to the model, the variables in the model need to be screened, and the regression coefficients of some explanatory variables are compressed to zero by compression punishment. And then achieve the purpose of variable selection. In this paper, some classical variable selection methods, LASSO,SCAD,Elastic Net and MCP, are reviewed. And as pointed out in Breheny and Huang (2011), under the general linear regression model and Logistic regression model, MCP is relatively superior to LASSO and SCAD,. So this paper applies these four variable selection methods to Poisson regression model and carries out simulation experiments under different circumstances. When the variables are relatively independent, it is obtained that MCP can accurately find out the variables whose coefficients are not zero in the explanatory variables, and at the same time, the other unrelated variables are the least. When there is a certain correlation between variables, MCP is also the most accurate selection method to find out the required variables; when there is a certain group effect between variables, the relative effect of MCP is also very ideal. Therefore, we get the MCP variable selection method, which is better than the LASSO,SCAD and Elastic Net variable selection method.
【學位授予單位】：重慶大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：O212

【相似文獻】

相關期刊論文 前10條

1 楊麗霞;魏立力;;基于粗糙集方法的有序尺度變量選擇[J];寧夏大學學報(自然科學版);2009年02期

2 趙宇;黃思明;;帶有變量選擇過程的分類模型誤差分析[J];數(shù)學的實踐與認識;2010年17期

3 樊亞莉;徐群芳;;穩(wěn)健的變量選擇方法及其應用[J];上海理工大學學報;2013年03期

4 陶靖軒;多元分析中的變量選擇問題研究[J];中國計量學院學報;2001年01期

5 李樹軍,紀宏金;對應聚類分析與變量選擇[J];地球物理學進展;2005年03期

6 陳黎明;趙永紅;;轉(zhuǎn)換函數(shù)未知時轉(zhuǎn)換模型的變量選擇[J];四川大學學報(自然科學版);2011年05期

7 劉民千,張潤楚;超飽和設計的變量選擇[J];南開大學學報(自然科學版);2000年03期

8 王進;;聚類分析中的距離與變量選擇[J];山西財經(jīng)大學學報;2007年S1期

9 張波;方國斌;;高維面板數(shù)據(jù)降維與變量選擇方法研究[J];統(tǒng)計與信息論壇;2012年06期

10 高仁祥,張世英,劉豹;基于神經(jīng)網(wǎng)絡的變量選擇方法[J];系統(tǒng)工程學報;1998年02期

相關會議論文 前6條

1 張俊華;方偉武;;調(diào)查表分析中變量選擇的一些方法(英文)[A];中國運籌學會第六屆學術交流會論文集（下卷）[C];2000年

2 李洪東;梁逸曾;;高維數(shù)據(jù)變量選擇新方法研究[A];中國化學會第27屆學術年會第15分會場摘要集[C];2010年

3 李慷;席裕庚;;復雜過程系統(tǒng)中操作變量選擇與定位的方法研究[A];1993年控制理論及其應用年會論文集[C];1993年

4 云永歡;王為婷;梁逸曾;;迭代的保留有信息變量來篩選最佳變量子集的一種多元校正變量選擇方法[A];中國化學會第29屆學術年會摘要集——第19分會：化學信息學與化學計量學[C];2014年

5 徐登;范偉;梁逸曾;;紫外光譜結(jié)合變量選擇和偏最小二乘回歸同時測定水中重金屬鎘、鋅、鈷[A];中國化學會第29屆學術年會摘要集——第19分會：化學信息學與化學計量學[C];2014年

6 梁逸曾;李洪東;許青松;曹東升;張志敏;;灰色化學建模與模型集群分析——兼論過擬合、穩(wěn)健估計、變量選擇與模型評價[A];中國化學會第27屆學術年會第15分會場摘要集[C];2010年

相關博士學位論文 前10條

1 王大榮;分散度量模型中的變量選擇[D];北京工業(yè)大學;2009年

2 王明秋;高維數(shù)據(jù)下若干回歸模型的變量選擇問題研究[D];大連理工大學;2012年

3 劉吉彩;生存數(shù)據(jù)統(tǒng)計模型的變量選擇方法[D];華東師范大學;2014年

4 樊亞莉;穩(wěn)健變量選擇方法的若干問題研究[D];復旦大學;2013年

5 唐凱臨;變量選擇和變換的新方法研究[D];同濟大學;2008年

6 董瑩;高維共線性統(tǒng)計模型的參數(shù)估計與變量選擇[D];大連理工大學;2014年

7 葉飛;相對誤差準則下的估計理論和變量選擇方法的研究[D];清華大學;2013年

8 袁晶;貝葉斯方法在變量選擇問題中的應用[D];山東大學;2013年

9 王樹云;基于Bayes方法和圖限制下正規(guī)化方法的變量選擇問題及其在基因組數(shù)據(jù)中的應用[D];山東大學;2010年

10 姬永剛;分位數(shù)回歸中的貝葉斯變量選擇[D];東北師范大學;2012年

相關碩士學位論文 前10條

1 趙冬琦;基于變量選擇的股指期貨對股票市場影響的實證研究[D];蘭州大學;2015年

2 程勇;多水平模型的變量選擇在農(nóng)戶人均收入數(shù)據(jù)中的應用[D];云南財經(jīng)大學;2015年

3 鄧秋玲;SCAD和ADS方法在比例風險模型中的應用[D];廣西大學;2015年

4 韋新星;幾種變量選擇方法在Cox模型中的應用[D];廣西大學;2015年

5 王唯;部分線性模型的變量選擇問題研究[D];湘潭大學;2015年

6 徐國盛;若干模型的分位數(shù)變量選擇[D];浙江財經(jīng)大學;2016年

7 郭雪梅;部分線性模型中差分估計與SCAD的比較及帶有異常點的非負變量選擇[D];重慶大學;2015年

8 王艷;復共線性及異方差線性模型中的參數(shù)估計與變量選擇[D];重慶大學;2015年

9 楊成敏;廣義線性模型中的參數(shù)估計及變量選擇方法研究[D];重慶大學;2015年

10 鐘冬梅;線性模型中的變量選擇及股票市場實證研究[D];重慶大學;2015年

，

本文編號：2444284