基于數(shù)據(jù)建立的統(tǒng)計模型往往由于受到異常值的影響而缺乏穩(wěn)定性,使得異常值檢測與穩(wěn)健性估計在模型構(gòu)建中變得尤為重要.異常值一般分為兩種,即在響應值Y上的異常和在預測值X上的異常,前者通常稱為豎直異常點,后者通常稱為高杠桿值點.本文對常用的異常值檢測與穩(wěn)健性估計方法進行研究,著重探討在線性回歸模型中的異常值檢測與穩(wěn)健性估計問題,并對高維（多元）數(shù)據(jù)下的正態(tài)性檢驗進行了分析.在第一部分,我們利用殘差空間超橢球等高面的概念構(gòu)造了對已有異常值檢測方法的改進方法,并得到穩(wěn)健的回歸參數(shù)估計.首先,我們分別利用基于邊際相關(guān)系數(shù)的高維數(shù)據(jù)影響度量指標（HIM）和基于距離相關(guān)系數(shù)的HDC判別方法對數(shù)據(jù)中的異常值進行初步篩選,將數(shù)據(jù)集中的點分為正常點與異常點兩類,然后在初始正常點集的基礎(chǔ)上利用穩(wěn)健的最小截斷估計（LTS）方法和殘差空間超橢球等高面構(gòu)造了對初始正常點集誤判點的糾正方法,并對初始異常點集中各點的異常值概率進行計算,以進一步糾正誤判入異常點集的正常點,最終對異常值檢測的準確率進行了進一步的提升.通過對兩種數(shù)據(jù)結(jié)構(gòu)下三種類型異常數(shù)據(jù)的模擬與真實實例的分析,我們證明了所提方法的有效性,在對異常值進行檢測... 

【文章來源】：蘭州大學甘肅省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學位級別】：碩士

【部分圖文】：

圖２．１利用各方法對經(jīng)過三類異常值干擾的ＭＡ結(jié)構(gòu)數(shù)據(jù)進行異常值檢測結(jié)果的經(jīng)??驗勢（Ｐ＝５）??

?＼?〇ｅ?＿?—?／?Ｚ??ａ?〇ｙ?＼、、、、義ａ?：ｐ?乂一一ａ?ｊ?一一—??＼?／＞’?（??、?０．６－??０．４?－?＼?＜／＇??＼?０２????０－３－?．、?０?５－???????１?一．一????、乂?＿－－一”????一．??、ｉ?ｋ－－＂?ｒ＂￣??０．０１?０．０２?０．０５?０．０８?０．１?０．６?１．２?１．８?２．４?３．０?０．４?０．５?０．６?０．７?０．８??Ｗ?Ｋ?Ｉ??圖２．２利用各方法對經(jīng)過三類異常值干擾的ＡＲ結(jié)構(gòu)數(shù)據(jù)進行異常值檢測結(jié)果的經(jīng)??驗勢（ｐ＝５）??圖２．１－２．４分別展示了利用ＨＤＣ，?ＨＩＭ，?ＭＩＰ，?ＨＤＣＰ和ＨＩＭＰ這五種方法對被三??種不同類型異常值干擾后的兩類數(shù)據(jù)進行異常值檢測的結(jié)果，其中圖２．１和圖２．２展??示了ｐ?＝?５時的情況，圖２．３和圖２．４展示了ｐ?＝?１５時的情形．??（１）從圖２，１中我們可以看到，在ＭＡ數(shù)據(jù)結(jié)構(gòu)下，當ｐ?＝?５時，隨著不同類型異常??值異常程度的増加，各方法所得異常值檢測結(jié)果的經(jīng)驗勢都有所增加．其中，??在ＳＰ和ＲＰ干擾下，當〇；約小于０．０２５和《約大于２時，ＭＩＰ的檢測效果與ＨＤＣ和ＨＩ??Ｍ方法相比都有所提升，但都不如本文方法所得到的效果更好．在ＰＰ干擾下，隨??著ｔ值的增加，本文算法的經(jīng)驗勢以最快的速度增加并收斂到１．相比較而言｝盡??管ＨＤＣ，?ＨＩＭ和ＭＩＰ的經(jīng)驗勢都有所提高，但仍然顯著小于ＨＤＣＰ和ＨＩＭＰ．可??以看到，相比于其它三種方法，本文算法更能有效識別出在ＰＰ干擾下的異常值．??１８??

＇、?？?ＨＩＭＰ?ｔ?＾??０．４－?ＨＩＭＰ??－?＼?＼?〇５?，??＼一＿／??Ｗ?／?。：??〇－２?＼?０．３－?????＊?ｒ—＊—??＼?「一?／?？’?一??、．、?一ｆ－ｚ－－￣ｚｒ±ｚｚｚｚ－ｚ＾＝＝＝＾—＇￥＇ｃＳ－－￣＾??＼?０．２??一?０．０??？－?？?１??０．０１?０．０２?０．０５?０．０８?０．１?０．６?１２?１．８?２．４?３．０?０．４?０．５?０．６?０．７?０．８??（Ｊ?Ｋ?Ｌ??圖２．３利用各方法對經(jīng)過三類異常彳復干擾的ＭＡ結(jié)構(gòu)數(shù)據(jù)進行異常值檢測結(jié)果的經(jīng)??驗勢（ｐ＝１５）??（２）在ＡＲ數(shù)據(jù)結(jié)構(gòu)下當１？?＝?５時，在ＳＰ干擾下，各方法的經(jīng)驗勢曲線與圖２．１中的??曲線趨勢相似．盡管當ｗ趨近于０．１時，ＨＤＣＰ和ＨＩＭＰ的的經(jīng)驗勢接近甚至略??遜色于ＨＤＣ和ＨＩＭ，但整體而言＾?ＨＤＣＰ和ＨＩＭＰ的檢測效果依然要優(yōu)于所比??較的方法．在ＲＰ干擾下，隨著《值的增大，ＨＤＣ和ＭＩＰ的經(jīng)驗勢也逐漸增大，??且ＭＩＰ的檢測效果整體好于ＨＩＭ和ＨＤＣ，但都不如ＨＤＣＰ和ＨＩＭＰ的效果更好．??此時，在ＰＰ干擾下，ＨＤＣ和ＨＩＭ兩方法的檢測效果與圖２．１中的ＭＡ情形相比更??好，但同樣低于ＨＤＣＰ和ＨＩＭＰ的經(jīng)驗勢曲線．而ＭＩＰ的檢測效果依然最低．??（３）當ｐ?＝?１５時，在ＭＡ結(jié)構(gòu)下，各方法的經(jīng)驗勢曲線在ＳＰ干擾下與ｐ?＝?５時的趨勢??大體相似．隨著ｗ取值的增大，ＭＩＰ的經(jīng)驗勢依然以最大的幅度降至最低．當千??擾類型為ＲＰ時，ＨＩＭ的結(jié)果好于ＭＩＰ，盡管ＭＩＰ的經(jīng)驗勢在／ｉ較大時超過ＨＤＣ，??但都顯著小于本文中的方法．此


本文編號：2957115