當樣本量非常大（海量數(shù)據(jù)）或者數(shù)據(jù)以分布式的方式存儲（如Internet數(shù)據(jù)）時,由于耗時、內(nèi)存限制、通信成本以及隱私安全等方面的考慮,傳統(tǒng)的統(tǒng)計推斷方法不再可行.為了有效地解決海量數(shù)據(jù)情形下的諸多問題,本文基于分治法在估計方程框架下提出了兩種分布式估計量:分布式經(jīng)驗似然估計量（DEL）和分布式指數(shù)傾斜經(jīng)驗似然估計量（DETEL）,并得到了這兩種估計量的均方誤差的一個上界,在一定條件下證明了DEL和DETEL估計量的理論漸近性質(zhì),我們發(fā)現(xiàn)當分割的樣本組數(shù)滿足一定的條件時,本文所提出的兩種分布式估計量與非分布式EL和ETEL估計量具有相同的漸近分布.最后,通過幾種不同情形的數(shù)值模擬和實際數(shù)據(jù)分析驗證了本文所提估計量的優(yōu)越性.模擬結(jié)果顯示:與非分布式EL和ETEL相比,DEL和DETEL方法可以顯著地減少運行時間,并且通過兩種方法得到的估計量在均方誤差評價準則下的差異比較小. 

【文章來源】：蘭州大學(xué)甘肅省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：65 頁

【學(xué)位級別】：碩士

【部分圖文】：

(0,1)參數(shù)的各種EL估計量的均

蘭州大學(xué)碩士學(xué)位論文海量數(shù)據(jù)中的分布式經(jīng)驗似然估計(a)(b)(c)(d)圖5.2:(0,1)參數(shù)的各種ETEL估計量的均方誤差隨S的變化折線圖.(a)-(b)展示了完整折線圖,(c)和(d)分別展示了和估計量的均方誤差的細節(jié)折線圖.上,CEL方法運行50次試驗需要1603.41s,而當S=2時DEL方法只需693.60s,S=8時只需364.46s.類似于EL,圖5.2和表5.2展示了上述ETEL估計量的均方誤差.可以看出,當不是很大時,DETEL估計量的效果是比較好的.與CETEL方法相比,DETEL方法明顯地減少了運行時間,且DETEL估計量和CETEL估計量在均方誤差意義下沒有明顯的差異.表現(xiàn)為以下幾點:(1)對于和來說,DETEL估計量的均方誤差總是小于CETEL估計量的均方誤差,甚至對于的一部分取值,DETEL估計量的均方誤差不超過極大似然估計量的均方誤差;28

蘭州大學(xué)碩士學(xué)位論文海量數(shù)據(jù)中的分布式經(jīng)驗似然估計(a)(b)(c)(d)圖5.3:(,2)參數(shù)的各種EL估計量的均方誤差隨S的變化折線圖,其中～Unif(2,2),～Unif(0.5,2).(a)-(b)展示了完整折線圖,(c)和(d)分別展示了和估計量的均方誤差的細節(jié)折線圖.(2)DETEL估計量和RDETEL估計量總是比SETEL穩(wěn)健;(3)DETEL方法比CETEL方法需要更短的運行時間,在一個8核Inteli7處理器上,CETEL方法運行50次試驗需要4902.37s,而當S=2時DETEL方法只需2989.91s,S=8時只需1614.09s.接下來從(,2)中抽取模擬數(shù)據(jù),其中～Unif(2,2),～Unif(0.5,2).圖5.3,表5.3和圖5.4,表5.4分別展示了各EL和ETEL估計量的均方誤差,與(0,1)的情形類似,可以看出,當不是很大時,本文所提出的分布式估計量是有效的.與非分布式方法相比,分布式方法明顯地縮短了運行時間,在一個8核Inteli7處理器上,CEL和CETEL方法運行50次試驗分別需要390.25s和4713.78s,而31


本文編號：3576026