大數(shù)據(jù)時代的到來使人們面對的數(shù)據(jù)越來越復(fù)雜,充分降維理論對于研究這種復(fù)雜數(shù)據(jù)有著重要的意義。在響應(yīng)變量多維時,傳統(tǒng)的充分降維理論往往會面臨許多難題。本文主要研究基于回歸樹的充分降維方法,在響應(yīng)變量多維的情況下巧妙地解決了維數(shù)災(zāi)難的問題。響應(yīng)變量一維時,傳統(tǒng)的方法通常會采用切片的方法對響應(yīng)變量進(jìn)行劃分。但是隨著維數(shù)的升高,這種切片的方法會導(dǎo)致切分出的許多切片內(nèi)部沒有任何樣本點。而回歸樹的方法可以對多維空間進(jìn)行劃分,葉子結(jié)點的值正好是空間劃分后的均值。基于這一思想,本文提出了基于回歸樹的充分降維方法。這里的回歸樹模型可以是梯度提升樹,隨機(jī)森林,Xgboost等。對于SIR、SAVE、DR方法,本文給出了估計核矩陣的方法。最后,本文通過大量的模擬與實例分析,驗證了該方法在響應(yīng)變量多維時的有效性。與現(xiàn)有的方法相比,該方法在響應(yīng)變量高維時,有一定的優(yōu)勢。無論是線性還是非線性模型,在有一定程度噪聲的情況下,本文的方法都可以較好的估計出降維方向。在樣本量比較少時,隨機(jī)森林的效果較好。在樣本量比較大時,梯度提升樹、隨機(jī)森林、Xgboost的表現(xiàn)相當(dāng)。由于集成學(xué)習(xí)模型往往會有較多的超參數(shù),對于超參數(shù)的設(shè)... 

【文章頁數(shù)】：58 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
主要符號對照表
第一章 引言
    §1.1 研究背景
    §1.2 國內(nèi)外研究現(xiàn)狀
    §1.3 本文的框架與創(chuàng)新點
第二章 基礎(chǔ)知識
    §2.1 降維
        §2.1.1 降維的定義與分類
        §2.1.2 降維效果的評價標(biāo)準(zhǔn)
        §2.1.3 充分降維
        §2.1.4 估計中心降維子空間的方法
        §2.1.5 結(jié)構(gòu)維數(shù)
        §2.1.6 多維響應(yīng)變量的充分降維方法
    §2.2 回歸樹與集成學(xué)習(xí)
        §2.2.1 回歸樹
        §2.2.2 集成學(xué)習(xí)
第三章 基于回歸樹的充分降維方法
    §3.1 核心思想
    §3.2 基于回歸樹的SIR方法
    §3.3 基于回歸樹的SAVE方法
    §3.4 基于回歸樹的DR方法
    §3.5 響應(yīng)變量缺失值處理方法
第四章 數(shù)值模擬與實例分析
    §4.1 響應(yīng)變量二維的情形
        §4.1.1 線性模型
        §4.1.2 非線性模型
    §4.2 響應(yīng)變量三維及以上的情形
        §4.2.1 響應(yīng)變量三維
        §4.2.2 響應(yīng)變量高維
    §4.3 響應(yīng)變量有缺失值
    §4.4 與現(xiàn)有方法的比較
    §4.5 實例分析
第五章 結(jié)論及展望
    §5.1 結(jié)論
    §5.2 展望
參考文獻(xiàn)
致謝



本文編號：3674340