發(fā)布時(shí)間：2021-08-09 08:28

　　充分降維是非參數(shù)回歸領(lǐng)域中的一個(gè)重要問題,主要目的是對(duì)自變量進(jìn)行降維,通過尋找自變量的少量線性組合,用這些線性組合去替代原始變量且不損失有效信息。經(jīng)典的充分降維方法,都是通過估計(jì)核矩陣,選取較大的特征值對(duì)應(yīng)的特征向量,通過這些特征向量對(duì)原始數(shù)據(jù)進(jìn)行降維。本文提出基于模型平均的充分降維方法。相比于傳統(tǒng)的充分降維方法,本文不采用特征值分解的方法,而是先通過經(jīng)典的充分降維方法估計(jì)核矩陣,之后將估計(jì)中心降維子空間的問題等價(jià)于求解目標(biāo)函數(shù)最小值問題,再通過模型平均方法對(duì)目標(biāo)函數(shù)進(jìn)行迭代求解,進(jìn)而對(duì)中心降維子空間進(jìn)行估計(jì)。這個(gè)目標(biāo)函數(shù)適用于大多數(shù)經(jīng)典的降維方法,通過引入模型平均方法可以提高對(duì)中心降維子空間的估計(jì)精準(zhǔn)度。本文采用Mallows模型平均方法和Jackknife模型平均方法作為方法基礎(chǔ)。本文在多種模型上進(jìn)行模擬實(shí)驗(yàn),并采用跡相關(guān)系數(shù)作為的評(píng)價(jià)指標(biāo)。將基于模型平均的算法和經(jīng)典的充分降維方法進(jìn)行了比較。本文采用三種核矩陣估計(jì)方法,分別是切片逆回歸方法、切片平均方差估計(jì)方法和方向回歸方法。在模擬的大部分情況下,基于模型平均的算法要優(yōu)于經(jīng)典的充分降維方法。同時(shí),本文探究了數(shù)據(jù)量n和維數(shù)p的變化對(duì)... 

【文章來源】：華東師范大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：59 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

模型一:SIR_MMA的loss變化圖

§5.1基于SIR核矩陣的模擬實(shí)驗(yàn)為-0.5，其余元素都是0。這樣形式的向量的稀疏性會(huì)隨著維數(shù)p的增大而增大。X由多元正態(tài)分布N(0,Σ)產(chǎn)生，為考慮不同的協(xié)方差矩陣Σ對(duì)各算法的影響，我們考慮以下三種協(xié)方差矩陣：(i)Σ=Ip，(ii)Σij=0.25|ij|，(iii)Σij=0.5|ij|。ε表示隨機(jī)影響因素，服從N(0,0.2)的正態(tài)分布，且ε與X相互獨(dú)立。模型二：Y=eγTX+ε(5-4)X的維數(shù)為p，X=(x1,x2,x3,···,xp)T。γ=(2,2,0.5,0.5,0,0,···,0,0)T為稀疏向量，除前四個(gè)元素外都為0。x1,x1,···,xp都獨(dú)立同分布，我們?cè)O(shè)置了三種分布函數(shù)F(x)(i)F(x)表示自由度為5的t分布，(ii)F(x)表示參數(shù)n=10，p=0.3的二項(xiàng)分布，(iii)F(x)表示參數(shù)λ=1的指數(shù)分布。ε表示隨機(jī)影響因素，服從N(0,0.2)的正態(tài)分布，且ε與X相互獨(dú)立。模型三：Y=eγTX+ε(5-5)X的維數(shù)為p，X=(x1,x2,x3,···,xp)T。X服從N(0,Ip)的多元正態(tài)分布。γ=(γ1,γ2,···,γp)T表示非稀疏的向量，但是其中會(huì)有很多權(quán)重較小的元素，我們?cè)O(shè)定了三種情況(i)γi=1i，(ii)γi=sin(i)i，(ii)γi=1i!，i=1,2,3,···,p。ε表示隨機(jī)影響因素，服從N(0,0.2)的正態(tài)分布，且ε與X相互獨(dú)立。圖5-1模型一:SIR_MMA的loss變化圖圖5-2模型一:SIR_JMA的loss變化圖為研究基于模型平均算法的收斂性，在模型一(i)條件下，我們?cè)O(shè)定數(shù)據(jù)量N為100，維數(shù)p為20。為觀察在迭代過程中式(4-11)和式(4-12)的值的變化，即迭代過程中l(wèi)oss的變化。我們畫出了SIR_MMA方法和SIR_JMA方法在迭代過程中l(wèi)oss的變化圖，如圖5-1、圖5-2所示。觀察圖片，發(fā)現(xiàn)算法在第一次迭代的時(shí)候loss會(huì)下降很快，之后就快速收斂了。-19-

第五章模擬仿真和實(shí)例分析圖5-3模型一在條件(i)下的降維結(jié)果隨維數(shù)p變化圖圖5-4模型一在條件(ii)下的降維結(jié)果隨維數(shù)p變化圖圖5-5模型一在條件(iii)下的降維結(jié)果隨維數(shù)p變化圖圖5-6模型二在條件(i)下的降維結(jié)果隨維數(shù)p變化圖圖5-7模型二在條件(ii)下的降維結(jié)果隨維數(shù)p變化圖圖5-8模型二在條件(iii)下的降維結(jié)果隨維數(shù)p變化圖-24-

【參考文獻(xiàn)】：
期刊論文
[1]分段逆回歸與神經(jīng)網(wǎng)絡(luò)組合建模方法[J]. 黃薇,王惠文,張志慧.  系統(tǒng)工程. 2004(04)

碩士論文
[1]SIR降維方法與半?yún)?shù)可加回歸的應(yīng)用研究[D]. 李巖巖.重慶工商大學(xué) 2016



本文編號(hào)：3331733