特征選擇是一個降低維數(shù)的方法,它的目的在于從原始的特征中通過刪除一些不相關特征、冗余特征、噪音特征來選擇一個相關特征的子集,作為原始數(shù)據(jù)結構的代表。本文通過比較最大方差、Laplacian score和SPEC這幾種傳統(tǒng)的特征選擇方法,發(fā)現(xiàn)它們在評價數(shù)據(jù)集的特征時,都是根據(jù)某一準則獨立評價特征性能。為此,本文提出一種新的方法PCA-LAP方法,它首先利用主成分分析預處理原始數(shù)據(jù)集,在主成分分析基礎上利用自助法將數(shù)據(jù)劃分為訓練集和測試集,然后利用Lapliacian score計算訓練數(shù)據(jù)集的特征得分,根據(jù)該得分來選擇特征變量,再利用測試集結合層次聚類以及對應的評價指標Rand和classError決定特征選擇的數(shù)量。本文首先對文中提及到的六個數(shù)據(jù)集Madelon,winequality-red,ISOLET1,ZO-O,COIL20,USPS分別利用自助法抽樣,將每個原始數(shù)據(jù)集劃分為訓練集和測試集,然后利用最大方差、Laplacian score和SPEC法分別對文中提及到的六個數(shù)據(jù)集 Madelon,winequality-red,ISOLET1,ZOO,COIL20,USPS對應的... 

【文章來源】：蘭州大學甘肅省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：46 頁

【學位級別】：碩士

【部分圖文】：

圖１．１特征選擇分類??

對數(shù)據(jù)進行變換，在這里我們選擇主成分個數(shù)是基于文中算法中提及到的差值法??進行選取的，然后對變換后的數(shù)據(jù)集利用Ｌａｐｌａｃｉａｎ?ｓｃｏｒｅ再次對數(shù)據(jù)集進行特征提??取，這里利用層次聚類的評價準則來決定特征提取的個數(shù)。如圖３．１為主成分分析得??到的碎石圖。如表３．３是我們對不同的ｅ進行主成分個數(shù)選擇，然后利用Ｌａｐｌａｃｉａｎ??ｓｃｏｒｅ進行特征提取后對新測試集進行層次聚類得到對應的Ｒａｎｄ值和ｃｌａｓｓＥｒｒｏｒ的??值。這里ｄ直的選取是基于Ａ的數(shù)量級進行選取的，因此不同的Ａ對應的所選取??的ｄ直也是不一樣的。??表３．３?ＰＣＡ－ＬＡＰ法在Ｍａｄｅｌｏｎ數(shù)據(jù)集上的特征選擇結果和聚類結果??ｅ?ｉｃｒ７?ｉｃｒ６?ｉｃｒ５?ｉｃｒ４?ｉｃｒ３?ｉｃｒ２??Ｒａｎｄ?０．５３１３７８４?０．５３１３７８４?０．５３１３７８４?０．５３１３７８４?０．５３１３７８４?０．５１８７１６８??ｃｌａｓｓＥｒｒｏｒ?０．３７３９９０３?０．３７３９９０３?０．３７３９９０３?０．３７３９９０３?０．３７３９９０３?０．４０２２６１７??ｆ?３７?３７?３７?３７?３７?５??從圖３．１我們可以發(fā)現(xiàn)，從對數(shù)據(jù)集Ｍａｄｅｌｏｎ進行主成分分析的得到的碎石圖??可以發(fā)現(xiàn)，剛開始的幾個主成分的方差比率相對來說差別比較大，到第六個主成??分之后兩相鄰主成分之間的差值相對來說較小，直到在第４８０個主成分左右突然降??１９??

處理完之后再利用Ｌａｐｌａｃｉａｎ?ｓｃｏｒｅ法進行特征選擇和層次聚類等問題。在對數(shù)據(jù)??集ＩＳ０ＬＥＴ１進行ＰＣＡ處理的時候，會面臨主成分個數(shù)的選擇問題，這里所采用的??是兩相鄰方差比率差值是否大于ｅ來決定的。圖３．３為對數(shù)據(jù)集ＩＳ０ＬＥＴ１進行主成??分分析得到的碎石圖，表３．７為對于不同的ｅ得到的特征選擇和聚類結果。從數(shù)據(jù)??集ＩＳ０ＬＥＴ１主成分分析的碎石圖３．３發(fā)現(xiàn)，剛開始的時候兩相鄰主成分之間的相差??比較大，大概到第七八十個主成分左右兩相鄰主成分之間相差較小，且在這之后的??每個主成分所占比率也是非常的小，幾乎趨近于零。??２４??


本文編號：3422061