特征選擇一直是模式識(shí)別領(lǐng)域的研究熱點(diǎn)之一。模式識(shí)別是對(duì)數(shù)據(jù)進(jìn)行分類(lèi),分類(lèi)的過(guò)程可以在原始數(shù)據(jù)空間中完成,也可以對(duì)原始數(shù)據(jù)進(jìn)行變換,將數(shù)據(jù)映射到更能反映分類(lèi)本質(zhì)的特征空間中進(jìn)行。在特征空間中得到的分類(lèi)模型無(wú)論是模型的訓(xùn)練時(shí)間還是模型的可解釋性都優(yōu)于直接從原始數(shù)據(jù)得到的分類(lèi)模型。所以特征選擇的研究是模式識(shí)別的一項(xiàng)重要任務(wù)。論文詳細(xì)介紹了基于互信息的過(guò)濾式特征選擇算法的基本概念,在分析了已有的特征選擇算法的優(yōu)缺點(diǎn)之后,提出了兩種新的特征選擇算法。（1）提出了一種基于最小條件相關(guān)和最小條件冗余的特征選擇算法-MCRMCR（Minimum Conditional Relevancy and Minimum Conditional Redundancy）算法。通過(guò)對(duì)RelaxFS（Feature Selection based on Relaxing Max-relevance and Min-redundancy）算法的分析發(fā)現(xiàn),RelaxFS算法在特征選擇過(guò)程中,使用所有的已選特征對(duì)新特征進(jìn)行評(píng)價(jià),這樣會(huì)在計(jì)算特征與類(lèi)的相關(guān)性和特征與已選特征集合的冗余性過(guò)程中耗費(fèi)大量的時(shí)間。因此為了更精確地刻... 

【文章來(lái)源】：西安理工大學(xué)陜西省

【文章頁(yè)數(shù)】：58 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

熵和互信息之間的關(guān)系

特征的評(píng)價(jià)由兩項(xiàng)組成，第一項(xiàng)為特征mX 與類(lèi)的相關(guān)性，第二項(xiàng)合中的特征sX 之間的冗余性。參數(shù) 用來(lái)權(quán)衡相關(guān)和冗余之間的權(quán)更傾向于選擇高類(lèi)相關(guān)低特征間冗余的特征。體例如 mRMR，和 MIFS 很像，這里將參數(shù) 設(shè)置為了|S|1。將候選集合中的每個(gè)sX 的冗余值進(jìn)行均值化，更具體的表示了特征mX 和已趨勢(shì)。 XSmRMRmmmssJ XIXCI(X;X)|S|1( )(;)特征選擇評(píng)價(jià)準(zhǔn)則中引入了冗余，但是評(píng)價(jià)冗余的工具仍然是二維互的 CIFE,其將冗余擴(kuò)展為了類(lèi)內(nèi)冗余。 XScifemmmsmssJ (X)I(X;C){I(X;X)I(X;X|C)} I( X;X)I(X;X|C)msms 表示類(lèi)內(nèi)冗余，CIFE 使用條件互信息將冗與類(lèi)相關(guān)的冗余，一種是與類(lèi)部分相關(guān)的冗余。區(qū)別如下：

COIL20 62.27±0.24 87.39±0.18 88.69±0.18 90.13±0.19 90.34±0.19 91.00±0.19warpPIE10p 79.93±0.19 92.16±0.14 93.02±0.14 86.07±0.12 93.50±0.14 93.34±0.14TOX 171 65.81±0.09 78.17±0.12 79.44±0.13 84.73±0.14 85.10±0.13 78.59±0.12Average 63.66±0.16 74.79±0.14 75.39±0.14 70.98±0.12 77.72±0.14 78.56±0.15表 3-5 為 6 種特征選擇算法在 KNN 分類(lèi)器上的平均分類(lèi)準(zhǔn)確率值。表現(xiàn)最好的三個(gè)特征選擇算法分別是 CIFE 算法，RelaxFS 算法和 MCRMCR 算法。其中 CIFE 算法在兩個(gè)數(shù)據(jù)集上獲得最高的分類(lèi)準(zhǔn)確率，RelaxFS 算法在四個(gè)數(shù)據(jù)集上獲得最高的分類(lèi)準(zhǔn)確率，MCRMCR 算法在五個(gè)數(shù)據(jù)集上可以獲得最高的分類(lèi)準(zhǔn)確率。結(jié)合表格的最后一行可以看出，不 同 的 特 征 選 擇 算 法 在 KNN 分 類(lèi) 器 上 的 分 類(lèi) 準(zhǔn) 確 率 具 有 這 樣 的 趨 勢(shì) ：MCRMCR>RelaxFS>mRMR>JMI>CIFE>MIM。比較表 3-4 和表 3-5，我們依然可以得到不同分類(lèi)器對(duì) MCRMCR 算法和其他特征選擇算法的影響。比較 MCRMCR 算法使用兩種分類(lèi)器的結(jié)果，可以看出，MCRMCR算法在SVM分類(lèi)器上可以獲得更好結(jié)果的數(shù)量大于MCRMCR算法在 KNN 分類(lèi)器上得到的最好結(jié)果數(shù)量。而 RelaxFS 算法在 KNN 分類(lèi)器上可以獲得更好結(jié)果的數(shù)量小于其在 KNN 分類(lèi)器上得到的最好結(jié)果數(shù)量。所以 MCRMCR 算法更適合作為 SVM 分類(lèi)器的預(yù)處理過(guò)程。


本文編號(hào)：3382224