如今互聯(lián)網(wǎng)的快速發(fā)展,各領(lǐng)域都產(chǎn)生了大量的數(shù)據(jù),如何充分的利用這些數(shù)據(jù),是目前最需解決的問題。在處理文檔數(shù)據(jù)的過程中,常常采用文本自動分類技術(shù),來實現(xiàn)文檔數(shù)據(jù)的量化存儲工作,如此分類技術(shù)也應(yīng)當(dāng)加以改進(jìn),其中特征維度的降低顯得尤為的重要,通過局部特征選擇方法來降低特征空間維度,去除冗余關(guān)鍵詞,準(zhǔn)確選取能夠代表各類別的關(guān)鍵詞,對分類器本身的性能進(jìn)行改進(jìn),從而提高文本分類精度。本文針對傳統(tǒng)的卡方統(tǒng)計量(CHI)進(jìn)行特征選擇時,僅考慮特征詞在該類別是否出現(xiàn)的缺點,提出引入詞頻權(quán)重和負(fù)相關(guān)修正因子,得到一種新的改進(jìn)后CHI特征選擇方法,記為CHI-NFID特征選擇方法,在此基礎(chǔ)上,考慮引入共現(xiàn)矩陣,提出一種新的局部特征選擇方法,既考慮特征詞與類別之間的相關(guān)關(guān)系,又考慮特征詞之間的語義關(guān)系,確保文本特征含有盡可能少的冗余信息,從而降低特征向量維度。首先,將改進(jìn)的卡方特征選擇方法與傳統(tǒng)的卡方特征選擇方法進(jìn)行對比,進(jìn)行模擬分類實驗。其次,利用XGBoost(梯度提升法)計算關(guān)鍵詞在分類過程中的重要度,根據(jù)篇詞矩陣,得到類詞頻數(shù)矩陣,利用改進(jìn)后的卡方特征選擇方法,計算類詞卡方矩陣,選出各個關(guān)鍵詞的最大卡...

【文章頁數(shù)】：51 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖1.1局部特征選擇文本分類流程

中文文本局部特征選擇方法研究4圖1.1局部特征選擇文本分類流程Figure1.1localfeatureselectiontextclassificationprocess本文主要研究內(nèi)容為以下三大部分：1）研究傳統(tǒng)卡方統(tǒng)計量與改進(jìn)后卡方統(tǒng)計量的區(qū)別。傳統(tǒng)卡方統(tǒng)計量（CHI）方法....

圖2.1支持向量機(jī)與超平面

第二章文本分類描述理論及方法13計算間隔最大的超平面，其目標(biāo)函數(shù)為：,2,..()1||||Tiiwbmaxstywxbw（2.15）其中，y表示樣本所屬的類別，分為正類和負(fù)類。當(dāng)樣本屬于正類時，1Twxb，當(dāng)樣本屬于負(fù)類時，1Twxb。圖2.1支持向量機(jī)與超平面Figure2.....

圖4.1局部特征選擇算法主要思想圖示

第四章基于梯度上升和共現(xiàn)分析的局部特征選擇方法23的共現(xiàn)強(qiáng)度，當(dāng)共現(xiàn)強(qiáng)度大于事先設(shè)定好的閾值時，刪除兩個關(guān)鍵詞中對分類作用小的詞，依次計算得到每個類別下的關(guān)鍵詞子集，最后將所有類別下的關(guān)鍵詞合并得到最終結(jié)果。圖4.1局部特征選擇算法主要思想圖示Figure4.1mainidead....

圖4.2詞共現(xiàn)強(qiáng)度分塊操作示意圖

中文文本局部特征選擇方法研究24Step6將詞共現(xiàn)強(qiáng)度矩陣nnQ按照類別的順序進(jìn)行分塊，從而得到多個局部詞共現(xiàn)強(qiáng)度矩陣，其中ijQ為第i個類別的代表關(guān)鍵詞和第j個類別的代表關(guān)鍵詞之間的共現(xiàn)強(qiáng)度矩陣。圖4.2詞共現(xiàn)強(qiáng)度分塊操作示意圖Figure4.2wordco-occurrenc....

本文編號：3926342