本文關(guān)鍵詞：基于SVM的文本信息過濾算法研究

  更多相關(guān)文章： 信息過濾 英文文本 特征提取 支持向量機 機器學習

【摘要】：當今社會,信息資源非常豐富,已成為行業(yè)競爭的焦點,誰掌握了信息資源誰就掌握了未來。隨著互聯(lián)網(wǎng)、信息技術(shù)的迅速發(fā)展,數(shù)據(jù)存貯技術(shù)越來越高,因此計算機能夠讀取的文本信息也就逐漸增多。相對于一些特定的用戶來說,他們需要的信息通常只是這些信息中特別少的一部分。隨著特定用戶和規(guī)模龐大的信息資源對特定文本信息的需求逐漸增多,信息用戶急需一套大規(guī)模文本信息處理軟件。但是,要想從規(guī)模龐大的信息資源中獲得用戶所需的文本信息,對文本信息處理的精確度、準確性的要求較高。文本信息過濾算法主要研究的是怎樣把用戶的需求準確地表達出來,然后用戶在規(guī)模龐大的信息資源中自動獲取所需的有用信息。目前,英語在國際交流上是一種最常用的通用語言,而且對于國際化企業(yè)來說,有價值的信息資料一般都是用英文存檔的,因此,對英文文本信息過濾進行研究具實用價值和現(xiàn)實意義。文本信息過濾是通過計算機對文本信息進行自動過濾的過程,是在文本信息內(nèi)容的基礎上對文本信息進行自動分類、過濾的一種核心技術(shù)。由于文本信息過濾問題具有信息特征間的相關(guān)性大、文本向量稀維數(shù)高、稀疏性大等特點,支持向量機(SVM)適用于文本信息過濾問題,在文本信息過濾中的應用潛力非常大。在文本信息過濾過程中,怎樣降低特征向量空間的高維性,實現(xiàn)文本信息過濾算法的高效性,是急需解決的一個首要問題。因此,本文從特征值提取算法選取、信息過濾算法改進,算法參數(shù)優(yōu)化等方面分別做了相應的研究,具體包括以下幾個方面工作:1、分析傳統(tǒng)特征提取方法的特點,在分析原有CHI特征選擇和信息增益特征選擇優(yōu)缺點的基礎上,提出了一種維數(shù)自適應結(jié)合的特征選擇方法。通過實驗對比傳統(tǒng)的CHI特征選擇、信息增益和維數(shù)自適應結(jié)合方法,維數(shù)自適應結(jié)合方法使得訓練數(shù)據(jù)的交叉驗證準確率以及訓練驗證準確率得到顯著提高。2、針對SVM在訓練過程中存在不平衡樣本以及無用樣本的缺點,并且在文本過濾中存在一些判別困難區(qū)域,本文采取了融合K-Means算法進行改進,通過K-Means算法選取合適的SVM訓練子集,進而優(yōu)化訓練樣本;通過確定正例樣本聚類中心集區(qū)域,在進行SVM文本信息過濾時,對于判別困難的數(shù)據(jù)可以再次進行聚類決策,提高SVM算法在信息過濾中的精度。3、在SVM算法實際應用中,懲罰因子、核函數(shù)及其核參數(shù)這三個參數(shù)對分類精度影響較大。本文采用了一種可變步長迭代選取算法,以交叉驗證準確率最佳為目的,通過粗選、精選兩個過程,從而快速的確定最優(yōu)參數(shù)。實驗證明,改進的SVM算法,在文本信息過濾過程中,查準率、查全率以及F值等評測指標有顯著的提高。4、在算法研究基礎上,本文采用C#語言調(diào)用C++組件進行了算法系統(tǒng)化實現(xiàn),并對該算法做了實際運行測試。實驗證明,基于SVM的文本信息過濾算法的過濾性能較好。
【關(guān)鍵詞】：信息過濾 英文文本 特征提取 支持向量機 機器學習
【學位授予單位】：吉林大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP391.1
【目錄】：

• 摘要4-6
• Abstract6-13
• 第1章 緒論13-18
• 1.1 研究背景及意義13-14
• 1.1.1 研究背景13-14
• 1.1.2 研究意義14
• 1.2 文本信息過濾的研究現(xiàn)狀14-16
• 1.2.1 國外研究現(xiàn)狀14-15
• 1.2.2 國內(nèi)研究現(xiàn)狀15-16
• 1.3 研究內(nèi)容16-17
• 1.4 本文的組織結(jié)構(gòu)17-18
• 第2章 文本信息過濾相關(guān)理論18-29
• 2.1 文本信息過濾概述18-23
• 2.1.1 文本信息過濾的概念及特點18-19
• 2.1.2 信息過濾的分類方法19-20
• 2.1.3 信息過濾模型20-22
• 2.1.4 文本分類與信息過濾22-23
• 2.2 英文文本信息過濾的特點23
• 2.3 機器學習23-25
• 2.3.1 機器學習的定義及目的23-24
• 2.3.2 機器學習的分類24-25
• 2.4 文本信息過濾相關(guān)算法25-28
• 2.4.1 類中心向量算法25-26
• 2.4.2 K-鄰近算法26
• 2.4.3 樸素貝葉斯算法26-27
• 2.4.4 決策樹算法27
• 2.4.5 神經(jīng)網(wǎng)絡算法27-28
• 2.4.6 支持向量機算法28
• 2.5 本章小結(jié)28-29
• 第3章 文本信息預處理及特征提取算法29-39
• 3.1 文本信息預處理29-30
• 3.1.1 分詞處理29
• 3.1.2 停用詞處理29
• 3.1.3 詞根還原29-30
• 3.2 特征提取算法30-32
• 3.2.1 文檔頻率30-31
• 3.2.2 互信息31
• 3.2.3 信息增益31-32
• 3.2.4 CHI統(tǒng)計32
• 3.3 特征提取算法的改進32-34
• 3.3.1 信息增益的優(yōu)缺點33
• 3.3.2 CHI統(tǒng)計的優(yōu)缺點33
• 3.3.3 特征提取算法的改進33-34
• 3.4 權(quán)重計算34-35
• 3.5 實驗結(jié)果及分析35-38
• 3.5.1 實驗環(huán)境35
• 3.5.2 實驗數(shù)據(jù)集35
• 3.5.3 實驗結(jié)果分析35-38
• 3.6 本章小結(jié)38-39
• 第4章 SVM文本信息過濾算法改進39-51
• 4.1 SVM理論基礎39-41
• 4.1.1 SVM算法的基本原理39-40
• 4.1.2 SVM算法的特點40-41
• 4.2 SVM算法改進41-47
• 4.2.1 K-Means算法簡介41-42
• 4.2.2 融合K-Means的SVM算法改進42-44
• 4.2.3 SVM參數(shù)優(yōu)化44-46
• 4.2.4 改進后的算法46-47
• 4.3 實驗結(jié)果與分析47-50
• 4.3.1 評價標準47-48
• 4.3.2 實驗結(jié)果與分析48-50
• 4.4 本章小結(jié)50-51
• 第5章 文本信息過濾算法系統(tǒng)化實現(xiàn)51-60
• 5.1 算法實現(xiàn)工具51-54
• 5.1.1.NET平臺51-52
• 5.1.2 Libsvm組件52-54
• 5.2 算法實現(xiàn)過程54-56
• 5.2.1 算法流程54
• 5.2.2 數(shù)據(jù)預處理54-55
• 5.2.3 特征提取55-56
• 5.2.4 訓練過程56
• 5.2.5 過濾過程56
• 5.3 運行測試56-59
• 5.3.1 樣本要求56
• 5.3.2 操作界面56-58
• 5.3.3 運行測試分析58-59
• 5.4 本章小結(jié)59-60
• 第6章 結(jié)論與展望60-62
• 6.1 結(jié)論60-61
• 6.2 展望61-62
• 參考文獻62-67
• 作者簡介及在學期間科研成果67-68
• 致謝68

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李盛瑜;何文;;一種對聊天文本進行特征選取的方法研究[J];計算機科學;2007年05期

2 蔣志方;祝翠玲;吳強;;一個對不帶類別標記文本進行分類的方法[J];計算機工程;2007年12期

3 趙鋼;;從復雜文本中導入數(shù)據(jù)的方法[J];中國審計;2007年18期

4 易樹鴻;張為群;;一種基于粗集的文本數(shù)據(jù)特征信息的挖掘方法[J];計算機科學;2002年08期

5 李建中,楊艷,張艷秋;并行文本管理原型系統(tǒng)PDoc的功能與總體框架[J];哈爾濱工業(yè)大學學報;2004年09期

6 覃曉;元昌安;彭昱忠;丁超;;基于基因表達式編程的Web文本分類研究[J];網(wǎng)絡安全技術(shù)與應用;2009年03期

7 諶志群;;文本趨勢挖掘綜述[J];情報科學;2010年02期

8 王亞民;劉洋;;含附件文本的分類算法研究[J];情報雜志;2012年08期

9 江偉;潘昊;;基于優(yōu)化的多核學習方法的Web文本分類的研究[J];計算機技術(shù)與發(fā)展;2013年10期

10 陳福海;C++中用>>和<<重載實現(xiàn)文本文件的方便存取[J];現(xiàn)代計算機;1997年05期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 許君;王朝坤;劉立超;王建民;劉璋;;云環(huán)境中的近似復制文本檢測[A];第29屆中國數(shù)據(jù)庫學術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

2 易天元;葉春生;;工業(yè)鍋爐圖紙輸入的文本數(shù)據(jù)處理[A];1997中國控制與決策學術(shù)年會論文集[C];1997年

3 胡蓉;唐常杰;陳敏敏;欒江;;關(guān)聯(lián)規(guī)則制導的遺傳算法在文本分類中的應用[A];第十九屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2002年

4 李文波;孫樂;黃瑞紅;馮元勇;張大鯤;;基于Labeled-LDA模型的文本分類新算法[A];第三屆全國信息檢索與內(nèi)容安全學術(shù)會議論文集[C];2007年

5 黃云平;孫樂;李文波;;基于上下文圖模型文本表示的文本分類研究[A];第四屆全國信息檢索與內(nèi)容安全學術(shù)會議論文集（上）[C];2008年

6 蔣勇;陳曉靜;;一種多方向手寫文本行提取方法[A];第二十七屆中國控制會議論文集[C];2008年

7 李瑞;王朝坤;鄭偉;王建民;王偉平;;基于MapReduce框架的近似復制文本檢測[A];NDBC2010第27屆中國數(shù)據(jù)庫學術(shù)會議論文集(B輯)[C];2010年

8 胡俊;黃厚寬;;一種基于SVM的可視化文本分類的方法[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2004年

9 勞錦明;韋崗;;文本壓縮技術(shù)研究的新進展[A];開創(chuàng)新世紀的通信技術(shù)——第七屆全國青年通信學術(shù)會議論文集[C];2001年

10 江荻;;藏語文本信息處理的歷程與進展[A];中文信息處理前沿進展——中國中文信息學會二十五周年學術(shù)會議論文集[C];2006年

中國重要報紙全文數(shù)據(jù)庫 前1條

1 戴洪玲;向Excel中快速輸入相同文本[N];中國電腦教育報;2004年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 宋歌;基于聚類森林的文本流分類方法研究[D];哈爾濱工業(yè)大學;2014年

2 韓開旭;基于支持向量機的文本情感分析研究[D];東北石油大學;2014年

3 鄭立洲;短文本信息抽取若干技術(shù)研究[D];中國科學技術(shù)大學;2016年

4 韓磊;漢語句義結(jié)構(gòu)模型分析及其文本表示方法研究[D];北京理工大學;2016年

5 胡明涵;面向領域的文本分類與挖掘關(guān)鍵技術(shù)研究[D];東北大學　;2009年

6 孫曉華;基于聚類的文本機會發(fā)現(xiàn)關(guān)鍵問題研究[D];哈爾濱工程大學;2010年

7 尚文倩;文本分類及其相關(guān)技術(shù)研究[D];北京交通大學;2007年

8 霍躍紅;典籍英譯譯者文體分析與文本的譯者識別[D];大連理工大學;2010年

9 熊云波;文本信息處理的若干關(guān)鍵技術(shù)研究[D];復旦大學;2006年

10 李自強;大規(guī)模文本分類的若干問題研究[D];電子科技大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 王軼霞;基于半監(jiān)督遞歸自編碼的情感分類研究[D];內(nèi)蒙古大學;2015年

2 金傳鑫;氣象文本分類特征選擇方法及其在MapReduce上的實現(xiàn)[D];南京信息工程大學;2015年

3 李少卿;不良文本及其變體信息的檢測過濾技術(shù)研究[D];復旦大學;2014年

4 董秦濤;基于文本的個人情感狀態(tài)分析研究[D];蘭州大學;2015年

5 鐘文波;搜索引擎中關(guān)鍵詞分類方法評估及推薦應用[D];華南理工大學;2015年

6 黃晨;基于新詞識別和時間跨度的微博熱點研究[D];上海交通大學;2015年

7 陳紅陽;中文微博話題發(fā)現(xiàn)技術(shù)研究[D];重慶理工大學;2015年

8 王s，

本文編號：976739