本文關(guān)鍵詞：基于半監(jiān)督的SVM遷移學(xué)習(xí)文本分類方法，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的快速發(fā)展,各種信息風(fēng)靡網(wǎng)絡(luò),而這些網(wǎng)絡(luò)信息主要通過文本的形式來表達,因此對文本數(shù)據(jù)進行合理有效的處理是十分必要的。文本分類是進行信息挖掘的一種重要數(shù)據(jù)分析方法,它能夠從數(shù)據(jù)中挖掘關(guān)鍵信息并構(gòu)建模型,使計算機從過去的數(shù)據(jù)中獲取知識,解決問題。傳統(tǒng)的文本分類方法在要求有充足標注數(shù)據(jù)訓(xùn)練模型的同時還要求訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)屬于同一分布。支持向量機(SVM)作為常用文本分類方法之一,特別適合處理像文本這樣的數(shù)據(jù)集較大的分類問題。然而,SVM在處理分類問題時也常會因為訓(xùn)練樣本不充分而無法學(xué)習(xí)到高精度的分類模型。近年來,在SVM算法中引入半監(jiān)督學(xué)習(xí)模式,利用大量未標注數(shù)據(jù)與少量標注數(shù)據(jù)共同訓(xùn)練分類器,在一定程度上解決了訓(xùn)練數(shù)據(jù)不充分的問題,但半監(jiān)督學(xué)習(xí)仍需滿足訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)同分布假設(shè)。遷移學(xué)習(xí)是最近興起的一種有效解決上述問題的學(xué)習(xí)方式,其可以利用相似領(lǐng)域中大量標注數(shù)據(jù)來幫助新領(lǐng)域目標任務(wù)的學(xué)習(xí)。于是在SVM中引入遷移學(xué)習(xí),在提供大量標注數(shù)據(jù)的同時還放寬了對數(shù)據(jù)分布的要求。本文通過結(jié)合遷移學(xué)習(xí)和半監(jiān)督學(xué)習(xí)來研究文本分類問題,主要研究內(nèi)容如下：(1)針對傳統(tǒng)有監(jiān)督SVM文本分類方法的不足,詳細描述了半監(jiān)督式的自訓(xùn)練SVM分類方法,包括其基本思想、具體流程以及存在的缺陷。(2)針對以往SVM遷移學(xué)習(xí)方法在訓(xùn)練過程中大量遷移與目標數(shù)據(jù)很不相似的源領(lǐng)域數(shù)據(jù)的問題,提出了一種利用源域支持向量進行相似遷移的方法。該方法先利用源領(lǐng)域訓(xùn)練得到的支持向量代表源領(lǐng)域數(shù)據(jù),再利用源域支持向量與目標訓(xùn)練集的相似度來衡量源域數(shù)據(jù)的重要性,進而有效的對源領(lǐng)域知識進行遷移。(3)考慮到未標注數(shù)據(jù)可能包含有對分類起重要作用的信息,提出了結(jié)合目標領(lǐng)域未標注數(shù)據(jù)共同學(xué)習(xí)分類模型的基于半監(jiān)督的SVM遷移學(xué)習(xí)分類方法。該方法以SVM遷移模型為基礎(chǔ)分類器,給未標注數(shù)據(jù)帶上初始標簽并共同學(xué)習(xí)分類模型,進一步提高了分類器性能。將本文提出的SVM遷移學(xué)習(xí)方法以及基于半監(jiān)督的SVM遷移學(xué)習(xí)方法與傳統(tǒng)的SVM方法在20Newsgroups數(shù)據(jù)集上進行實驗對比,證明了本文提出方法的有效性。然后與傳統(tǒng)的文本分類方法進行比較,證明了本文方法的可行性與優(yōu)越性。
【關(guān)鍵詞】：遷移學(xué)習(xí) 半監(jiān)督學(xué)習(xí) SVM 文本分類
【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP391.1
【目錄】：

• 摘要4-6
• ABSTRACT6-14
• 第一章 緒論14-20
• 1.1 研究背景與意義14-15
• 1.2 國內(nèi)外研究現(xiàn)狀15-18
• 1.2.1 文本分類研究現(xiàn)狀15-16
• 1.2.2 半監(jiān)督學(xué)習(xí)研究現(xiàn)狀16
• 1.2.3 遷移學(xué)習(xí)研究現(xiàn)狀16-18
• 1.3 本文主要研究內(nèi)容18-19
• 1.4 論文組織結(jié)構(gòu)19-20
• 第二章 相關(guān)理論20-36
• 2.1 文本分類概述20
• 2.2 文本分類流程20-32
• 2.2.1 文本預(yù)處理21-23
• 2.2.2 分類算法23-31
• 2.2.3 評估標準31-32
• 2.3 遷移學(xué)習(xí)32-35
• 2.3.1 遷移學(xué)習(xí)概述32
• 2.3.2 遷移學(xué)習(xí)類型32-34
• 2.3.3 與傳統(tǒng)機器學(xué)習(xí)的比較34-35
• 2.3.4 遷移學(xué)習(xí)的應(yīng)用35
• 2.4 本章小結(jié)35-36
• 第三章 基于半監(jiān)督的SVM分類算法36-41
• 3.1 半監(jiān)督學(xué)習(xí)概述36
• 3.2 自訓(xùn)練分類算法36-38
• 3.3 STSVM算法描述38-40
• 3.3.1 SVM分類應(yīng)用半監(jiān)督學(xué)習(xí)的意義38
• 3.3.2 算法具體描述38-40
• 3.4 本章小結(jié)40-41
• 第四章 基于半監(jiān)督的SVM遷移學(xué)習(xí)文本分類算法41-53
• 4.1 SVM分類運用遷移學(xué)習(xí)的意義41
• 4.2 Transfer-SVM算法描述41-48
• 4.2.1 算法問題描述41-42
• 4.2.2 算法核心思想42-46
• 4.2.3 目標函數(shù)構(gòu)造46-48
• 4.2.4 算法具體描述48
• 4.2.5 算法預(yù)期48
• 4.3 Transfer-STSVM算法描述48-52
• 4.3.1 算法核心思想48-50
• 4.3.2 目標函數(shù)構(gòu)造50-51
• 4.3.3 算法具體描述51-52
• 4.3.4 算法預(yù)期52
• 4.4 本章小結(jié)52-53
• 第五章 算法測試與分析53-62
• 5.1 實驗準備53-57
• 5.1.1 實驗環(huán)境53
• 5.1.2 數(shù)據(jù)集說明53-56
• 5.1.3 數(shù)據(jù)預(yù)處理56-57
• 5.2 實驗設(shè)置57
• 5.3 算法測試與分析57-61
• 5.4 算法效率61
• 5.5 本章小結(jié)61-62
• 總結(jié)與展望62-64
• 參考文獻64-68
• 攻讀學(xué)位期間發(fā)表論文68-70
• 致謝70

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 張博;史忠植;趙曉非;張建華;;一種基于跨領(lǐng)域典型相關(guān)性分析的遷移學(xué)習(xí)方法[J];計算機學(xué)報;2015年07期

2 莊福振;羅平;何清;史忠植;;遷移學(xué)習(xí)研究進展[J];軟件學(xué)報;2015年01期

3 鄭世卓;崔曉燕;;基于半監(jiān)督LDA的文本分類應(yīng)用研究[J];軟件;2014年01期

4 許敏;王士同;顧鑫;;TL-SVM:一種遷移學(xué)習(xí)算法[J];控制與決策;2014年01期

  本文關(guān)鍵詞：基于半監(jiān)督的SVM遷移學(xué)習(xí)文本分類方法，由筆耕文化傳播整理發(fā)布。

，

本文編號：390230