發(fā)布時(shí)間：2017-10-20 10:39

  本文關(guān)鍵詞：基于概率語義分布的短文本分類

  更多相關(guān)文章： 短文本分類 詞矢量 語義分布 高斯混合模型

【摘要】：在短文本分類中,面對特征稀疏的短文本,如何充分利用文本中的每一個(gè)詞語成為關(guān)鍵.本文提出概率語義分布模型的思想,首先通過查詢詞矢量詞典,將文本轉(zhuǎn)換為詞矢量數(shù)據(jù);其次,在概率語義分布模型的假設(shè)下利用混合高斯模型對無標(biāo)注的文本數(shù)據(jù)進(jìn)行通用背景語義模型訓(xùn)練;利用訓(xùn)練數(shù)據(jù)對通用模型進(jìn)行自適應(yīng)得到各個(gè)領(lǐng)域的目標(biāo)領(lǐng)域語義分布模型;最后,在測試過程中,計(jì)算短文本屬于領(lǐng)域模型的概率,得到最終的分類結(jié)果.實(shí)驗(yàn)結(jié)果表明,本文提出的方法能夠從一定程度上利用短文本所提供的信息,有效降低了對訓(xùn)練數(shù)據(jù)的依賴性,相比于支持向量機(jī)(Support vector machine,SVM)和最大熵分類方法性能相對提高了17.7%.
【作者單位】： 中國科學(xué)院聲學(xué)研究所語言聲學(xué)與內(nèi)容理解重點(diǎn)實(shí)驗(yàn)室;新疆民族語音語言信息處理實(shí)驗(yàn)室;
【關(guān)鍵詞】： 短文本分類 詞矢量 語義分布 高斯混合模型
【基金】：國家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)(2015AA016306) 國家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(973計(jì)劃)(2013CB329302) 國家自然科學(xué)基金(11461141004,61271426,11504406,11590770,11590771,11590772,11590773,11590774) 中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)(XDA06030100,XDA06030500,XDA06040603) 新疆維吾爾自治區(qū)科技重大專項(xiàng)(201230118-3)資助~~
【分類號】：TP391.1
【正文快照】： 近年來,隨著社交網(wǎng)絡(luò)和電子商務(wù)的飛速發(fā)展, 微博、Twitter、即時(shí)信息、商品評價(jià)等短文本形式的文字充斥著互聯(lián)網(wǎng).這些短文本包含了用戶的潛在需求、興趣點(diǎn)、意圖傾向等,如何能夠從這些短文本中獲取信息從而更好地為用戶提供服務(wù)成為關(guān)鍵.然而,這些短文本通常都有長度限制,如

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李盛瑜;何文;;一種對聊天文本進(jìn)行特征選取的方法研究[J];計(jì)算機(jī)科學(xué);2007年05期

2 蔣志方;祝翠玲;吳強(qiáng);;一個(gè)對不帶類別標(biāo)記文本進(jìn)行分類的方法[J];計(jì)算機(jī)工程;2007年12期

3 趙鋼;;從復(fù)雜文本中導(dǎo)入數(shù)據(jù)的方法[J];中國審計(jì);2007年18期

4 易樹鴻;張為群;;一種基于粗集的文本數(shù)據(jù)特征信息的挖掘方法[J];計(jì)算機(jī)科學(xué);2002年08期

5 李建中,楊艷,張艷秋;并行文本管理原型系統(tǒng)PDoc的功能與總體框架[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2004年09期

6 覃曉;元昌安;彭昱忠;丁超;;基于基因表達(dá)式編程的Web文本分類研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2009年03期

7 諶志群;;文本趨勢挖掘綜述[J];情報(bào)科學(xué);2010年02期

8 王亞民;劉洋;;含附件文本的分類算法研究[J];情報(bào)雜志;2012年08期

9 江偉;潘昊;;基于優(yōu)化的多核學(xué)習(xí)方法的Web文本分類的研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年10期

10 陳福海;C++中用>>和<<重載實(shí)現(xiàn)文本文件的方便存取[J];現(xiàn)代計(jì)算機(jī);1997年05期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 許君;王朝坤;劉立超;王建民;劉璋;;云環(huán)境中的近似復(fù)制文本檢測[A];第29屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

2 易天元;葉春生;;工業(yè)鍋爐圖紙輸入的文本數(shù)據(jù)處理[A];1997中國控制與決策學(xué)術(shù)年會論文集[C];1997年

3 胡蓉;唐常杰;陳敏敏;欒江;;關(guān)聯(lián)規(guī)則制導(dǎo)的遺傳算法在文本分類中的應(yīng)用[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2002年

4 李文波;孫樂;黃瑞紅;馮元勇;張大鯤;;基于Labeled-LDA模型的文本分類新算法[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

5 黃云平;孫樂;李文波;;基于上下文圖模型文本表示的文本分類研究[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集（上）[C];2008年

6 蔣勇;陳曉靜;;一種多方向手寫文本行提取方法[A];第二十七屆中國控制會議論文集[C];2008年

7 李瑞;王朝坤;鄭偉;王建民;王偉平;;基于MapReduce框架的近似復(fù)制文本檢測[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集(B輯)[C];2010年

8 胡俊;黃厚寬;;一種基于SVM的可視化文本分類的方法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2004年

9 江荻;;藏語文本信息處理的歷程與進(jìn)展[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

10 侯松;周斌;賈焰;;分詞結(jié)果的再搭配對文本分類效果的增強(qiáng)[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集（第二十四卷）[C];2009年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 戴洪玲;向Excel中快速輸入相同文本[N];中國電腦教育報(bào);2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 宋歌;基于聚類森林的文本流分類方法研究[D];哈爾濱工業(yè)大學(xué);2014年

2 韓開旭;基于支持向量機(jī)的文本情感分析研究[D];東北石油大學(xué);2014年

3 鄭立洲;短文本信息抽取若干技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2016年

4 韓磊;漢語句義結(jié)構(gòu)模型分析及其文本表示方法研究[D];北京理工大學(xué);2016年

5 胡明涵;面向領(lǐng)域的文本分類與挖掘關(guān)鍵技術(shù)研究[D];東北大學(xué)　;2009年

6 孫曉華;基于聚類的文本機(jī)會發(fā)現(xiàn)關(guān)鍵問題研究[D];哈爾濱工程大學(xué);2010年

7 尚文倩;文本分類及其相關(guān)技術(shù)研究[D];北京交通大學(xué);2007年

8 霍躍紅;典籍英譯譯者文體分析與文本的譯者識別[D];大連理工大學(xué);2010年

9 熊云波;文本信息處理的若干關(guān)鍵技術(shù)研究[D];復(fù)旦大學(xué);2006年

10 李自強(qiáng);大規(guī)模文本分類的若干問題研究[D];電子科技大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 金傳鑫;氣象文本分類特征選擇方法及其在MapReduce上的實(shí)現(xiàn)[D];南京信息工程大學(xué);2015年

2 李少卿;不良文本及其變體信息的檢測過濾技術(shù)研究[D];復(fù)旦大學(xué);2014年

3 楊名陽;基于空間文本數(shù)據(jù)的k近鄰連接研究[D];上海交通大學(xué);2015年

4 李天彩;短文本信息流的會話抽取與分析技術(shù)研究[D];解放軍信息工程大學(xué);2015年

5 陳亮宇;面向微博文本的事件抽取[D];東南大學(xué);2015年

6 許慧芳;基于全覆蓋粒計(jì)算模型的文本表示和特征提取研究[D];太原理工大學(xué);2016年

7 王煒;面向網(wǎng)絡(luò)輿情的文本語義傾向性分類算法研究[D];河北工程大學(xué);2016年

8 任倚天;基于支持向量機(jī)的海量文本分類并行化技術(shù)研究[D];北京理工大學(xué);2016年

9 光順利;基于Spark的文本分類的研究[D];長春工業(yè)大學(xué);2016年

10 張高祥;基于SVM的文本信息過濾算法研究[D];吉林大學(xué);2016年

，

本文編號：1066845