本文選題：中文分詞　切入點：關鍵詞提取　出處：《數理統(tǒng)計與管理》2017年04期 　論文類型：期刊論文

【摘要】：本文討論了中文文本挖掘的三個問題:分詞、關鍵詞提取和文本分類。對分詞問題,介紹了基于層疊隱馬爾可夫模型的ICTCLAS分詞法,以及將詞與詞之間的分隔視為缺失數據并用EM算法求解的WDM方法;對關鍵詞提取問題,提出了貝葉斯因子法,并介紹了使用稀疏回歸的CCS方法;對文本分類問題,介紹了根據關鍵詞頻率建立分類器的方法,以及先建立主題模型再根據主題概率建立分類器的方法。本文通過兩組文本數據對上述方法進行比較,并給出使用建議。
[Abstract]:This paper discusses three problems of Chinese text mining: word segmentation, keyword extraction and text classification. For word segmentation, ICTCLAS word segmentation method based on cascaded hidden Markov model is introduced. The separation between words and words is regarded as missing data and solved by EM algorithm. The Bayesian factor method is proposed for keyword extraction, and the CCS method using sparse regression is introduced. This paper introduces the method of establishing classifier according to the frequency of keywords, and the method of establishing the classifier based on the topic model and the probability of topic first. This paper compares these methods with two groups of text data, and gives some suggestions for their use.
【作者單位】： 北京大學光華管理學院;
【分類號】：TP391.1

【參考文獻】

相關期刊論文 前1條

1 孔翔宇;畢秀春;張曙光;;財經新聞與股市預測——基于數據挖掘技術的實證分析[J];數理統(tǒng)計與管理;2016年02期

【共引文獻】

相關期刊論文 前5條

1 洪亮;李雪思;周莉娜;;領域跨越:數據挖掘的應用和發(fā)展趨勢[J];圖書情報知識;2017年04期

2 陳云松;嚴飛;;網絡輿情是否影響股市行情? 基于新浪微博大數據的ARDL模型邊限分析[J];社會;2017年02期

3 王健;張俊妮;;統(tǒng)計模型在中文文本挖掘中的應用[J];數理統(tǒng)計與管理;2017年04期

4 王大慶;;基于大數據時代背景下的財經新聞轉變探討[J];新聞研究導刊;2016年23期

5 孟雪井;楊亞飛;趙新泉;;財經新聞與股市投資策略研究——基于財經網站的文本挖掘[J];投資研究;2016年08期

【二級參考文獻】

相關期刊論文 前1條

1 趙麗麗;趙茜倩;楊娟;王鐵軍;李慶;;財經新聞對中國股市影響的定量分析[J];山東大學學報(理學版);2012年07期

【相似文獻】

相關期刊論文 前10條

1 張妍;許云峰;張立全;;基于云計算的中文分詞研究[J];河北科技大學學報;2012年03期

2 張茂元,盧正鼎,鄒春燕;一種基于語境的中文分詞方法研究[J];小型微型計算機系統(tǒng);2005年01期

3 程傳鵬;;一種簡單高效的中文分詞方法[J];鄭州輕工業(yè)學院學報;2006年03期

4 張博;姜建國;萬平國;;對互聯(lián)網環(huán)境下中文分詞系統(tǒng)的一種架構改進[J];計算機應用研究;2006年11期

5 夏新松;肖建國;;一種新的錯誤驅動學習方法在中文分詞中的應用[J];計算機科學;2006年03期

6 周軍;王艷紅;;一種基于詞典的中文分詞法的設計與實現[J];黑龍江科技信息;2008年25期

7 許高建;胡學鋼;路遙;王慶人;;一種改進的中文分詞歧義消除算法研究[J];合肥工業(yè)大學學報(自然科學版);2008年10期

8 張培穎;;運用有向圖進行中文分詞研究[J];計算機工程與應用;2009年22期

9 吳晶晶;荊繼武;聶曉峰;王平建;;一種快速中文分詞詞典機制[J];中國科學院研究生院學報;2009年05期

10 袁健;張勁松;馬良;;二次回溯中文分詞方法[J];計算機應用研究;2009年09期

相關會議論文 前10條

1 王敏;葉寬余;薛峰;;一種面向網店商品搜索的中文分詞系統(tǒng)設計[A];全國第22屆計算機技術與應用學術會議(CACIS·2011)暨全國第3屆安全關鍵技術與應用（SCA·2011）學術會議論文摘要集[C];2011年

2 黃昌寧;趙海;;由字構詞——中文分詞新方法[A];中文信息處理前沿進展——中國中文信息學會二十五周年學術會議論文集[C];2006年

3 任飛亮;石磊;姚天順;;應用支持向量機進行中文分詞[A];全國第八屆計算語言學聯(lián)合學術會議（JSCL-2005）論文集[C];2005年

4 吳晶晶;荊繼武;王平建;;一種基于詞典的新型中文分詞機制[A];全國網絡與信息安全技術研討會論文集（上冊）[C];2007年

5 李玉梅;靳光瑾;黃昌寧;;中文分詞規(guī)范中的歧義字段消解細則[A];第五屆全國語言文字應用學術研討會論文集[C];2007年

6 修馳;宋柔;;基于“大詞”實例的中文分詞研究[A];中國計算語言學研究前沿進展（2009-2011）[C];2011年

7 黃居仁;;瓶頸,挑戰(zhàn),與轉機:中文分詞研究的新思維[A];中國計算機語言學研究前沿進展（2007-2009）[C];2009年

8 李壽山;黃居仁;;基于詞邊界分類的中文分詞方法[A];中國計算機語言學研究前沿進展（2007-2009）[C];2009年

9 張梅山;鄧知龍;車萬翔;劉挺;;統(tǒng)計與詞典相結合的領域自適應中文分詞[A];中國計算語言學研究前沿進展（2009-2011）[C];2011年

10 王屹林;朱慕華;朱靖波;;針對SVM中文分詞特性的個性化后處理設計[A];第三屆學生計算語言學研討會論文集[C];2006年

相關博士學位論文 前4條

1 奚寧;統(tǒng)計機器翻譯中的中文分詞策略研究[D];南京大學;2013年

2 修馳;適應于不同領域的中文分詞方法研究與實現[D];北京工業(yè)大學;2013年

3 何嘉;基于遺傳算法優(yōu)化的中文分詞研究[D];電子科技大學;2012年

4 李志國;面向分布式文本知識管理的中文分詞與文本分類研究[D];重慶大學;2008年

相關碩士學位論文 前10條

1 顧輝;基于中文分詞的購物中心微信平臺購物導航的設計與實現[D];華中師范大學;2015年

2 韓冰;基于感知器算法的中文分詞增量系統(tǒng)設計與實現[D];哈爾濱工業(yè)大學;2015年

3 杜麗萍;基于互聯(lián)網海量語料的新詞發(fā)現研究及中文分詞系統(tǒng)改進[D];西安郵電大學;2015年

4 周祺;基于統(tǒng)計與詞典相結合的中文分詞的研究與實現[D];哈爾濱工業(yè)大學;2015年

5 梁喜濤;基于主動學習的中文分詞方法研究[D];南京郵電大學;2015年

6 朱云杰;大數據環(huán)境下垃圾評論過濾系統(tǒng)的研究與實現[D];東南大學;2015年

7 呂先超;視障漢語轉換軟件SunBraille的設計實現[D];蘭州大學;2016年

8 黃積楊;基于雙向LSTMN神經網絡的中文分詞研究分析[D];南京大學;2016年

9 梁科;面向中醫(yī)醫(yī)案的數據挖掘技術研究及應用[D];山東大學;2016年

10 鄭宗榮;基于實例的中文分詞系統(tǒng)設計與實現[D];電子科技大學;2016年

，

本文編號：1623458