本文關鍵詞：基于頻繁詞集聚類的微博新話題快速發(fā)現(xiàn)

  更多相關文章： 頻繁詞集聚類算法 微博 新話題 Hadoop MapReduce

【摘要】：新話題發(fā)現(xiàn)是進行輿情分析的基礎和前提,新話題發(fā)現(xiàn)的一個關鍵環(huán)節(jié)是進行關鍵詞的聚類分析.目前,大量的新話題來源于微博,但是將傳統(tǒng)的聚類算法用于微博新話題發(fā)現(xiàn)時,會產(chǎn)生特征向量的高維性和稀疏性問題,使得聚類結果非常不準確,而且收斂時間難以控制,進而影響輿情分析的可靠性和實時性.鑒此,本文提出了頻繁詞集聚類FWSC(frequent words sets clustering)方法.實驗結果表明,我們提出的方法能夠快速有效地發(fā)現(xiàn)新話題.
【作者單位】： 北京信息科技大學計算機學院;北京信息科技大學網(wǎng)絡文化與數(shù)字傳播北京市重點實驗室;
【關鍵詞】： 頻繁詞集聚類算法 微博 新話題 Hadoop MapReduce
【基金】：國家自然科學基金(61370139) 國家社會科學基金重大項目(12&ZD234) 網(wǎng)絡文化與數(shù)字傳播北京市重點實驗室項目(ICDD201309,ICDD201207)
【分類號】：TP393.092
【正文快照】： o引言新話題是指將人們先前的談論的話題做一個時間快照與當前談論的話題的時間快照進行對比,那些先前沒有出現(xiàn)的話題即為新話題.新話題發(fā)現(xiàn)是進行輿情分析的基礎和前提,因為新話題將來可能發(fā)展成為熱點話題、熱點事件.因此,及早地發(fā)現(xiàn)新話題,對輿論盡早進行疏導和控制,可以有

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 龐海杰;;面向文本情感分析的商品評價信息檢測[J];計算機應用;2012年07期

2 龍志yN;程葳;;基于詞聚類的熱點話題檢測算法[J];計算機工程與設計;2011年06期

3 薛峰;周亞東;高峰;劉霽;趙俊舟;黨琪;;一種突發(fā)性熱點話題在線發(fā)現(xiàn)與跟蹤方法[J];西安交通大學學報;2011年12期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 潘大慶;;基于層次聚類的微博敏感話題檢測算法研究[J];廣西民族大學學報(自然科學版);2012年04期

2 徐淑彩;;建立基于Solr平臺的環(huán)境污染網(wǎng)絡輿情監(jiān)測系統(tǒng)[J];信息安全與技術;2013年10期

3 李忠俊;;基于話題檢測與聚類的內部輿情監(jiān)測系統(tǒng)[J];計算機科學;2012年12期

4 楊菲;黃柏雄;;詞共現(xiàn)網(wǎng)絡的遺傳聚類在話題發(fā)現(xiàn)中的應用[J];計算機工程與應用;2013年14期

5 趙雪芬;;基于未知度的Vague集相似度量方法研究[J];計算機工程與應用;2013年14期

6 楊武;李陽;盧玲;;基于用戶角色定位的微博熱點話題檢測方法[J];計算機應用;2013年11期

7 翟東海;聶洪玉;崔靜靜;于磊;杜佳;王佳君;;基于改進的χ~2檢驗的熱點詞突發(fā)性度量研究[J];計算機與數(shù)字工程;2013年11期

8 趙永升;;基于微格式的分布式網(wǎng)絡輿情監(jiān)測系統(tǒng)[J];計算機工程;2013年11期

9 張昭;艾中良;;一種基于用戶關聯(lián)分析的熱點話題識別算法[J];計算機與現(xiàn)代化;2014年01期

10 翟東海;聶洪玉;崔靜靜;杜佳;;基于CRFs模型的敏感話題識別研究[J];計算機應用研究;2014年04期

中國碩士學位論文全文數(shù)據(jù)庫 前6條

1 孫勵;基于微博的熱點話題發(fā)現(xiàn)[D];北京郵電大學;2013年

2 張志飛;微博信息流中突現(xiàn)話題檢測技術研究[D];杭州電子科技大學;2012年

3 毛文娟;話題跟蹤和可視化技術在涉農(nóng)網(wǎng)絡輿情系統(tǒng)中的應用研究[D];南京農(nóng)業(yè)大學;2012年

4 郭成林;網(wǎng)絡熱點發(fā)現(xiàn)與跟蹤系統(tǒng)的研究與設計[D];電子科技大學;2013年

5 李穎;教育領域BBS的熱點話題發(fā)現(xiàn)研究[D];南京師范大學;2013年

6 李紅;網(wǎng)絡輿情熱點話題自動化發(fā)現(xiàn)技術研究[D];遼寧科技大學;2012年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 邱立坤;龍志yN;鐘華;程葳;;層次化話題發(fā)現(xiàn)與跟蹤方法及系統(tǒng)實現(xiàn)[J];廣西師范大學學報(自然科學版);2007年02期

2 劉菲;黃萱菁;吳立德;;利用關聯(lián)規(guī)則挖掘文本主題詞的方法[J];計算機工程;2008年07期

3 程葳;龍志yN;;面向互聯(lián)網(wǎng)新聞的在線話題檢測算法[J];計算機工程;2009年18期

4 張曉艷;王挺;;話題發(fā)現(xiàn)與追蹤技術研究[J];計算機科學與探索;2009年04期

5 洪宇;張宇;劉挺;李生;;話題檢測與跟蹤的評測及研究綜述[J];中文信息學報;2007年06期

6 曾依靈;許洪波;白碩;;網(wǎng)絡文本主題詞的提取與組織研究[J];中文信息學報;2008年03期

7 洪宇;張宇;范基禮;劉挺;李生;;基于語義域語言模型的中文話題關聯(lián)檢測[J];軟件學報;2008年09期

8 王德興;胡學鋼;劉曉平;;一種新穎的基于量化概念格的屬性歸納算法[J];西安交通大學學報;2007年02期

9 馮中慧;鮑軍鵬;沈鈞毅;;一種增量式文本軟聚類算法[J];西安交通大學學報;2007年04期

10 周亞東;孫欽東;管曉宏;李衛(wèi);陶敬;;流量內容詞語相關度的網(wǎng)絡熱點話題提取[J];西安交通大學學報;2007年10期

中國碩士學位論文全文數(shù)據(jù)庫 前3條

1 薛瑋;網(wǎng)絡輿情信息挖掘系統(tǒng)的研究[D];北京交通大學;2008年

2 齊海鳳;網(wǎng)絡輿情熱點發(fā)現(xiàn)與事件跟蹤技術研究[D];哈爾濱工程大學;2008年

3 馮穎;網(wǎng)絡輿情敏感話題發(fā)現(xiàn)平臺的研究[D];北京交通大學;2009年

【相似文獻】

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 李春英;宋元時期稼軒詞接受研究[D];山東大學;2007年

中國碩士學位論文全文數(shù)據(jù)庫 前2條

1 李博昊;溫庭筠研究情況回顧及幾個問題初探[D];東北師范大學;2007年

2 于瑞娟;宋代詞集序跋研究[D];廣西師范學院;2011年

，

本文編號：831746