本文關鍵詞：基于Hadoop的網絡輿情監(jiān)控平臺設計與實現(xiàn)　出處：《計算機技術與發(fā)展》2016年02期 　論文類型：期刊論文

  更多相關文章： Hadoop MapReduce 輿情監(jiān)控 文本聚類 熱點發(fā)現(xiàn) 話題跟蹤

【摘要】：文中設計并實現(xiàn)了一種基于Hadoop的網絡輿情監(jiān)控系統(tǒng)。該系統(tǒng)以HDFS作為底層存儲系統(tǒng),在其上構建基于HBase的分布式數(shù)據(jù)庫對輿情信息進行統(tǒng)一存儲管理。首先利用基于MapReduce的分布式網絡爬蟲進行數(shù)據(jù)抓取,以解決單機爬蟲效率低、可擴展性差等問題;其次采用Canopy結合K-means的二次聚類算法,克服單一K-means聚類算法的不足,以提高文本聚類的效率和準確度;最后實現(xiàn)基于查詢的話題追蹤策略,對熱點話題進行有效跟蹤分析。仿真實驗表明:Canopy-Kmeans聚類方法比傳統(tǒng)K-means方法漏報率、誤報率分別降低1.24%、0.09%,最小標準代價降低1.681%。系統(tǒng)通過提供可視化輿情分析報告,為企業(yè)或單位及時掌握輿情熱點、制定輿情策略提供科學、系統(tǒng)的技術支持。
[Abstract]:This paper designs and implements a network public opinion monitoring system based on Hadoop, which takes HDFS as the underlying storage system. The distributed database based on HBase is constructed to store and manage the public opinion information. Firstly, the distributed web crawler based on MapReduce is used for data capture. In order to solve the problems of low efficiency and poor expansibility of single crawler. Secondly, Canopy combined with K-means clustering algorithm is used to overcome the shortcomings of single K-means clustering algorithm, in order to improve the efficiency and accuracy of text clustering. Finally, the topic tracking strategy based on query is implemented, and the effective tracking analysis of hot topics is carried out. The simulation results show that the miss rate of the K-means clustering method is higher than that of the traditional K-means method. The false alarm rate is reduced by 1.24and 0.09, the minimum standard cost is reduced by 1.681. by providing visual public opinion analysis report, the system can grasp the hot spot of public opinion in time for enterprises or units. Formulate public opinion strategy to provide scientific and systematic technical support.
【作者單位】： 山東省科學院情報研究所;
【基金】：山東省科學院青年基金項目(2013QN036) 山東省科技發(fā)展計劃(2013GGX10127,2014GGX101013)
【分類號】：TP391.1
【正文快照】： 1概述控信息源,并結合傳統(tǒng)的數(shù)據(jù)挖掘算法對獲取的數(shù)據(jù)隨著信息技術以及互聯(lián)網的快速發(fā)展,其產生的進行文本統(tǒng)計與分析�；诹髁跨R像方法雖然可以比海量、異構、動態(tài)的新聞數(shù)據(jù)使得人們很難快速、高效較全面地收集各種網絡信息,但也存在成本高、可擴展地找到用戶感興趣的新聞

【相似文獻】

相關期刊論文 前10條

1 王克群;;網絡輿情的研判與應對[J];長白學刊;2010年01期

2 曹效陽;曹樹金;陳桂鴻;;網絡輿情的結構與網絡特征分析[J];情報科學;2010年02期

3 戴媛;郝曉偉;郭巖;余智華;;基于多級模糊綜合評判的網絡輿情安全評估模型研究[J];信息網絡安全;2010年05期

4 曹勁松;;網絡輿情的發(fā)展規(guī)律[J];新聞與寫作;2010年05期

5 李鵬;;網絡輿情監(jiān)管難題探析[J];信息網絡安全;2010年06期

6 姜勝洪;;網絡輿情形成與發(fā)展規(guī)律研究[J];蘭州學刊;2010年05期

7 顧明;;論涉檢網絡輿情危機的應對[J];法制與社會;2010年18期

8 曹勁松;;政府網絡輿情的研判機制研究[J];領導科學;2010年15期

9 李昌祖;;網絡輿情研判的類型分析及其制度建設的途徑思考[J];上海黨史與黨建;2010年06期

10 郝英杰;馬海紅;彭軍林;;高校網絡輿情形成規(guī)律分析[J];北京教育(德育);2010年06期

相關會議論文 前10條

1 任銘;陳俊鑫;;我國網絡輿情及管理策略研究[A];2011年全國通信安全學術會議論文集[C];2011年

2 潘崇霞;;網絡輿情演化的階段分析[A];信息化、工業(yè)化融合與服務創(chuàng)新——第十三屆計算機模擬與信息技術學術會議論文集[C];2011年

3 潘慶芳;周萍;;涉路網絡輿情的現(xiàn)狀及應對建議[A];中國公路學會高速公路運營管理分會2011年度年會暨第十八次全國高速公路運營管理工作研討會論文集[C];2011年

4 李大鵬;;加強新形勢下檢察機關網絡輿情體系建設[A];第27次全國計算機安全學術交流會論文集[C];2012年

5 曹俊喜;劉云;徐希源;;電力行業(yè)網絡輿情監(jiān)測分析技術研究與系統(tǒng)設計[A];2012年電力通信管理暨智能電網通信技術論壇論文集[C];2013年

6 冉治平;;提高網絡輿情應對能力的幾點思考[A];浙江煙草（2012年第3期總第122期）[C];2012年

7 疏學明;鄭魁;張輝;袁宏永;;突發(fā)事件中網絡輿情信息管理方式探討[A];中國突發(fā)事件防范與快速處置優(yōu)秀成果選編[C];2009年

8 耿騫;劉穎;;網絡輿情的形成、傳播及監(jiān)測方法[A];科學發(fā)展：文化軟實力與民族復興——紀念中華人民共和國成立60周年論文集（下卷）[C];2009年

9 韓偉;張洪濤;;網絡輿情與青少年媒介認知能力構建[A];網絡時代的青少年和青少年工作研究報告——第六屆中國青少年發(fā)展論壇暨中國青少年研究會優(yōu)秀論文集（2010）[C];2010年

10 曾華藝;;網絡輿情危機事件指標體系探討[A];信息化、工業(yè)化融合與服務創(chuàng)新——第十三屆計算機模擬與信息技術學術會議論文集[C];2011年

相關重要報紙文章 前10條

1 記者 劉自賢　通訊員 吳濤;網絡輿情助推漢江中院司法為民[N];湖北日報;2010年

2 通訊員 王宏杰;注重網絡輿情監(jiān)督 網上網下良性互動[N];檢察日報;2010年

3 唐莉　記者 郭樹仁;梅河口檢察院加強涉檢網絡輿情研判與應對工作[N];北方法制報;2010年

4 記者 盧志堅　通訊員 胡連芳;江蘇大豐:征聘百名“網絡輿情監(jiān)督員”[N];檢察日報;2009年

5 見習記者 施燕燕;應對網絡輿情與三項重點工作息息相關[N];檢察日報;2010年

6 記者 吳漢松;提升引導網絡輿情能力[N];石獅日報;2010年

7 四川省內江市工商局 吳明顯　楊曉彬;建議加強網絡輿情收集分析及引導工作(下)[N];中國工商報;2010年

8 吳明顯;內江積極加強網絡輿情監(jiān)測[N];中國工商報;2010年

9 本報記者 白真智;探秘網絡輿情市場[N];人民日報;2010年

10 方山縣政協(xié)主席 林祥;加強網絡輿情實時監(jiān)測 做好網絡輿情應對工作[N];山西政協(xié)報;2011年

相關碩士學位論文 前10條

1 黃廣發(fā);大學生群體網絡輿情管理研究[D];華南理工大學;2010年

2 巨慧慧;針對網絡輿情的情感傾向性研究[D];哈爾濱工業(yè)大學;2010年

3 肖軻;網絡輿情事件的應對模型探討[D];北京林業(yè)大學;2011年

4 朱佳佳;淺析網絡公共領域中的網絡輿情[D];北京郵電大學;2011年

5 劉婷;網絡輿情對大學生的影響研究[D];江西理工大學;2011年

6 任洪濤;政府網絡輿情把關能力研究[D];新疆大學;2011年

7 江瑾;政府在網絡輿情中的有效回應研究[D];電子科技大學;2011年

8 戴笑慧;網絡輿情與政府電子治理研究[D];南昌大學;2010年

9 王文峰;網絡輿情與黨的執(zhí)政能力建設關系研究[D];武漢理工大學;2010年

10 陳強;網絡輿情的引導和監(jiān)管的對策研究[D];福建師范大學;2010年

，

本文編號：1428459