本文關(guān)鍵詞：基于Hadoop的網(wǎng)絡(luò)輿情監(jiān)控平臺設(shè)計(jì)與實(shí)現(xiàn)　出處：《計(jì)算機(jī)技術(shù)與發(fā)展》2016年02期 　論文類型：期刊論文

  更多相關(guān)文章： Hadoop MapReduce 輿情監(jiān)控 文本聚類 熱點(diǎn)發(fā)現(xiàn) 話題跟蹤

【摘要】：文中設(shè)計(jì)并實(shí)現(xiàn)了一種基于Hadoop的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)。該系統(tǒng)以HDFS作為底層存儲系統(tǒng),在其上構(gòu)建基于HBase的分布式數(shù)據(jù)庫對輿情信息進(jìn)行統(tǒng)一存儲管理。首先利用基于MapReduce的分布式網(wǎng)絡(luò)爬蟲進(jìn)行數(shù)據(jù)抓取,以解決單機(jī)爬蟲效率低、可擴(kuò)展性差等問題;其次采用Canopy結(jié)合K-means的二次聚類算法,克服單一K-means聚類算法的不足,以提高文本聚類的效率和準(zhǔn)確度;最后實(shí)現(xiàn)基于查詢的話題追蹤策略,對熱點(diǎn)話題進(jìn)行有效跟蹤分析。仿真實(shí)驗(yàn)表明:Canopy-Kmeans聚類方法比傳統(tǒng)K-means方法漏報(bào)率、誤報(bào)率分別降低1.24%、0.09%,最小標(biāo)準(zhǔn)代價(jià)降低1.681%。系統(tǒng)通過提供可視化輿情分析報(bào)告,為企業(yè)或單位及時(shí)掌握輿情熱點(diǎn)、制定輿情策略提供科學(xué)、系統(tǒng)的技術(shù)支持。
[Abstract]:This paper designs and implements a network public opinion monitoring system based on Hadoop, which takes HDFS as the underlying storage system. The distributed database based on HBase is constructed to store and manage the public opinion information. Firstly, the distributed web crawler based on MapReduce is used for data capture. In order to solve the problems of low efficiency and poor expansibility of single crawler. Secondly, Canopy combined with K-means clustering algorithm is used to overcome the shortcomings of single K-means clustering algorithm, in order to improve the efficiency and accuracy of text clustering. Finally, the topic tracking strategy based on query is implemented, and the effective tracking analysis of hot topics is carried out. The simulation results show that the miss rate of the K-means clustering method is higher than that of the traditional K-means method. The false alarm rate is reduced by 1.24and 0.09, the minimum standard cost is reduced by 1.681. by providing visual public opinion analysis report, the system can grasp the hot spot of public opinion in time for enterprises or units. Formulate public opinion strategy to provide scientific and systematic technical support.
【作者單位】： 山東省科學(xué)院情報(bào)研究所;
【基金】：山東省科學(xué)院青年基金項(xiàng)目(2013QN036) 山東省科技發(fā)展計(jì)劃(2013GGX10127,2014GGX101013)
【分類號】：TP391.1
【正文快照】： 1概述控信息源,并結(jié)合傳統(tǒng)的數(shù)據(jù)挖掘算法對獲取的數(shù)據(jù)隨著信息技術(shù)以及互聯(lián)網(wǎng)的快速發(fā)展,其產(chǎn)生的進(jìn)行文本統(tǒng)計(jì)與分析�；诹髁跨R像方法雖然可以比海量、異構(gòu)、動態(tài)的新聞數(shù)據(jù)使得人們很難快速、高效較全面地收集各種網(wǎng)絡(luò)信息,但也存在成本高、可擴(kuò)展地找到用戶感興趣的新聞

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王克群;;網(wǎng)絡(luò)輿情的研判與應(yīng)對[J];長白學(xué)刊;2010年01期

2 曹效陽;曹樹金;陳桂鴻;;網(wǎng)絡(luò)輿情的結(jié)構(gòu)與網(wǎng)絡(luò)特征分析[J];情報(bào)科學(xué);2010年02期

3 戴媛;郝曉偉;郭巖;余智華;;基于多級模糊綜合評判的網(wǎng)絡(luò)輿情安全評估模型研究[J];信息網(wǎng)絡(luò)安全;2010年05期

4 曹勁松;;網(wǎng)絡(luò)輿情的發(fā)展規(guī)律[J];新聞與寫作;2010年05期

5 李鵬;;網(wǎng)絡(luò)輿情監(jiān)管難題探析[J];信息網(wǎng)絡(luò)安全;2010年06期

6 姜?jiǎng)俸?;網(wǎng)絡(luò)輿情形成與發(fā)展規(guī)律研究[J];蘭州學(xué)刊;2010年05期

7 顧明;;論涉檢網(wǎng)絡(luò)輿情危機(jī)的應(yīng)對[J];法制與社會;2010年18期

8 曹勁松;;政府網(wǎng)絡(luò)輿情的研判機(jī)制研究[J];領(lǐng)導(dǎo)科學(xué);2010年15期

9 李昌祖;;網(wǎng)絡(luò)輿情研判的類型分析及其制度建設(shè)的途徑思考[J];上海黨史與黨建;2010年06期

10 郝英杰;馬海紅;彭軍林;;高校網(wǎng)絡(luò)輿情形成規(guī)律分析[J];北京教育(德育);2010年06期

相關(guān)會議論文 前10條

1 任銘;陳俊鑫;;我國網(wǎng)絡(luò)輿情及管理策略研究[A];2011年全國通信安全學(xué)術(shù)會議論文集[C];2011年

2 潘崇霞;;網(wǎng)絡(luò)輿情演化的階段分析[A];信息化、工業(yè)化融合與服務(wù)創(chuàng)新——第十三屆計(jì)算機(jī)模擬與信息技術(shù)學(xué)術(shù)會議論文集[C];2011年

3 潘慶芳;周萍;;涉路網(wǎng)絡(luò)輿情的現(xiàn)狀及應(yīng)對建議[A];中國公路學(xué)會高速公路運(yùn)營管理分會2011年度年會暨第十八次全國高速公路運(yùn)營管理工作研討會論文集[C];2011年

4 李大鵬;;加強(qiáng)新形勢下檢察機(jī)關(guān)網(wǎng)絡(luò)輿情體系建設(shè)[A];第27次全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集[C];2012年

5 曹俊喜;劉云;徐希源;;電力行業(yè)網(wǎng)絡(luò)輿情監(jiān)測分析技術(shù)研究與系統(tǒng)設(shè)計(jì)[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

6 冉治平;;提高網(wǎng)絡(luò)輿情應(yīng)對能力的幾點(diǎn)思考[A];浙江煙草（2012年第3期總第122期）[C];2012年

7 疏學(xué)明;鄭魁;張輝;袁宏永;;突發(fā)事件中網(wǎng)絡(luò)輿情信息管理方式探討[A];中國突發(fā)事件防范與快速處置優(yōu)秀成果選編[C];2009年

8 耿騫;劉穎;;網(wǎng)絡(luò)輿情的形成、傳播及監(jiān)測方法[A];科學(xué)發(fā)展：文化軟實(shí)力與民族復(fù)興——紀(jì)念中華人民共和國成立60周年論文集（下卷）[C];2009年

9 韓偉;張洪濤;;網(wǎng)絡(luò)輿情與青少年媒介認(rèn)知能力構(gòu)建[A];網(wǎng)絡(luò)時(shí)代的青少年和青少年工作研究報(bào)告——第六屆中國青少年發(fā)展論壇暨中國青少年研究會優(yōu)秀論文集（2010）[C];2010年

10 曾華藝;;網(wǎng)絡(luò)輿情危機(jī)事件指標(biāo)體系探討[A];信息化、工業(yè)化融合與服務(wù)創(chuàng)新——第十三屆計(jì)算機(jī)模擬與信息技術(shù)學(xué)術(shù)會議論文集[C];2011年

相關(guān)重要報(bào)紙文章 前10條

1 記者 劉自賢　通訊員 吳濤;網(wǎng)絡(luò)輿情助推漢江中院司法為民[N];湖北日報(bào);2010年

2 通訊員 王宏杰;注重網(wǎng)絡(luò)輿情監(jiān)督 網(wǎng)上網(wǎng)下良性互動[N];檢察日報(bào);2010年

3 唐莉　記者 郭樹仁;梅河口檢察院加強(qiáng)涉檢網(wǎng)絡(luò)輿情研判與應(yīng)對工作[N];北方法制報(bào);2010年

4 記者 盧志堅(jiān)　通訊員 胡連芳;江蘇大豐:征聘百名“網(wǎng)絡(luò)輿情監(jiān)督員”[N];檢察日報(bào);2009年

5 見習(xí)記者 施燕燕;應(yīng)對網(wǎng)絡(luò)輿情與三項(xiàng)重點(diǎn)工作息息相關(guān)[N];檢察日報(bào);2010年

6 記者 吳漢松;提升引導(dǎo)網(wǎng)絡(luò)輿情能力[N];石獅日報(bào);2010年

7 四川省內(nèi)江市工商局 吳明顯　楊曉彬;建議加強(qiáng)網(wǎng)絡(luò)輿情收集分析及引導(dǎo)工作(下)[N];中國工商報(bào);2010年

8 吳明顯;內(nèi)江積極加強(qiáng)網(wǎng)絡(luò)輿情監(jiān)測[N];中國工商報(bào);2010年

9 本報(bào)記者 白真智;探秘網(wǎng)絡(luò)輿情市場[N];人民日報(bào);2010年

10 方山縣政協(xié)主席 林祥;加強(qiáng)網(wǎng)絡(luò)輿情實(shí)時(shí)監(jiān)測 做好網(wǎng)絡(luò)輿情應(yīng)對工作[N];山西政協(xié)報(bào);2011年

相關(guān)碩士學(xué)位論文 前10條

1 黃廣發(fā);大學(xué)生群體網(wǎng)絡(luò)輿情管理研究[D];華南理工大學(xué);2010年

2 巨慧慧;針對網(wǎng)絡(luò)輿情的情感傾向性研究[D];哈爾濱工業(yè)大學(xué);2010年

3 肖軻;網(wǎng)絡(luò)輿情事件的應(yīng)對模型探討[D];北京林業(yè)大學(xué);2011年

4 朱佳佳;淺析網(wǎng)絡(luò)公共領(lǐng)域中的網(wǎng)絡(luò)輿情[D];北京郵電大學(xué);2011年

5 劉婷;網(wǎng)絡(luò)輿情對大學(xué)生的影響研究[D];江西理工大學(xué);2011年

6 任洪濤;政府網(wǎng)絡(luò)輿情把關(guān)能力研究[D];新疆大學(xué);2011年

7 江瑾;政府在網(wǎng)絡(luò)輿情中的有效回應(yīng)研究[D];電子科技大學(xué);2011年

8 戴笑慧;網(wǎng)絡(luò)輿情與政府電子治理研究[D];南昌大學(xué);2010年

9 王文峰;網(wǎng)絡(luò)輿情與黨的執(zhí)政能力建設(shè)關(guān)系研究[D];武漢理工大學(xué);2010年

10 陳強(qiáng);網(wǎng)絡(luò)輿情的引導(dǎo)和監(jiān)管的對策研究[D];福建師范大學(xué);2010年

，

本文編號：1428459