本文選題：輿情監(jiān)測 + 分布式爬蟲　； 參考：《西南科技大學》2017年碩士論文

【摘要】：為滿足高校、醫(yī)院等特殊行業(yè)領域單位的網(wǎng)絡輿情需求,解決網(wǎng)絡輿情工作中針對性不足、成本高、實時性低的問題,本文設計實現(xiàn)一套針對特殊行業(yè)領域的云環(huán)境下的輿情監(jiān)測系統(tǒng)。主要工作包括:通過分析監(jiān)測源的信息排列特征,利用分布式網(wǎng)絡爬蟲技術實現(xiàn)了輿情信息的快速采集系統(tǒng),能夠快速的爬取指定監(jiān)測源的相關頁面,能在5分鐘的延時范圍內采集到特定的網(wǎng)頁信息,提高了數(shù)據(jù)的采集速率。利用基于HTML模版的文本抽取方法,實現(xiàn)頁面文本數(shù)據(jù)的精確快速抽取。利用全文檢索技術構建了全文檢索引擎服務,并在此基礎上實現(xiàn)了10分鐘內發(fā)現(xiàn)輿情,平均準確率達到95%以上,平均召回率到70%以上的輿情發(fā)現(xiàn)效果。根據(jù)用戶的實際需求,設計實現(xiàn)了云環(huán)境下的輿情監(jiān)測系統(tǒng),提供了輿情監(jiān)測與管理功能。本文集成數(shù)據(jù)采集系統(tǒng)、輿情發(fā)現(xiàn)系統(tǒng)、輿情監(jiān)測管理系統(tǒng)三個子系統(tǒng)形成云環(huán)境下的網(wǎng)絡輿情監(jiān)測系統(tǒng),為高校、醫(yī)院等非政府機構提供云環(huán)境下的在線輿情監(jiān)測服務,實時性強。
[Abstract]:In order to meet the demand of network public opinion in universities, hospitals and other special industry units, solve the problems of lack of pertinence, high cost and low real-time performance in the work of network public opinion. In this paper, we design and implement a monitoring system of public opinion in cloud environment. The main work includes: by analyzing the information arrangement characteristics of the monitoring source and using distributed web crawler technology to realize the rapid collection system of public opinion information can quickly crawl the relevant pages of the designated monitoring source. It can collect the specific web page information in 5 minutes delay range, and improve the data acquisition rate. The accurate and fast extraction of page text data is realized by using HTML template based text extraction method. The full-text search engine service is constructed by using full-text retrieval technology, and the public opinion discovery effect is realized within 10 minutes. The average accuracy is more than 95%, and the average recall rate is more than 70%. According to the actual needs of users, the monitoring system of public opinion under cloud environment is designed and implemented, and the function of monitoring and managing public opinion is provided. This paper integrates the three subsystems of data acquisition system, public opinion discovery system and public opinion monitoring management system to form a network public opinion monitoring system in cloud environment, which provides online public opinion monitoring services for universities, hospitals and other non-governmental organizations in the cloud environment. Real-time ability.
【學位授予單位】：西南科技大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP391.1

【相似文獻】

相關期刊論文 前10條

1 李少兵;《二十五史多媒體全文檢索閱讀系統(tǒng)》評價[J];中國史研究動態(tài);2000年11期

2 肖詩斌;互聯(lián)網(wǎng)需要全文檢索[J];中國計算機用戶;2000年36期

3 傅軍;;報紙數(shù)字化與全文檢索方法研究[J];鐵路計算機應用;2012年06期

4 張云;鄧聲菊;沈德鈺;安蕾;;案說高效全文檢索的途徑與技巧[J];中國發(fā)明與專利;2012年09期

5 滌非;美國化學學會18種雜志實現(xiàn)全文檢索[J];計算機與圖書館;1983年04期

6 楊則正;借助于Zylmage Web Server的全文檢索[J];管理科學文摘;1998年08期

7 ;文海撈針——全文檢索在北京日報社的應用[J];每周電腦報;1999年22期

8 劉凌云,章銀良,郭秀麗;多媒體全文檢索光盤的系統(tǒng)組成與檢索原理[J];鄭州輕工業(yè)學院學報;2000年01期

9 ;全文檢索入佳境[J];微電腦世界;2000年37期

10 曉月;;全文檢索原理及實現(xiàn)[J];程序員;2006年12期

相關會議論文 前8條

1 曾福萍;周定康;;基于索引服務器實現(xiàn)全文檢索[A];第十八屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2001年

2 史建斌;;軍控核查數(shù)據(jù)庫光盤全文檢索功能的原理及實現(xiàn)[A];中國工程物理研究院科技年報（2005）[C];2005年

3 范志新;王寧;陶曉鵬;施伯樂;;開放式圖書館漢語檢索結構[A];數(shù)據(jù)庫研究進展97——第十四屆全國數(shù)據(jù)庫學術會議論文集（下）[C];1997年

4 朱虹;吳林;;DM4全文檢索機制的設計[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

5 朱虹;黃歡;;DM4全文檢索機制的改進[A];第二十三屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2006年

6 張誼巖;張霞;;OpenBASE中BLOB型文本數(shù)據(jù)全文檢索的設計與實現(xiàn)[A];第十六屆全國數(shù)據(jù)庫學術會議論文集[C];1999年

7 劉亞軍;劉延軍;胡陽;;報刊圖書數(shù)字資源公共服務平臺項目規(guī)劃設計[A];中國新聞技術工作者聯(lián)合會2013年學術年會、五屆五次理事會暨第六屆“王選新聞科學技術獎”和優(yōu)秀論文獎頒獎大會論文集（報業(yè)篇）[C];2013年

8 王富強;馬德濤;張立朝;王建明;;地方志數(shù)據(jù)庫全文信息檢索研究[A];中國地理信息系統(tǒng)協(xié)會第四次會員代表大會暨第十一屆年會論文集[C];2007年

相關重要報紙文章 前10條

1 馮貝;“工”于全文檢索的數(shù)據(jù)庫系統(tǒng)[N];科技日報;2001年

2 寧夏數(shù)據(jù)通信局 劉君;SQL Server 2000中全文檢索的使用[N];計算機世界;2002年

3 郭瑩;全文檢索市場空間大[N];中國計算機報;2006年

4 陳玉榮;更多、更快、更新的檢索系統(tǒng)[N];中國企業(yè)報;2000年

5 子華;從全文檢索到信息整合[N];計算機世界;2003年

6 寧夏 劉君;SQL Server中全文檢索的使用[N];電腦報;2001年

7 《金周刊》記者 康e，

本文編號：1992426