隨著科技的快速發(fā)展,智能手機和網(wǎng)絡(luò)全面普及,人們的交流不再受制于距離和時間,海量信息以更快速、更廣泛的狀態(tài)傳播于互聯(lián)網(wǎng)的各類社交平臺,網(wǎng)絡(luò)輿情對現(xiàn)實社會的影響越來越大。傳統(tǒng)輿情監(jiān)測系統(tǒng)能采集互聯(lián)網(wǎng)上企業(yè)輿情信息,并對企業(yè)輿情進行簡單展示,但在海量信息采集和分析上有待提高,據(jù)此,本文開發(fā)了基于Hadoop的互聯(lián)網(wǎng)輿情監(jiān)測處理系統(tǒng)。該系統(tǒng)可以快速采集互聯(lián)網(wǎng)上企業(yè)輿情信息,并對采集到的輿情信息進行分析,展示企業(yè)輿情最新動態(tài)和發(fā)展方向,為企業(yè)負面輿情擴散前和擴散后的處理提供數(shù)據(jù)支撐,減少企業(yè)損失。本文主要研究工作如下。在分析國內(nèi)外現(xiàn)有互聯(lián)網(wǎng)監(jiān)測軟件應(yīng)用情況和相關(guān)技術(shù)的基礎(chǔ)上,根據(jù)企業(yè)輿情監(jiān)測的實際需求,設(shè)計了互聯(lián)網(wǎng)輿情監(jiān)測處理平臺總體框架,該框架共分為信息采集、信息分析、信息展示和系統(tǒng)管理4個功能模塊;圍繞輿情監(jiān)測處理平臺的4個功能模塊對系統(tǒng)展開詳細的設(shè)計,在設(shè)計過程中用到了B/S構(gòu)架、Hadoop、分布式Nutch爬蟲、K-means聚類算法等技術(shù);最后搭建系統(tǒng)開發(fā)環(huán)境,完成輿情監(jiān)測處理平臺的部署,同時對系統(tǒng)采集功能、檢索功能、情感分析功能等進行逐一測試。在對輿情監(jiān)測處理平臺的設(shè)計過程中,信... 

【文章來源】：河南科技大學(xué)河南省

【文章頁數(shù)】：76 頁

【學(xué)位級別】：碩士

【部分圖文】：

中國網(wǎng)民規(guī)模和互聯(lián)網(wǎng)普及率

方正智思服務(wù)平臺可以準(zhǔn)確搜集網(wǎng)絡(luò)信息并進行分析，讓用戶快速掌動態(tài)，還可以對用戶重點關(guān)注事件、線索進行持續(xù)跟蹤和多維度分析，處理輿情過程中發(fā)揮關(guān)鍵作用[5]。邦富輿情監(jiān)測系統(tǒng)可以支持對多個網(wǎng)采集與分析，更新頻率更是可以做到每 5 分鐘一次，該系統(tǒng)采用了多線指令執(zhí)行架構(gòu)、增量實時索引、智能分詞、相關(guān)性分析和模糊匹配等多技術(shù)，邦富輿情監(jiān)測系統(tǒng)主要側(cè)重在電子政務(wù)領(lǐng)域，邦富輿情監(jiān)測和輿整體方案如下圖 1-2 所示。

Client 組成，其系統(tǒng)構(gòu)架如下圖 2-2 所示。Namenode 承擔(dān) Master 的任務(wù)，擔(dān)任系統(tǒng)中的管理員角色，管理文件系統(tǒng)命名空間和客戶端請求受理；Datenode 承擔(dān) Worker 的任務(wù)，主要負責(zé)將文件塊存儲在本地文件系統(tǒng)中，并且定時的向Namenode 發(fā)送其存儲文件塊的信息；Client 為客戶提供訪問入口。


本文編號：3057971