【摘要】：互聯(lián)網(wǎng)的快速普及,使網(wǎng)絡(luò)成為社會輿論發(fā)布和傳播的主要渠道之一。同時,由于各類網(wǎng)絡(luò)服務(wù)的使用和發(fā)展,輿情信息的載體和內(nèi)容形式也呈現(xiàn)出多樣化的特點,不僅包括傳統(tǒng)的電子郵件、門戶網(wǎng)站、博客、貼吧、論壇還有新興產(chǎn)生的微博、微信等,輿情的內(nèi)容也不僅僅承載于新聞、評論、意見轉(zhuǎn)發(fā)等,還包括各種多媒體輿情,表現(xiàn)出極大的不可控性。作為政府機關(guān)和相關(guān)研究機構(gòu)了解民情民意的直接平臺和政府必須堅守的輿論陣地,如果網(wǎng)絡(luò)輿論被圖謀不軌者引導(dǎo)和控制,則很有可能會危及社會的安全和穩(wěn)定。然而在大數(shù)據(jù)時代,互聯(lián)網(wǎng)產(chǎn)生的各種數(shù)據(jù)每天以PB規(guī)模增加,對輿情信息的挖掘和分析提出了新的挑戰(zhàn),因此,如何高效的從大數(shù)據(jù)時代的海量數(shù)據(jù)中挖掘和辨別出輿情信息,有很大的現(xiàn)實意義。本文針對這一問題,通過分析輿情分析系統(tǒng)的整體流程,結(jié)合大數(shù)據(jù)技術(shù),構(gòu)建了大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)輿情分析系統(tǒng)模型,并對系統(tǒng)組成模塊的工作流程和實現(xiàn)方式做了詳細設(shè)計。主要工作及研究成果如下:1.研究了網(wǎng)絡(luò)輿情分析的關(guān)鍵技術(shù),深入分析了信息采集、信息預(yù)處理、文本聚類的各個步驟以及其涉及的關(guān)鍵技術(shù)和解決方法,分析了Hadoop的兩大核心組成部分,HDFS分布式文件系統(tǒng)和MapReduce分布式并行計算模型的架構(gòu)和工作流程。2.完成了大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)輿情分析系統(tǒng)模型的整體設(shè)計,設(shè)計模型圖,詳細分析輿情信息采集、輿情信息預(yù)處理、輿情信息分析、輿情報告四個組成模塊在大數(shù)據(jù)環(huán)境下的具體功能和實現(xiàn)流程。3.分析了信息采集、信息預(yù)處理、文本聚類三個階段的可并行性,將上述過程進行優(yōu)化。使用HDFS將文本分塊存儲在集群的不同節(jié)點上,利用MapReduce分布式并行計算模型和TFIDF權(quán)重計算方法和K-means聚類方法將處理過程分成map和reduce兩個步驟進行分布式并行計算,提高了處理大批量數(shù)據(jù)的效率。4.利用普通PC機構(gòu)造Hadoop集群,搭建實驗所需的軟硬件環(huán)境,對各項實驗參數(shù)進行設(shè)置,對設(shè)計的基于MapReduce的分布式并行信息采集、文本預(yù)處理、特征選擇、文本向量化、文本聚類過程進行實驗驗證,通過與常用處理方式對比,證明優(yōu)化后系統(tǒng)的可擴展性和高效性。
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：G206

【相似文獻】

相關(guān)期刊論文 前10條

1 梁麗雯;;網(wǎng)絡(luò)輿情分析師或成就業(yè)香餑餑[J];金融科技時代;2014年01期

2 ;做好輿情分析是有效引導(dǎo)的前提[J];中國記者;2001年03期

3 楊玫;;輿情分析:圖書館為領(lǐng)導(dǎo)決策服務(wù)的新探索[J];圖書館論壇;2006年05期

4 宋占茹;;圖書館開展網(wǎng)絡(luò)輿情分析工作初探[J];情報探索;2010年08期

5 何順蘭;王興起;胡宏宇;姜明;;多媒體輿情分析系統(tǒng)設(shè)計與研究[J];杭州電子科技大學(xué)學(xué)報;2010年05期

6 顏建華;劉巖;傅黎犁;劉亞民;;基于網(wǎng)絡(luò)的輿情分析系統(tǒng)及其應(yīng)用研究[J];醫(yī)學(xué)信息學(xué)雜志;2011年08期

7 侯文昌;;傳媒新角色—輿情分析師的專業(yè)素養(yǎng) “朝陽職業(yè)”四年成長史[J];中國記者;2011年09期

8 劉鵬飛;;“尋路”輿情分析師:一些心得,幾點忠告[J];中國記者;2011年09期

9 劉巖;傅黎犁;顏建華;;醫(yī)學(xué)情報研究機構(gòu)開展輿情分析服務(wù)的實踐[J];中華醫(yī)學(xué)圖書情報雜志;2012年01期

10 曹勁松;;政府形象傳播的輿情分析[J];江海學(xué)刊;2012年03期

相關(guān)會議論文 前4條

1 宋占茹;;圖書館網(wǎng)絡(luò)輿情分析工作新探[A];華北地區(qū)高校圖協(xié)第二十四屆學(xué)術(shù)年會論文（文章）匯編[C];2010年

2 何順蘭;王興起;胡宏宇;姜明;;多媒體輿情分析系統(tǒng)設(shè)計與研究[A];浙江省電子學(xué)會2010學(xué)術(shù)年會論文集[C];2010年

3 孫江;;天津薊縣萊德商廈火災(zāi)信息發(fā)布、媒體報道及網(wǎng)絡(luò)輿情分析[A];2013中國消防協(xié)會科學(xué)技術(shù)年會論文集[C];2013年

4 梁飛;呂洪波;姚錦峰;;輿情分析中語料庫降維[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

相關(guān)重要報紙文章 前10條

1 本報記者 降蘊彰;輿情分析師來了[N];經(jīng)濟觀察報;2013年

2 福建三明學(xué)院 鄭祥專;教育輿情分析須堅持“四性”[N];中國教育報;2009年

3 記者 王慶華;克旗全面啟動法律援助輿情分析工作[N];赤峰日報;2010年

4 本報記者 傅江平;輿情分析為食品安全監(jiān)管提供支撐[N];中國質(zhì)量報;2012年

5 記者 馬獻忠;“段子文化的輿情分析”課題結(jié)項[N];中國社會科學(xué)報;2011年

6 本報記者 孫艷敏;網(wǎng)絡(luò)輿情分析師：不只是替領(lǐng)導(dǎo)看看網(wǎng)[N];檢察日報;2013年

7 記者 魏志強　通訊員 杜勝輝;青工的心情 團委的事情[N];中國石油報;2010年

8 楊麗娟　張音;走近網(wǎng)絡(luò)輿情分析師[N];人民日報;2011年

9 于雅倩　本報記者 王寧;身邊煩惱有地兒說[N];丹東日報;2009年

10 趙強;回應(yīng)輿論關(guān)切 怎能語焉不詳[N];人民日報;2014年

相關(guān)博士學(xué)位論文 前1條

1 馮時;面向網(wǎng)絡(luò)輿情分析的觀點挖掘關(guān)鍵技術(shù)研究[D];東北大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 姜朋;山東大學(xué)輿情分析系統(tǒng)的設(shè)計與實現(xiàn)[D];山東大學(xué);2015年

2 朱慧;基于輿情分析研判的突發(fā)事件預(yù)警平臺的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2011年

3 張鵬星;基于文本傾向性分析的網(wǎng)絡(luò)輿情分析及其趨勢預(yù)測[D];云南財經(jīng)大學(xué);2014年

4 許志凱;網(wǎng)絡(luò)輿情分析關(guān)鍵技術(shù)的研究與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2011年

5 張劭捷;基于微博社交網(wǎng)絡(luò)的輿情分析模型及實現(xiàn)[D];華南理工大學(xué);2011年

6 王濤;微博輿情分析系統(tǒng)信息處理模塊的設(shè)計與實現(xiàn)[D];東華大學(xué);2014年

7 馬梅;基于大數(shù)據(jù)的網(wǎng)絡(luò)輿情分析系統(tǒng)模型研究[D];西安電子科技大學(xué);2014年

8 王然;輿情分析系統(tǒng)的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2013年

9 謝宜瑾;網(wǎng)絡(luò)輿情分析與管理技術(shù)的研究與實現(xiàn)[D];廣東工業(yè)大學(xué);2012年

10 許磊;基于事件關(guān)聯(lián)的熱點輿情分析技術(shù)研究[D];北京郵電大學(xué);2014年

，

本文編號：2618755