隨著網(wǎng)絡(luò)科技的快速發(fā)展,網(wǎng)絡(luò)媒體在人們的生活中扮演著越來(lái)越重要的角色,互聯(lián)網(wǎng)已經(jīng)成為龐大的公共信息分享平臺(tái)。網(wǎng)民通過(guò)貼吧,微博,論壇等發(fā)表自己的意見和看法,其中不乏存在一些負(fù)面的、消極的評(píng)論,這些消極的評(píng)論可能會(huì)給高校乃至整個(gè)社會(huì)帶來(lái)極大的負(fù)面影響和不穩(wěn)定性。利用高校網(wǎng)絡(luò)輿情實(shí)時(shí)分析系統(tǒng)能夠?qū)Ω咝５南嚓P(guān)輿情進(jìn)行有效的分析與預(yù)警,以便高校制定相關(guān)的措施引導(dǎo)輿論的正確走向,及時(shí)的阻止錯(cuò)誤言論的傳播,對(duì)維護(hù)高校乃至整個(gè)社會(huì)的穩(wěn)定具有重要的現(xiàn)實(shí)意義。此前已有不少學(xué)者對(duì)高校網(wǎng)絡(luò)輿情監(jiān)管進(jìn)行了研究與探索,但相關(guān)研究多側(cè)重于理論和機(jī)制分析,缺乏實(shí)際的分析手段和實(shí)證研究,難以有效支撐高校在各種突發(fā)輿情下的實(shí)際要求。本文利用大數(shù)據(jù)手段整合了數(shù)據(jù)采集、處理、分析以及可視化等技術(shù),提出了基于Spark的高校網(wǎng)絡(luò)輿情實(shí)時(shí)分析方法并進(jìn)行技術(shù)實(shí)現(xiàn),對(duì)中國(guó)三所高校在突發(fā)疫情防控中的網(wǎng)絡(luò)輿情進(jìn)行實(shí)時(shí)監(jiān)測(cè)分析與預(yù)警,主要研究?jī)?nèi)容如下:(1)針對(duì)實(shí)際文本分類工程應(yīng)用中傳統(tǒng)計(jì)算模式的缺陷,基于Spark MLlib對(duì)增量貝葉斯算法進(jìn)行改進(jìn),通過(guò)樣本增量的方法對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行擬合與篩選,以此來(lái)擴(kuò)充訓(xùn)練樣本的容量,而后使用新訓(xùn)...

【文章頁(yè)數(shù)】：68 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖1.1論文組織架構(gòu)圖

基于Spark的高校網(wǎng)絡(luò)輿情實(shí)時(shí)分析與系統(tǒng)實(shí)現(xiàn)5語(yǔ)言處理，可視化分析，針高校網(wǎng)絡(luò)輿情進(jìn)行實(shí)時(shí)分析和可視化，并進(jìn)行實(shí)時(shí)預(yù)警。從實(shí)際開源項(xiàng)目中遇到的問(wèn)題，從機(jī)器學(xué)習(xí)算法改進(jìn)入手，提出基于SparkMLlib的分布式機(jī)器學(xué)習(xí)增量貝葉斯算法，應(yīng)用于本輿情分析系統(tǒng)。1.4論文組織架構(gòu)圖1.....

圖2.1通用網(wǎng)絡(luò)爬蟲工作原理[37]

基于Spark的高校網(wǎng)絡(luò)輿情實(shí)時(shí)分析與系統(tǒng)實(shí)現(xiàn)8通用網(wǎng)絡(luò)爬蟲的工作原理如圖2.1所示。圖2.1通用網(wǎng)絡(luò)爬蟲工作原理[37]（2）聚集網(wǎng)絡(luò)爬蟲[38]，是基于主題關(guān)鍵字的爬蟲，和通用網(wǎng)絡(luò)爬蟲不同的是，聚集網(wǎng)絡(luò)爬蟲只爬取與主題關(guān)鍵字想關(guān)的數(shù)據(jù)，并且會(huì)對(duì)采集到的URL數(shù)據(jù)進(jìn)行過(guò)濾只保留....

圖2.2聚集網(wǎng)絡(luò)爬蟲框架[37]

基于Spark的高校網(wǎng)絡(luò)輿情實(shí)時(shí)分析與系統(tǒng)實(shí)現(xiàn)8通用網(wǎng)絡(luò)爬蟲的工作原理如圖2.1所示。圖2.1通用網(wǎng)絡(luò)爬蟲工作原理[37]（2）聚集網(wǎng)絡(luò)爬蟲[38]，是基于主題關(guān)鍵字的爬蟲，和通用網(wǎng)絡(luò)爬蟲不同的是，聚集網(wǎng)絡(luò)爬蟲只爬取與主題關(guān)鍵字想關(guān)的數(shù)據(jù)，并且會(huì)對(duì)采集到的URL數(shù)據(jù)進(jìn)行過(guò)濾只保留....

圖2.3文檔TF-IDF計(jì)算過(guò)程

基于Spark的高校網(wǎng)絡(luò)輿情實(shí)時(shí)分析與系統(tǒng)實(shí)現(xiàn)11圖2.3文檔TF-IDF計(jì)算過(guò)程TF-IDF是輿情分類中非常常用的文本預(yù)處理基本步驟，使用了IF-IDF并標(biāo)準(zhǔn)化以后，我們就可以使用各個(gè)文本的詞特征向量作為文本的特征，進(jìn)行輿情分類或者聚類分析。2.3.2文本預(yù)處理文本預(yù)處理過(guò)程包....

本文編號(hào)：3983474