隨著科技高速發(fā)展,網(wǎng)絡(luò)逐漸變成了國內(nèi)最大的信息交流平臺(tái),其中蘊(yùn)含了大量的輿論信息,而對于輿論信息進(jìn)行監(jiān)控,保障我國良好的網(wǎng)絡(luò)環(huán)境也逐漸成為網(wǎng)絡(luò)管理工作的重要內(nèi)容之一。在此背景下,本論文引入數(shù)據(jù)挖掘的技術(shù)實(shí)現(xiàn)了網(wǎng)絡(luò)輿情分析,其中包括文本內(nèi)容的主題分析、熱點(diǎn)話題的聚類以及話題熱度的預(yù)警三個(gè)重要功能。通過本文的研究實(shí)現(xiàn)了一套適用于我國網(wǎng)絡(luò)監(jiān)管的網(wǎng)絡(luò)輿情監(jiān)視系統(tǒng)。主要內(nèi)容包括:首先,結(jié)合網(wǎng)絡(luò)管理工作對于網(wǎng)絡(luò)輿情監(jiān)視的業(yè)務(wù)流程開展了需求分析,將網(wǎng)絡(luò)輿情監(jiān)視管理歸納為信息搜集、輿情分析、輿情編報(bào)以及輿情監(jiān)視告警四個(gè)方面的功能,并根據(jù)系統(tǒng)應(yīng)用中的角色分類,分別繪制了對應(yīng)的業(yè)務(wù)流程圖以及功能用例圖。其次,本文根據(jù)功能需求分析進(jìn)行了系統(tǒng)的設(shè)計(jì)。其中信息搜集功能模塊引入網(wǎng)絡(luò)爬蟲技術(shù)對信息進(jìn)行搜集;輿情分析功能模塊中引入了K-means聚類分析算法,將搜集到的文本信息轉(zhuǎn)化為關(guān)鍵詞的賦權(quán)特征向量,通過聚類分析的方法獲取對應(yīng)的聚類中心,即熱點(diǎn)話題的向量表示,通過計(jì)算和統(tǒng)計(jì)話題的熱度以及擴(kuò)散速度實(shí)現(xiàn)輿情的熱度和擴(kuò)散速度預(yù)警。此外對系統(tǒng)的后臺(tái)數(shù)據(jù)庫進(jìn)行了概念設(shè)計(jì)和邏輯結(jié)構(gòu)設(shè)計(jì),繪制了對應(yīng)的E-R圖以及具體的數(shù)據(jù)庫表... 

【文章來源】：河北科技大學(xué)河北省

【文章頁數(shù)】：68 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁流程

而隨著訓(xùn)練樣本的不斷加入和豐富則可以逐步分析出所有文章、話題的主題類情況，從而將所有的文檔或文章按照主題進(jìn)行聚類。下面以文檔類型分類為例展示對文檔的預(yù)處理方法步驟如下：首先，將文檔中主體不明確的情況作為無效情況進(jìn)行剔除，篩選留下的有效檔信息。之后明確分類的特征向量，將詞匯、短語等的出現(xiàn)頻率作為特征向量進(jìn)統(tǒng)計(jì)，是比較常見且有效的方式之一，選擇出現(xiàn)頻率高的詞匯、短語等設(shè)為該類檔的特征向量，向量空間的維度就可以確定下來，如三位特征向量[C，Java，Pytho其次，使用 TF-IDF 公式對文檔中出現(xiàn)的不同詞匯、短語出現(xiàn)的特異性進(jìn)行計(jì)并且為對應(yīng)的特征向量進(jìn)行特定的賦值，使用這種特異性度量的方法來進(jìn)行特征量的度量。經(jīng)過 TF-IDF 公式計(jì)算后可以用得到的具有不同數(shù)值的特征向量來表示一個(gè)文檔，例如[(網(wǎng)絡(luò)，0.25)，(輿情，0.30)，(網(wǎng)頁爬蟲，0.65)]，其中“網(wǎng)絡(luò)”“輿情”、“網(wǎng)頁爬蟲”都是度量的維度，而后邊的 0.25、0.30、0.65 則是對應(yīng)的量維度的權(quán)重系數(shù)。將搜索到的文檔進(jìn)行特征向量的度量后，每一個(gè)度量后的文在特定的特征向量空間下都可以得到明確的表示。上例中的[(網(wǎng)絡(luò)，0.25)，(輿情

第 3 章 網(wǎng)絡(luò)輿情監(jiān)視系統(tǒng)的需求分析3.1 網(wǎng)絡(luò)輿情監(jiān)視系統(tǒng)的業(yè)務(wù)流程本系統(tǒng)就是基于特定的頁面完成預(yù)處理的操作，然后將特征詞提取出來，為后期主題及輿情主題剖析打下基礎(chǔ)。借助預(yù)處理的方式，能夠把文本的主題提取出來，然后有效分析詳細(xì)的事件內(nèi)容，之后就可以對話題的具體走向進(jìn)行有效跟蹤，如果主題消亡或是已經(jīng)達(dá)到了一定標(biāo)準(zhǔn)，就能夠?qū)⒔Y(jié)果生成，然后向用戶展示。詳細(xì)過程如圖 3-1 所示。


本文編號(hào)：3320946