【摘要】：隨著互聯(lián)網(wǎng)的普及,國內(nèi)互聯(lián)網(wǎng)用戶的不斷增多,網(wǎng)絡(luò)輿情逐漸滲透社會、經(jīng)濟、政治各個層面,網(wǎng)絡(luò)虛擬群體業(yè)已成為推動互聯(lián)網(wǎng)輿情發(fā)展不可忽視的力量。因此,基于互聯(lián)網(wǎng)的輿情信息挖掘技術(shù)和網(wǎng)絡(luò)群體行為研究越來越受到廣泛關(guān)注。輿情是指一定時期內(nèi)一定范圍內(nèi)的社會群體對某些社會現(xiàn)象和現(xiàn)實的主觀反映�；ヂ�(lián)網(wǎng)輿情信息挖掘技術(shù)作為輿情主題檢測的有效手段逐漸成為研究熱點。然而,現(xiàn)有的互聯(lián)網(wǎng)輿情信息挖掘技術(shù)在處理海量網(wǎng)絡(luò)信息時曝露出很多問題,在網(wǎng)絡(luò)群體行為分析方面研究尚不成熟,因此亟需在互聯(lián)網(wǎng)輿情信息挖掘和群體行為分析的理論體系和技術(shù)方法上實現(xiàn)突破。 本文利用網(wǎng)絡(luò)信息挖掘的方法分析了互聯(lián)網(wǎng)輿情信息挖掘的流程,針對網(wǎng)絡(luò)輿情產(chǎn)生、傳播的特點,對傳統(tǒng)網(wǎng)絡(luò)信息抓取和預(yù)處理技術(shù)進行了改進。此外根據(jù)輿情主題檢測的特點和要求對傳統(tǒng)的文本聚類算法進行了改進�；谏鐣W(wǎng)絡(luò)分析方法對網(wǎng)絡(luò)輿情群體的組織結(jié)構(gòu)和行為規(guī)律進行了分析,并以博客圈子和論壇小組為例進行了拓撲分析和中心度分析,總結(jié)出了這兩種典型網(wǎng)絡(luò)群體的結(jié)構(gòu)和行為。最后,本文基于上述研究,進行了互聯(lián)網(wǎng)輿情監(jiān)控原型系統(tǒng)的架構(gòu)和功能設(shè)計。主要研究內(nèi)容如下： 網(wǎng)絡(luò)信息抓取和預(yù)處理技術(shù)研究：在網(wǎng)絡(luò)信息抓取階段,結(jié)合互聯(lián)網(wǎng)輿情信息實時更新,傳播速度快的特點,本文設(shè)計了并發(fā)式增量式網(wǎng)絡(luò)爬蟲以滿足網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)對不同網(wǎng)頁來源的數(shù)據(jù)進行采集的需求,同時也解決了大規(guī)模網(wǎng)頁爬行的效率問題。在信息預(yù)處理階段,針對新聞和博客網(wǎng)頁、BBS網(wǎng)頁結(jié)構(gòu)不同的特點采用了不同的凈化技術(shù),采用HTML Parser提取新聞和博客網(wǎng)頁正文,根據(jù)BBS網(wǎng)頁高度結(jié)構(gòu)化的特點設(shè)計了基于DOM樹和模板的BBS結(jié)構(gòu)化信息提取,最終獲得了可用于文本聚類的純文本文檔。 互聯(lián)網(wǎng)輿情信息挖掘算法,即文本聚類算法研究：本文改進了傳統(tǒng)的TF-IDF公式,可以對網(wǎng)絡(luò)信息形成的動態(tài)文本流進行特征提取,并考慮了網(wǎng)絡(luò)新興詞匯對特征提取的影響,給新詞賦予適當(dāng)?shù)臋?quán)重提高了增量TF-IDF模型的質(zhì)量。在文本聚類階段,在進行文本相似度分析時加入“時間窗”的概念,大大提高了Single-pass增量聚類算法的效率,同時也降低了聚類算法對內(nèi)存的消耗。 基于社會網(wǎng)絡(luò)分析的網(wǎng)絡(luò)輿情群體行為研究：本文使用社會網(wǎng)絡(luò)分析技術(shù)對基于某一輿情主題而聚集起來的輿情群體進行組織結(jié)構(gòu)分析和行為監(jiān)控,對網(wǎng)絡(luò)群體和虛擬組織進行了拓撲分析、中心度分析和群體分析,并使用可視化社會網(wǎng)絡(luò)工具繪制輿情群體網(wǎng)絡(luò)圖,將輿情群體的行為演變規(guī)律直觀的展示給用戶。 在上述研究基礎(chǔ)上,本文設(shè)計了互聯(lián)網(wǎng)輿情監(jiān)控原型系統(tǒng)的架構(gòu)、功能模塊和工作流程,為下一步進行系統(tǒng)實現(xiàn)和應(yīng)用奠定了基礎(chǔ)。
【圖文】：

圖2一1網(wǎng)絡(luò)爬蟲工作原理圖定的抓取策略對網(wǎng)頁進行抓取，可以分為深在很多情況下會導(dǎo)致爬蟲的陷入(trapped)問題】。指在抓取過程中，在完成當(dāng)前層次的搜索后，現(xiàn)相對簡單。在目前為覆蓋盡可能多的網(wǎng)頁，將廣度優(yōu)先搜索策略應(yīng)用于聚焦爬蟲中。其基內(nèi)的網(wǎng)頁具有主題相關(guān)性的概率很大。另外一合使用，先用廣度優(yōu)先策略抓取網(wǎng)頁，再將其，隨著抓取網(wǎng)頁的增多，大量的無關(guān)網(wǎng)頁將被照一定的網(wǎng)頁分析算法，預(yù)測候選URL與取評價最好的一個或幾個URL進行抓取。它

圖2一2改進后的網(wǎng)絡(luò)爬蟲工作原理圖2.3網(wǎng)絡(luò)信息預(yù)處理技術(shù)信息預(yù)處理技術(shù)研究如何將HTML格式網(wǎng)頁經(jīng)過去噪、漢字編碼轉(zhuǎn)換等一系列操作處理成純文本格式文檔。由于網(wǎng)頁通常包含廣告、版權(quán)信息和頁面導(dǎo)航等大量噪音，首先要對下載到的網(wǎng)頁進行數(shù)據(jù)清洗。網(wǎng)絡(luò)輿情信息通常來自于新聞網(wǎng)站、博客、BBS和SNS網(wǎng)站，從這些網(wǎng)站抓取到的HTML網(wǎng)頁的結(jié)構(gòu)不同，，其處理方法也各異。本節(jié)將介紹網(wǎng)頁凈化、中文分詞等技術(shù)，研究不同結(jié)構(gòu)網(wǎng)頁的信息預(yù)處理方法。2.3.1多源異構(gòu)網(wǎng)頁凈化方法網(wǎng)頁噪音指網(wǎng)頁中包含的廣告、版權(quán)信息和頁面導(dǎo)航、注釋以及JavascriPt腳本。網(wǎng)頁凈化，又稱網(wǎng)頁去噪，指去除網(wǎng)頁噪音獲取網(wǎng)頁標(biāo)題和正文信息的技術(shù)。下面將分別介紹新聞和博客網(wǎng)頁、BBS網(wǎng)頁的凈化技術(shù)。(1)新聞和博客網(wǎng)頁凈化本系統(tǒng)采用 HTMLParser提取新聞和博客網(wǎng)頁正文。 HTMLParser是一個用于Html文件解析的Java庫， HTMLParser把整個html文件組成分為三類節(jié)點(Node):Text(文字)，Remark(Html文件中的注釋)，Tag(標(biāo)簽)
【學(xué)位授予單位】：武漢理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2010
【分類號】：TP393.09;F49

【引證文獻】

相關(guān)碩士學(xué)位論文 前1條

1 鐘文輝;基于Heritrix的信息獲取系統(tǒng)的研究及實現(xiàn)[D];中山大學(xué);2013年

本文編號：2635702