隨著互聯(lián)網(wǎng)的發(fā)展使得網(wǎng)絡(luò)輿情成為研究熱點，各地網(wǎng)民規(guī)模繼續(xù)穩(wěn)步增長,作為輿情信息來源之一的論壇/BBS用戶規(guī)模日益龐大，因此對論壇做好輿情監(jiān)測，是網(wǎng)絡(luò)輿情監(jiān)測工作的重要部分。網(wǎng)絡(luò)輿情監(jiān)測主要包括“網(wǎng)絡(luò)輿情采集”和“網(wǎng)絡(luò)輿情分析”，輿情信息采集是輿情分析的基礎(chǔ)，因此對輿情信息采集的研究具有重要意義。本文首先論述了相關(guān)概念和技術(shù)，然后針對BBS的結(jié)構(gòu)給出了提高信息獲取，處理和存儲管理效率的辦法，最后在實驗數(shù)據(jù)中給出相關(guān)處理的結(jié)果以及在Spring＋DWR框架下實現(xiàn)輿情信息顯示和熱點信息查詢等。論文主要完成了以下幾個方面的工作：1)輿情信息獲取技術(shù)方面，本文研究了BBS結(jié)構(gòu)特征，深入分析了Heritrix的功能結(jié)構(gòu)和實現(xiàn)原理，針對BBS結(jié)構(gòu)利用擴(kuò)展的Heritrix提取器設(shè)計了BBS輿情信息獲取方案。2)輿情信息處理技術(shù)方面,研究利用Htmlparser實現(xiàn)信息提取,深入分析了Htmlparser的功能結(jié)構(gòu)和實現(xiàn)原理，設(shè)計信息提取方案。3)數(shù)據(jù)庫存儲技術(shù)方面，把輿情信息處理結(jié)果進(jìn)行數(shù)據(jù)庫存儲以及對帖子標(biāo)題建立索引，并給出了效率的對比。 

【文章來源】：華僑大學(xué)福建省

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【部分圖文】：

J2EE體系結(jié)構(gòu)圖

第三章 系統(tǒng)詳細(xì)設(shè)計3.1 網(wǎng)絡(luò)爬蟲設(shè)計3.1.1 Heritrix 概述Heritrix[46]是由 Java 開發(fā)的開源網(wǎng)絡(luò)爬蟲，具有強(qiáng)大的抓取網(wǎng)絡(luò)資源的功能，Heritrix 具有強(qiáng)大的擴(kuò)展功能，用戶可以根據(jù)自己的需要，擴(kuò)展它的各個組件。Heritrix 可以直接安裝，也可以在 Eclipse 中安裝。安裝成功后的界面如圖 3.1

圖 3.2 Heritrix 登錄后界面3.1.2 Heritrix 工作原理Heritrix 工作原理與體系結(jié)構(gòu)相關(guān)，Heritrix Crawlcontroller(中央控制器) Frontior.BdbFrontier，多處理鏈和 Processor[47]等構(gòu)成。( 1 )Crawlorder 抓取任務(wù)Heritrix 的抓取工作是從 Crawlorder 開始的，在種創(chuàng)建任務(wù)的方式Create New JobBased on existingBased on a recovBased on a profilWith defawlts

【參考文獻(xiàn)】：
期刊論文
[1]面向網(wǎng)絡(luò)輿情的檢索系統(tǒng)設(shè)計研究[J]. 安靖.  軟件導(dǎo)刊. 2013(07)
[2]網(wǎng)絡(luò)輿情信息提取與預(yù)處理研究[J]. 陳桂鴻,曹樹金,陳憶金.  圖書情報知識. 2011(06)
[3]Web信息抽取技術(shù)綜述[J]. 陳釗,張冬梅.  計算機(jī)應(yīng)用研究. 2010(12)
[4]基于Lucene/Heritrix的垂直搜索引擎的研究與應(yīng)用[J]. 白坤,耿國華.  計算機(jī)應(yīng)用與軟件. 2009(01)
[5]BBS輿情系統(tǒng)的數(shù)據(jù)采集方法[J]. 趙穎斯,劉云.  電信快報. 2008(12)
[6]基于SVM的中文報道關(guān)系識別方法研究[J]. 王強(qiáng),張永奎.  計算機(jī)工程與應(yīng)用. 2008(33)
[7]基于語義域語言模型的中文話題關(guān)聯(lián)檢測[J]. 洪宇,張宇,范基禮,劉挺,李生.  軟件學(xué)報. 2008(09)
[8]BBS與Blog比較分析[J]. 李昕.  忻州師范學(xué)院學(xué)報. 2008(04)
[9]Spring框架中IoC的實現(xiàn)[J]. 薄奇,許林英.  微處理機(jī). 2008(01)
[10]時間信息在話題檢測中的應(yīng)用研究[J]. 趙華,趙鐵軍,趙霞.  計算機(jī)科學(xué). 2008(01)

博士論文
[1]基于語義結(jié)構(gòu)和時序特征的話題檢測與跟蹤技術(shù)研究[D]. 洪宇.哈爾濱工業(yè)大學(xué) 2009
[2]短文本語言計算的關(guān)鍵技術(shù)研究[D]. 龔才春.中國科學(xué)院研究生院（計算技術(shù)研究所） 2008

碩士論文
[1]網(wǎng)絡(luò)輿情預(yù)測關(guān)鍵技術(shù)研究[D]. 李振.鄭州大學(xué) 2010
[2]基于知網(wǎng)和話題更新的話題跟蹤算法研究[D]. 焦健.北京交通大學(xué) 2009
[3]校園BBS輿情數(shù)據(jù)收集與提取系統(tǒng)的設(shè)計與實現(xiàn)[D]. 陳麗萍.華中科技大學(xué) 2009
[4]基于容錯粗糙集的話題檢測與跟蹤方法研究[D]. 毋非.西安電子科技大學(xué) 2009
[5]高校BBS對大學(xué)生思想教育的影響及對策[D]. 尚慧.大連理工大學(xué) 2008
[6]文本傾向性分析在輿情監(jiān)控系統(tǒng)中的應(yīng)用研究[D]. 張超.北京郵電大學(xué) 2008
[7]互聯(lián)網(wǎng)輿情信息獲取與分析研究[D]. 金曉鷗.上海交通大學(xué) 2008



本文編號：3282763