本文關(guān)鍵詞：基于元搜索的輿情信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著信息技術(shù)的飛速發(fā)展,網(wǎng)絡(luò)越來(lái)越成為人們獲取信息資源、表達(dá)思想看法的重要途徑,民眾針對(duì)熱門(mén)人物或事件所持有的態(tài)度、信念和價(jià)值觀的表達(dá),在互聯(lián)網(wǎng)上匯聚成不可忽視的輿論力量,網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)應(yīng)運(yùn)而生。社會(huì)事件的關(guān)鍵是人,通過(guò)人物抓取相關(guān)社會(huì)事件和輿論資源,以提供給相關(guān)部門(mén)作為決策依據(jù),是輿情監(jiān)控系統(tǒng)發(fā)展的一個(gè)重要方向。本人在北京市微普科創(chuàng)科技有限公司實(shí)習(xí)之際,參與了公司面向知名人士的輿情監(jiān)控系統(tǒng)《校友大數(shù)據(jù)》的設(shè)計(jì)開(kāi)發(fā)工作。在項(xiàng)目中,本人主要負(fù)責(zé)輿情信息采集子系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)工作。輿情信息采集技術(shù)的基礎(chǔ)是互聯(lián)網(wǎng)搜索技術(shù),這就使得它和搜索引擎在設(shè)計(jì)思路、技術(shù)實(shí)現(xiàn)上,有著許多相同之處,通過(guò)研究搜索引擎技術(shù),可以為輿情信息采集提供寶貴經(jīng)驗(yàn)。本人在項(xiàng)目之初,為獲得較好的采集廣度和準(zhǔn)確性,研究了搜索引擎基本原理,對(duì)比了現(xiàn)有搜索引擎技術(shù),特別研究了元搜索引擎關(guān)鍵技術(shù),最終確定項(xiàng)目的技術(shù)架構(gòu),并吸收全文搜索引擎索引的優(yōu)點(diǎn)來(lái)實(shí)現(xiàn)輿情信息采集系統(tǒng)。具體改進(jìn)包括：(1)在查詢(xún)轉(zhuǎn)換上,分析了非定向采集和定向采集站點(diǎn)的查詢(xún)規(guī)則和頁(yè)面結(jié)構(gòu),實(shí)現(xiàn)了精準(zhǔn)采集；(2)基于對(duì)輿情信息系統(tǒng)存儲(chǔ)特殊性的考量,在對(duì)元搜索引擎改進(jìn)方面,建立了元搜索引擎的網(wǎng)頁(yè)數(shù)據(jù)庫(kù)；通過(guò)實(shí)驗(yàn)對(duì)比Lucene內(nèi)存倒排索引來(lái)進(jìn)行方案優(yōu)選,建立了MySQL倒排索引數(shù)據(jù)庫(kù),更好地實(shí)現(xiàn)了站內(nèi)全文搜索功能；(3)在元搜索消重策略選擇上,通過(guò)對(duì)現(xiàn)有方案的對(duì)比分析,優(yōu)選出適合本系統(tǒng)的標(biāo)題和正文關(guān)鍵詞結(jié)合的向量空間算法,得到最佳消重策略；(4)在輿情信息結(jié)果排序方面,基于對(duì)輿情監(jiān)控系統(tǒng)展現(xiàn)層興趣排序的需求,從元搜索引擎排序技術(shù)中得到啟發(fā),借用并改進(jìn)了HITS算法,使得排序結(jié)果更大程度上滿足用戶需求,并通過(guò)實(shí)驗(yàn)驗(yàn)證了設(shè)計(jì)的合理性。在實(shí)現(xiàn)興趣排序的同時(shí),通過(guò)結(jié)合垂直搜索思想解決了HITS算法存在的主題漂移問(wèn)題,最終通過(guò)系統(tǒng)測(cè)試來(lái)證明了改進(jìn)排序算法的優(yōu)越性;(5)在定向采集上,本人通過(guò)對(duì)貼吧結(jié)構(gòu)的分析,建立了貼吧概念模型,結(jié)合輿情采集需求,建立出概念模型,最終確定系統(tǒng)物理模型。最終通過(guò)項(xiàng)目開(kāi)發(fā)實(shí)現(xiàn)了本系統(tǒng),并在系統(tǒng)運(yùn)行數(shù)據(jù)的基礎(chǔ)上設(shè)計(jì)測(cè)試并進(jìn)行統(tǒng)計(jì)分析,最終驗(yàn)證了設(shè)計(jì)的合理性,具體包括：(1)系統(tǒng)采集新聞信息覆蓋超出傳統(tǒng)搜索引擎的17%,證明了采集系統(tǒng)使用元搜索引擎的優(yōu)越性；(2)在HITS算法改進(jìn)之后,頁(yè)面排序中的首頁(yè)點(diǎn)擊率提高13%,前三頁(yè)總點(diǎn)擊率從67%上升到了83%,說(shuō)明通過(guò)結(jié)合用戶興趣能夠提供給用戶更好的搜索結(jié)果,減少了用戶的使用成本,提升了用戶體驗(yàn)；(3)改進(jìn)HITS算法主題漂移現(xiàn)象得到遏制;
【關(guān)鍵詞】：輿情采集 元搜索 垂直搜索 HITS算法 興趣排序 主題漂移
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP311.52;TP274.2
【目錄】：

• 致謝5-6
• 摘要6-8
• ABSTRACT8-12
• 1 緒論12-17
• 1.1 研究背景12-13
• 1.2 搜索引擎的研究現(xiàn)狀13-14
• 1.3 搜索引擎的問(wèn)題定義14-15
• 1.4 研究?jī)?nèi)容和目標(biāo)15-16
• 1.5 論文的難點(diǎn)和關(guān)鍵任務(wù)16
• 1.6 論文的組織結(jié)構(gòu)16-17
• 2 元搜索技術(shù)綜述17-27
• 2.1 元搜索系統(tǒng)結(jié)構(gòu)17-18
• 2.2 成員搜索引擎調(diào)度策略18-19
• 2.3 查詢(xún)轉(zhuǎn)換和頁(yè)面采集技術(shù)19
• 2.4 元搜索引擎消重技術(shù)19-21
• 2.5 元搜索結(jié)果排序21-25
• 2.5.1 元搜索結(jié)果排序算法21-22
• 2.5.2 HITS算法22-25
• 2.6 網(wǎng)絡(luò)爬蟲(chóng)25-26
• 2.7 本章小結(jié)26-27
• 3 元搜索技術(shù)問(wèn)題分析和優(yōu)化方案設(shè)計(jì)27-45
• 3.1 元搜索系統(tǒng)結(jié)構(gòu)的優(yōu)化和改進(jìn)27-33
• 3.1.1 基于搜索優(yōu)化的元搜索存儲(chǔ)問(wèn)題識(shí)別27-29
• 3.1.2 基于倒排索引的方案優(yōu)選29-33
• 3.2 查詢(xún)轉(zhuǎn)換和頁(yè)面分析33-36
• 3.2.1 元搜索引擎查詢(xún)轉(zhuǎn)換和頁(yè)面分析33-34
• 3.2.2 定向采集站點(diǎn)查詢(xún)轉(zhuǎn)換和頁(yè)面分析34-36
• 3.3 元搜索網(wǎng)頁(yè)消重算法的優(yōu)選36-38
• 3.4 元搜索結(jié)果排序算法的改進(jìn)38-44
• 3.4.1 HITS算法的“主題漂移”問(wèn)題38
• 3.4.2 元搜索結(jié)果排序算法改進(jìn)的基本思路38-40
• 3.4.3 改進(jìn)后的元搜索結(jié)果排序算法邏輯設(shè)計(jì)40-43
• 3.4.4 HITS算法改進(jìn)方案設(shè)計(jì)43-44
• 3.5 本章小結(jié)44-45
• 4 基于元搜索的輿情信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)45-66
• 4.1 概要設(shè)計(jì)45-52
• 4.1.1 系統(tǒng)架構(gòu)45-48
• 4.1.2 系統(tǒng)概念模型48-52
• 4.1.3 代碼框架設(shè)計(jì)52
• 4.2 詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)52-65
• 4.2.1 成員搜索引擎調(diào)度模塊53
• 4.2.2 查詢(xún)轉(zhuǎn)換和頁(yè)面采集模塊53-56
• 4.2.3 消重模塊56-58
• 4.2.4 排序模塊58-61
• 4.2.5 系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)61-65
• 4.3 本章小結(jié)65-66
• 5 系統(tǒng)性能分析和測(cè)試66-70
• 5.1 元搜索查全率統(tǒng)計(jì)分析66
• 5.2 排序結(jié)果比較66-69
• 5.2.1 直觀數(shù)據(jù)67-68
• 5.2.2 PV和CTR統(tǒng)計(jì)分析68-69
• 5.3 本章小結(jié)69-70
• 6 結(jié)論70-72
• 6.1 工作總結(jié)70-71
• 6.2 工作不足和展望71-72
• 參考文獻(xiàn)72-74
• 附錄A74-75
• 索引75-76
• 作者簡(jiǎn)歷及攻讀碩士/博士學(xué)位期間取得的研究成果76-78
• 學(xué)位論文數(shù)據(jù)集78

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王惠;;基于用戶滿意度的搜索引擎實(shí)證研究[J];情報(bào)科學(xué);2015年09期

2 劉志明;王琨;;輿情監(jiān)測(cè)系統(tǒng)中信息采集模塊的設(shè)計(jì)與實(shí)現(xiàn)[J];南華大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年02期

3 胡晴云;馬鴻;;網(wǎng)絡(luò)輿情獲取與分析技術(shù)初探[J];甘肅警察職業(yè)學(xué)院學(xué)報(bào);2014年04期

4 鄒臘梅;龔向堅(jiān);歐陽(yáng)利軍;;基于用戶歷史及興趣度的HC-HITS算法研究[J];南華大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年02期

5 李陽(yáng);楊勝斌;;大眾傳媒時(shí)代網(wǎng)絡(luò)輿情的興起與應(yīng)對(duì)[J];電子測(cè)試;2013年12期

6 楊更;;基于元搜索的信息采集平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2012年07期

7 曹林;韓立新;吳勝利;;元搜索引擎排序技術(shù)綜述[J];計(jì)算機(jī)應(yīng)用研究;2009年02期

8 張衛(wèi)豐,徐寶文,周曉宇,許蕾,李東;元搜索引擎結(jié)果生成技術(shù)研究[J];小型微型計(jì)算機(jī)系統(tǒng);2003年01期

9 宋擒豹,沈鈞毅;數(shù)字商品非法復(fù)制和擴(kuò)散的監(jiān)測(cè)機(jī)制[J];計(jì)算機(jī)研究與發(fā)展;2001年01期

10 王建勇,謝正茂,雷鳴,李曉明;近似鏡像網(wǎng)頁(yè)檢測(cè)算法的研究與評(píng)價(jià)[J];電子學(xué)報(bào);2000年S1期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 朱彥杰;基于搜索引擎的輿情分析系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

2 李憲雷;元搜索關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2008年

3 雷萬(wàn)保;元搜索引擎關(guān)鍵技術(shù)研究[D];西北工業(yè)大學(xué);2007年

  本文關(guān)鍵詞：基于元搜索的輿情信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：262174