本文關(guān)鍵詞：垂直搜索引擎系統(tǒng)的研究與設計

  更多相關(guān)文章： 垂直搜索引擎 倒排索引 網(wǎng)絡爬蟲 搜索策略 主題相關(guān)性

【摘要】：隨著互聯(lián)網(wǎng)走進千家萬戶,網(wǎng)絡上的信息量也呈現(xiàn)出了前所未有的快速增長,通用搜索引擎在采集信息資源、存儲索引海量網(wǎng)頁等方面的挑戰(zhàn)越來越大。同時,特定行業(yè)內(nèi)的科研和從業(yè)人員,希望從互聯(lián)網(wǎng)上得到更專業(yè)、更深入和更有價值的信息,不同的年齡段的人群對網(wǎng)上的信息也有著特定需求,有需求的地方就有市場,服務這些專門搜索需求的搜索引擎,即垂直搜索引擎近年來快速發(fā)展,成為了搜索引擎領域研究的熱門方向。它提供某一個領域的專門的信息檢索服務,更好地滿足了專業(yè)用戶的專業(yè)化和精細化信息查詢需求。本文首先概述了垂直搜索引擎的總體設計,描述了垂直搜索引擎要實現(xiàn)的目標并介紹了垂直搜索引擎的工作原理,垂直搜索引擎的總體模塊有網(wǎng)頁信息的收集、網(wǎng)頁信息的索引,網(wǎng)頁信息排序和檢索,其中垂直搜索引擎相比通用搜索引擎,重點在于網(wǎng)頁信息收集時只收集主題相關(guān)的網(wǎng)頁,這就要求垂直搜索引擎的爬行器按照一定的收集策略收集網(wǎng)頁。傳統(tǒng)的收集策略有兩種,即基于網(wǎng)頁內(nèi)容分析的搜索策略和基于鏈接結(jié)構(gòu)分析的搜索策略,它們都是單一的搜索策略,存在著一定的不足。本文提出了一個綜合網(wǎng)頁內(nèi)容分析和鏈接結(jié)構(gòu)分析的搜索策略。其中網(wǎng)頁內(nèi)容分析搜索策略有Fish-Search算法和Shark-Search算法,鏈接結(jié)構(gòu)分析算法有PageRank算法和HITS算法,本文對這四大類算法分別進行了一一介紹,在此基礎上,先提出改進PageRank算法,進而提出了綜合的改進算法,期望能指導爬蟲收集更多更好的主題相關(guān)的網(wǎng)頁。為了測試改進后的算法是否有效,本文設計實現(xiàn)了一個網(wǎng)絡爬蟲軟件：VSE—Spider,此系統(tǒng)多線程分布式地抓取互聯(lián)網(wǎng)上和設定的主題相關(guān)的網(wǎng)頁,系統(tǒng)的爬蟲程序分別采用傳統(tǒng)的網(wǎng)頁搜索算法和本文提出的改進后的綜合網(wǎng)頁搜索算法,對VSE-Spider各組實驗結(jié)果進行對比分析。結(jié)果表明,本文提出的改進后的綜合搜索策略在收集主題相關(guān)網(wǎng)頁時有著更好的表現(xiàn)。
【學位授予單位】：長春工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP391.3

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 李向陽;苗壯;肖江;;無結(jié)構(gòu)文本信息抽取綜述[J];軍事通信技術(shù);2004年02期

2 羅麗姍;;垂直搜索引擎發(fā)展概述[J];圖書館學研究;2006年12期

3 羅林波;陳綺;吳清秀;;基于Shark-Search和Hits算法的主題爬蟲研究[J];計算機技術(shù)與發(fā)展;2010年11期

4 張博;蔡皖東;;面向主題的網(wǎng)絡蜘蛛技術(shù)研究及系統(tǒng)實現(xiàn)[J];微電子學與計算機;2009年05期

中國碩士學位論文全文數(shù)據(jù)庫 前6條

1 劉瑋瑋;搜索引擎中主題爬蟲的研究與實現(xiàn)[D];南京理工大學;2006年

2 周昭濤;文本聚類分析效果評價及文本表示研究[D];中國科學院研究生院（計算技術(shù)研究所）;2005年

3 王曉偉;垂直搜索引擎若干關(guān)鍵技術(shù)的研究[D];浙江大學;2007年

4 姜華;基于Lucene面向主題搜索引擎的研究與設計[D];華東師范大學;2007年

5 李文澤;個性化垂直搜索引擎研究[D];河南大學;2007年

6 黃勝根;智能垂直搜索引擎的研究與設計[D];重慶大學;2010年

，

本文編號：1295770