【摘要】：當今網(wǎng)絡(luò)信息技術(shù)的高速發(fā)展,使互聯(lián)網(wǎng)已經(jīng)成為了全球信息傳播及共享的重要資源平臺。隨著網(wǎng)絡(luò)數(shù)據(jù)量的不斷增大,用戶通過傳統(tǒng)的搜索引擎在海量網(wǎng)絡(luò)資源中去精確查找自己所需要的資源也越來越困難。人們迫切需要一種可以對專業(yè)領(lǐng)域信息進行精確搜索的查詢方法。同時,隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)環(huán)境愈加復(fù)雜,其中的信息安全問題愈發(fā)嚴峻。在這樣的背景下,設(shè)計一個專門針對信息安全領(lǐng)域的垂直搜索引擎具有極其重要的意義。 本文的主要研究內(nèi)容如下： 1.從垂直搜索引擎的由來、特點及其工作原理開始著手,詳細分析了Heritrix開源網(wǎng)絡(luò)爬蟲的系統(tǒng)結(jié)構(gòu)。在此基礎(chǔ)上,通過擴展Heritrix的解析器實現(xiàn)了爬蟲對特定網(wǎng)頁資源的高效、多線程抓取的目的。 2.深入剖析了Lucene的系統(tǒng)結(jié)構(gòu),分析并指出了Lucene原有的排序算法的不足,通過引入基于鏈接分析的PageRank算法,改進了Lucene原有排序算法,使排序結(jié)果更加準確。 3.在上述研究的基礎(chǔ)上,通過設(shè)計各個子系統(tǒng),運用改進的爬蟲和排序算法實現(xiàn)了面向信息安全的垂直搜索引擎系統(tǒng)原型。
【學(xué)位授予單位】：華東理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP391.3;TP309

【參考文獻】

相關(guān)期刊論文 前10條

1 高波;;一種面向主題的搜索引擎的實現(xiàn)[J];常州工學(xué)院學(xué)報;2008年02期

2 張麗敏;;垂直搜索引擎的主題爬蟲策略[J];電腦知識與技術(shù);2010年15期

3 袁小潔;;基于Heritrix的商品信息搜索的網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計[J];電腦編程技巧與維護;2012年22期

4 胡嘉海;;基于Lucene的全文搜索引擎的設(shè)計與實現(xiàn)[J];安徽科技;2012年12期

5 王慶民;;互聯(lián)網(wǎng)搜索引擎的發(fā)展、應(yīng)用和特點[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2009年05期

6 王琦;張戈;何婧;;基于Lucene與Heritrix的圖書垂直搜索引擎的研究與實現(xiàn)[J];計算機時代;2010年02期

7 張巍,李志蜀;基于PageRank算法的搜索引擎優(yōu)化策略[J];計算機應(yīng)用;2005年07期

8 黃蔚;劉忠;劉全;;RL_Spider:一種自主垂直搜索引擎網(wǎng)絡(luò)爬蟲[J];計算機應(yīng)用與軟件;2011年12期

9 焦麗;;網(wǎng)絡(luò)搜索引擎研究概述[J];農(nóng)業(yè)圖書情報學(xué)刊;2008年03期

10 鄒濤,戚廣智,蔡麗娟,張福炎;網(wǎng)絡(luò)信息挖掘系統(tǒng)IDGS的實現(xiàn)[J];南京大學(xué)學(xué)報(自然科學(xué)版);2000年02期

本文編號：2761587