【摘要】：爬行蟲算法是搜索引擎探討的熱點。通過分析現(xiàn)有爬行蟲算法設(shè)計和程序?qū)崿F(xiàn)的主要方式 ,權(quán)衡其利弊 ,總結(jié)出一個適合于中小型網(wǎng)站網(wǎng)頁下載的爬行蟲算法。并使用jBuider8.0工具實現(xiàn)了該算法。通過實驗分析 ,該程序下載的網(wǎng)頁數(shù)的速度為 1882 4 2個網(wǎng)頁 /分和 4 1.92 74 .5 9KB/秒。
[Abstract]:Crawler algorithm is a hot topic in search engine. By analyzing the main ways of designing and implementing the existing crawler algorithm, weighing its advantages and disadvantages, a crawler algorithm suitable for downloading web pages of small and medium-sized websites is summarized. The algorithm is implemented with jBuider8.0 tool. The experimental results show that the number of pages downloaded by the program is 1882 42 pages / min and 41.92 74.5 9KB/ seconds.
【作者單位】： 西華大學(xué)計算機科學(xué)與工程系 西華大學(xué)計算機科學(xué)與工程系 西華大學(xué)計算機科學(xué)與工程系
【分類號】：TP311.1

【參考文獻】

相關(guān)期刊論文 前1條

1 宋聚平,王永成,滕偉,許歡慶;搜索引擎中Robot搜索算法的優(yōu)化[J];情報學(xué)報;2002年02期

【共引文獻】

相關(guān)期刊論文 前10條

1 汪斌;張云偉;劉健;陳晶;;一種面向農(nóng)業(yè)信息主題網(wǎng)絡(luò)爬蟲的設(shè)計[J];安徽農(nóng)業(yè)科學(xué);2009年20期

2 汪濤,樊孝忠,顧益軍,劉林;基于概念分析的主題爬蟲設(shè)計[J];北京理工大學(xué)學(xué)報;2004年10期

3 查志琴;;基于行模式的網(wǎng)頁信息提取算法[J];常州工學(xué)院學(xué)報;2007年04期

4 高波;;一種面向主題的搜索引擎的實現(xiàn)[J];常州工學(xué)院學(xué)報;2008年02期

5 毛曉蛟;;搜索引擎中網(wǎng)絡(luò)蜘蛛的研究與實現(xiàn)[J];電腦編程技巧與維護;2010年18期

6 劉剛;于力超;;搜索引擎中網(wǎng)絡(luò)蜘蛛的設(shè)計與實現(xiàn)[J];電腦與信息技術(shù);2007年04期

7 高磊;徐東平;;啟發(fā)式算法在搜索引擎的應(yīng)用[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年02期

8 蒯曉童,王銀娣;搜索引擎Robot技術(shù)的優(yōu)化算法研究[J];地理空間信息;2004年04期

9 包宇寧;使用Java編程解析HTML文檔[J];福建電腦;2004年09期

10 王曙光,張莉,張春元;中文搜索引擎的原理與改進策略[J];福建電腦;2004年11期

相關(guān)會議論文 前2條

1 楊衛(wèi)明;;獨立式搜索引擎原理及存在問題分析[A];2008年計算機應(yīng)用技術(shù)交流會論文集[C];2008年

2 吳春胤;陳聯(lián)誠;俞守華;;基于AgMES的搜索引擎的設(shè)計與實現(xiàn)[A];農(nóng)業(yè)工程科技創(chuàng)新與建設(shè)現(xiàn)代農(nóng)業(yè)——2005年中國農(nóng)業(yè)工程學(xué)會學(xué)術(shù)年會論文集第三分冊[C];2005年

相關(guān)博士學(xué)位論文 前4條

1 張宏斌;信息獲取中的兩類不確定問題研究[D];華中科技大學(xué);2004年

2 杜亞軍;搜索引擎智能行為的研究及實現(xiàn)[D];西南交通大學(xué);2005年

3 葉作亮;基于制造網(wǎng)格的制造資源管理若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2006年

4 劉東飛;智能雙語搜索方法及搜索引擎的研究[D];武漢理工大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 雷斌;基于Java技術(shù)的智能化搜索引擎的研究與設(shè)計[D];哈爾濱工程大學(xué);2010年

2 于愛軍;NERMS中基于Internet的搜索引擎研究與實現(xiàn)[D];吉林大學(xué);2004年

3 張紅;搜索引擎中個性化檢索技術(shù)的研究與應(yīng)用[D];蘭州理工大學(xué);2004年

4 常曉燕;基于Java的新聞搜索引擎的設(shè)計與實現(xiàn)[D];西南交通大學(xué);2004年

5 陸志海;分布式教育資源整合系統(tǒng)構(gòu)建初探[D];南京師范大學(xué);2004年

6 區(qū)玉明;客戶保持中兩個問題的研究：對網(wǎng)站感興趣用戶的識別和網(wǎng)站質(zhì)量評價[D];廣西師范大學(xué);2004年

7 張敏;基于Web挖掘的個性化信息檢索研究[D];山東科技大學(xué);2004年

8 劉凡;Web頁面跟蹤系統(tǒng)的研究與實現(xiàn)[D];清華大學(xué);2003年

9 王亮;數(shù)字化圖書館基本體系及實現(xiàn)[D];華中科技大學(xué);2004年

10 王軍;中文搜索引擎的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2004年

【相似文獻】

相關(guān)期刊論文 前10條

1 ;一種現(xiàn)象 兩種看法[J];每周電腦報;1997年34期

2 張繼剛;搜索引擎使用技巧[J];網(wǎng)絡(luò)與信息;1999年09期

3 陳建芳;中文搜索引擎的應(yīng)用技巧[J];情報探索;2000年02期

4 解玉潔,吳 梅;搜索引擎的檢索性能及應(yīng)用[J];山東電子;2000年01期

5 ;網(wǎng)海導(dǎo)航——如何快速查找信息[J];國際醫(yī)藥衛(wèi)生導(dǎo)報;2000年07期

6 王必勇;在INTERNET上搜索信息[J];飼料廣角;2000年02期

7 ;關(guān)鍵詞搜索[J];每周電腦報;2000年38期

8 陳冰;;餓狼一樣的網(wǎng)站提交工具——“提交餓狼”[J];科學(xué)之友;2000年07期

9 涂強;;登錄奇兵[J];電腦界(應(yīng)用文萃);2000年10期

10 張軍,陳益君;搜索引擎的功能及其局限性探討[J];情報科學(xué);2001年05期

相關(guān)會議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國中醫(yī)藥信息研究會第二屆理事大會暨學(xué)術(shù)交流會議論文匯編[C];2003年

3 鄧長壽;郭景峰;楊焱林;鄧安遠;;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

4 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁爬行器的設(shè)計與實現(xiàn)[A];少數(shù)民族青年自然語言處理技術(shù)研究與進展——第三屆全國少數(shù)民族青年自然語言信息處理、第二屆全國多語言知識庫建設(shè)聯(lián)合學(xué)術(shù)研討會論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計算機學(xué)會2008年年會論文集[C];2008年

6 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2010年

7 姚樹宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國開放式分布與并行計算學(xué)術(shù)會議論文集[C];2005年

8 倪俊峰;;基于黃頁搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計與實現(xiàn)[A];2005年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2005年

9 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術(shù)[A];第二屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2006)——第2屆中國普適計算學(xué)術(shù)會議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報編輯論叢（第十一集）[C];2003年

相關(guān)重要報紙文章 前10條

1 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財經(jīng)日報;2005年

2 賽迪顧問股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;搜索，還是門戶[N];中國計算機報;2005年

3 陳珊;浙江移動推出手機搜索引擎服務(wù)[N];人民郵電;2005年

4 趙法忠;搜索引擎還需悠著點[N];中國經(jīng)營報;2005年

5 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報;2006年

6 李一鑫;搜索排名的紅與黑[N];財經(jīng)時報;2007年

7 本報記者　 趙曉輝 孟昭麗;搜索引擎駛?cè)搿氨茱L(fēng)港”[N];中國證券報;2006年

8 孫t;搜索引擎驚喜侵權(quán)官司止于“避風(fēng)港”？[N];第一財經(jīng)日報;2006年

9 姜蕊;問天下誰識搜索？[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2006年

10 李同;怎樣選擇“付費搜索引擎”[N];光明日報;2006年

相關(guān)博士學(xué)位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學(xué);2011年

5 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

6 王昤璞;基于用戶體驗的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評估研究[D];吉林大學(xué);2010年

7 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

8 白玉琪;空間信息搜索引擎研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

9 費巍;搜索引擎檢索功能的性能評價研究[D];武漢大學(xué);2010年

10 黃河;農(nóng)業(yè)復(fù)雜自適應(yīng)搜索模型研究及實現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 薛云;Internet上元搜索引擎的研究與設(shè)計[D];太原理工大學(xué);2003年

2 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

3 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

4 董晨;基于模糊聚類的個性化搜索引擎的研究[D];福州大學(xué);2005年

5 封俊;基于Hadoop的分布式搜索引擎研究與實現(xiàn)[D];太原理工大學(xué);2010年

6 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實現(xiàn)[D];華南理工大學(xué);2010年

7 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

8 李建平;智能化WEB信息搜索引擎的研究與實現(xiàn)[D];大慶石油學(xué)院;2003年

9 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實踐[D];新疆大學(xué);2004年

10 王軍;中文搜索引擎的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2004年

，

本文編號：2519815