【摘要】：網(wǎng)絡(luò)爬蟲的效率,直接關(guān)系到搜索引擎系統(tǒng)為用戶提的供服務(wù)質(zhì)量。如何設(shè)計高效、快速的網(wǎng)絡(luò)爬蟲,成為目前網(wǎng)絡(luò)爬蟲研究的熱點。要提高網(wǎng)絡(luò)爬蟲的爬行效率,除了需要改進網(wǎng)絡(luò)爬蟲的爬行策略之外,還需要優(yōu)化網(wǎng)絡(luò)爬自身的設(shè)計,改進網(wǎng)絡(luò)爬蟲自身的結(jié)構(gòu),消除效率瓶頸。通過對網(wǎng)絡(luò)爬蟲結(jié)構(gòu)、應(yīng)用環(huán)境以及用戶要求的分析,提出一個通用網(wǎng)絡(luò)爬蟲的改進設(shè)計方案,并通過實驗得到較好的測試結(jié)果。
文內(nèi)圖片：
圖片說明：Internet的有向圖模型示意圖
[Abstract]:The efficiency of network crawler is directly related to the quality of service proposed by search engine system for users. How to design efficient and fast web crawler has become the focus of network crawler research at present. In order to improve the crawling efficiency of network crawlers, it is not only necessary to improve the crawling strategy of network crawlers, but also to optimize the design of network crawlers, improve the structure of network crawlers and eliminate the bottleneck of efficiency. Based on the analysis of network crawler structure, application environment and user requirements, an improved design scheme of general network crawler is proposed, and good test results are obtained through experiments.
【作者單位】： 西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院 西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院 西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院
【分類號】：TP393.09

【參考文獻】

相關(guān)期刊論文 前2條

1 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計算機應(yīng)用研究;2007年10期

2 苗長芬,馮偉華;面向主題Crawler的設(shè)計與實現(xiàn)[J];平原大學(xué)學(xué)報;2005年03期

相關(guān)碩士學(xué)位論文 前3條

1 陳杰;主題搜索引擎中網(wǎng)絡(luò)蜘蛛搜索策略研究[D];浙江大學(xué);2006年

2 何世林;基于Java技術(shù)的搜索引擎研究與實現(xiàn)[D];西南交通大學(xué);2006年

3 朱玉麗;基于網(wǎng)格技術(shù)的主題爬蟲算法優(yōu)化的研究與實現(xiàn)[D];沈陽工業(yè)大學(xué);2007年

【共引文獻】

相關(guān)期刊論文 前10條

1 王正;陸余良;劉金紅;施凡;;基于Lucene的互聯(lián)網(wǎng)文獻信息檢索系統(tǒng)的研究[J];安徽大學(xué)學(xué)報(自然科學(xué)版);2009年05期

2 毛曉蛟;;搜索引擎中網(wǎng)絡(luò)蜘蛛的研究與實現(xiàn)[J];電腦編程技巧與維護;2010年18期

3 唐波;;網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2009年11期

4 任惠靜;;基于Lucene的面向主題搜索引擎的索引技術(shù)的研究[J];電腦知識與技術(shù);2010年04期

5 王巖;;搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)的發(fā)展[J];電信快報;2008年10期

6 周民;邱雅;王華彬;;網(wǎng)絡(luò)輿情分析中智能爬蟲的設(shè)計[J];電腦知識與技術(shù);2011年33期

7 蔣元成;蔡皖東;;基于主動探測的BT行為監(jiān)測系統(tǒng)設(shè)計與實現(xiàn)[J];航空計算技術(shù);2009年01期

8 秦學(xué)勇;;基于互聯(lián)網(wǎng)資源的學(xué)科Ontology構(gòu)建研究[J];廊坊師范學(xué)院學(xué)報(自然科學(xué)版);2011年02期

9 王朝斌;金洪穎;趙剛;;基于本體的搜索引擎研究[J];西華師范大學(xué)學(xué)報(自然科學(xué)版);2010年04期

10 白鶴;湯迪斌;王勁林;;分布式多主題網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實現(xiàn)[J];計算機工程;2009年19期

相關(guān)會議論文 前2條

1 吳晨生;劉彥君;張魯冀;董曉晴;;科普搜索的研究與實現(xiàn)[A];數(shù)字博物館研究與實踐（2009）[C];2010年

2 費海強;郝志宇;云曉春;;網(wǎng)絡(luò)攻防工具庫系統(tǒng)關(guān)鍵技術(shù)研究[A];2011年全國通信安全學(xué)術(shù)會議論文集[C];2011年

相關(guān)博士學(xué)位論文 前1條

1 田俊華;基于本體知識庫的教學(xué)資源自動采集技術(shù)研究[D];南京師范大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 王思麗;藏文網(wǎng)頁自動發(fā)現(xiàn)與采集技術(shù)研究[D];西北民族大學(xué);2010年

2 賈春鑫;面向主題的雙約束網(wǎng)頁采集方法的研究和實現(xiàn)[D];上海交通大學(xué);2011年

3 王燕;網(wǎng)站敏感信息監(jiān)視系統(tǒng)設(shè)計與實現(xiàn)[D];解放軍信息工程大學(xué);2008年

4 周旭;BBS熱點分析系統(tǒng)研究[D];北京交通大學(xué);2007年

5 胡曉博;面向特定領(lǐng)域的專業(yè)搜索引擎的架構(gòu)與實現(xiàn)方法[D];哈爾濱工程大學(xué);2007年

6 程錦;面向網(wǎng)絡(luò)化制造資源的垂直搜索技術(shù)研究與應(yīng)用[D];貴州大學(xué);2007年

7 張霞;主題式搜索引擎中Web頁面檢索與推薦技術(shù)的研究[D];南京航空航天大學(xué);2007年

8 曹杰;基于Web挖掘的紡織專業(yè)搜索引擎設(shè)計[D];東華大學(xué);2008年

9 鄭健珍;定題爬蟲搜索策略研究[D];廈門大學(xué);2007年

10 薛濤;網(wǎng)絡(luò)服務(wù)智能監(jiān)測平臺的研究[D];北京交通大學(xué);2008年

【二級參考文獻】

相關(guān)期刊論文 前10條

1 孫會峰;許德剛;;基于WEB服務(wù)的中間件在異構(gòu)系統(tǒng)集成中的應(yīng)用[J];電腦開發(fā)與應(yīng)用;2006年03期

2 王平;賈化萍;;C/S和B/S結(jié)合模式下應(yīng)用系統(tǒng)的研究與開發(fā)[J];電腦與信息技術(shù);2006年01期

3 李名智;中文搜索引擎:現(xiàn)狀、問題及對策[J];大學(xué)圖書館學(xué)報;1998年06期

4 蘇云;搜索引擎Google檢索技巧研究[J];甘肅科技;2005年02期

5 肖儂,任浩,徐志偉,唐志敏,謝向輝,李偉;基于資源目錄技術(shù)的網(wǎng)格系統(tǒng)軟件設(shè)計與實現(xiàn)[J];計算機研究與發(fā)展;2002年08期

6 王意潔,肖儂,任浩,盧錫城;數(shù)據(jù)網(wǎng)格及其關(guān)鍵技術(shù)研究[J];計算機研究與發(fā)展;2002年08期

7 張敏,高劍峰,馬少平;基于鏈接描述文本及其上下文的Web信息檢索[J];計算機研究與發(fā)展;2004年01期

8 林彤,江志軍;Internet的搜索引擎[J];計算機工程與應(yīng)用;2000年05期

9 朱華宇,孫正興,張福炎;一個基于向量空間模型的中文文本自動分類系統(tǒng)[J];計算機工程;2001年02期

10 李盛韜,趙章界,余智華;基于主題的Web信息采集系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機工程;2003年17期

相關(guān)博士學(xué)位論文 前1條

1 陳定權(quán);自動主題搜索的應(yīng)用研究[D];中國科學(xué)院研究生院（文獻情報中心）;2003年

相關(guān)碩士學(xué)位論文 前8條

1 許林杰;中文文本分詞研究[D];山東師范大學(xué);2003年

2 武琳;網(wǎng)絡(luò)環(huán)境下信息檢索語言研究[D];鄭州大學(xué);2003年

3 戴振中;基于OGSA的網(wǎng)格計算核心技術(shù)研究[D];華東師范大學(xué);2004年

4 朱前線;以網(wǎng)格技術(shù)為基礎(chǔ)的數(shù)據(jù)挖掘技術(shù)在分布式的選擇性信息匯集過程中的應(yīng)用研究[D];武漢理工大學(xué);2005年

5 王斐;基于增量反饋和自適應(yīng)機制的主題爬蟲系統(tǒng)的設(shè)計與實現(xiàn)[D];南京理工大學(xué);2005年

6 王曉華;基于內(nèi)容的搜索引擎技術(shù)研究及其應(yīng)用[D];鄭州大學(xué);2005年

7 劉壁松;策略可擴展的搜索引擎研究和實現(xiàn)[D];清華大學(xué);2005年

8 史錦榮;基于多Agent智能搜索引擎模型研究[D];太原理工大學(xué);2005年

【相似文獻】

相關(guān)期刊論文 前10條

1 牛小梅;宋喜忠;;基于TCP的Java網(wǎng)絡(luò)通信研究[J];天中學(xué)刊;2011年05期

2 ASK;;在Windows 7中使用多線程加快文件復(fù)制[J];電腦迷;2011年15期

3 魏文勝;周蘇峽;;套接字在網(wǎng)絡(luò)通信中的應(yīng)用[J];電腦知識與技術(shù);2011年17期

4 張未名;宗國仕;;如何讓學(xué)生理解計算機套接字的作用[J];華章;2011年19期

5 陳喜春;錫泊;;基于C++實現(xiàn)的面向Agent編程[J];電腦知識與技術(shù);2011年23期

6 陳丹捷;謝毅;馮洪海;;《JAVA語言程序設(shè)計》教學(xué)中案例教學(xué)的探索與實踐[J];科技資訊;2011年22期

7 劉幺和;楚曉蕊;王莉;;基于三段式的物聯(lián)網(wǎng)設(shè)計方法[J];計算機系統(tǒng)應(yīng)用;2011年07期

8 陳軍;劉麗;劉曉亞;;基于套接字編程技術(shù)的網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計[J];信陽師范學(xué)院學(xué)報(自然科學(xué)版);2011年03期

9 王元鵬;;構(gòu)建基于雙向CATV網(wǎng)絡(luò)的校園視頻點播系統(tǒng)[J];中國教育信息化;2011年06期

10 ;業(yè)界動態(tài)[J];電子世界;2010年05期

相關(guān)會議論文 前10條

1 鄒紅霞;;.NET環(huán)境的通用異步套接字通信的實現(xiàn)[A];全國第三屆信號和智能信息處理與應(yīng)用學(xué)術(shù)交流會專刊[C];2009年

2 劉春霞;郭麗虹;;基于多線程和數(shù)據(jù)庫的Web搜索引擎的實現(xiàn)[A];第六屆全國計算機應(yīng)用聯(lián)合學(xué)術(shù)會議論文集[C];2002年

3 劉文紅;李中天;;IP多播技術(shù)在Windows NT/Windows95下的應(yīng)用[A];全國計算機網(wǎng)絡(luò)應(yīng)用年會論文集（2001）[C];2001年

4 付孟若;張其善;;基于多線程的通信網(wǎng)關(guān)系統(tǒng)的設(shè)計與實現(xiàn)[A];圖像 仿真 信息技術(shù)——第二屆聯(lián)合學(xué)術(shù)會議論文集[C];2002年

5 葉小嶺;張穎超;趙麗玲;劉雨華;;環(huán)境信息的共享與遠程訪問問題探討[A];第16屆中國過程控制學(xué)術(shù)年會暨第4屆全國故障診斷與安全性學(xué)術(shù)會議論文集[C];2005年

6 洪繼欽;韓亮;龔光紅;;Linux下RTI網(wǎng)絡(luò)功能實現(xiàn)[A];'2008系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2008年

7 林晟;張光新;;OPC在啤酒自動化控制系統(tǒng)中的應(yīng)用[A];中國儀器儀表學(xué)會第六屆青年學(xué)術(shù)會議論文集[C];2004年

8 姜德勝;成葉紅;孫秀霞;;一種基于Windows多線程的數(shù)據(jù)采集技術(shù)[A];第六屆全國計算機應(yīng)用聯(lián)合學(xué)術(shù)會議論文集[C];2002年

9 周大剛;龍昭華;;多線程在無線網(wǎng)絡(luò)處理中的應(yīng)用[A];’2004計算機應(yīng)用技術(shù)交流會議論文集[C];2004年

10 逯龍;;多串口通信在LED異步控制系統(tǒng)中的應(yīng)用[A];2008全國LED顯示應(yīng)用技術(shù)交流暨產(chǎn)業(yè)發(fā)展研討會文集[C];2008年

相關(guān)重要報紙文章 前10條

1 ;IBM向Power 5添加多線程功能[N];計算機世界;2003年

2 李紅;Windows XP SP2 多線程訪問提速秘技[N];中國電腦教育報;2005年

3 CPW記者　凡妮　;Sun Fire V490和V890采用突破性多線程芯片技術(shù)[N];電腦商報;2004年

4 旭;多核多線程 H3C高端路由器新特點[N];網(wǎng)絡(luò)世界;2007年

5 特約作者 王育文;讓游戲?qū)崿F(xiàn)網(wǎng)絡(luò)通訊功能[N];電腦報;2007年

6 郭長佑;多核與多線程——差別到底在哪里？[N];電子資訊時報;2006年

7 ;IBM多核多線程CPU將面世[N];計算機世界;2003年

8 張志剛;多線程走進網(wǎng)絡(luò)[N];中國計算機報;2006年

9 本報記者　　謝文硯;要重視并行環(huán)境開發(fā)[N];網(wǎng)絡(luò)世界;2006年

10 記者 張博;MIPS科技公司推出業(yè)界首款多線程 多處理器IP核[N];電子資訊時報;2008年

相關(guān)博士學(xué)位論文 前10條

1 劉禎;網(wǎng)絡(luò)處理器存儲子系統(tǒng)中Cache機制的研究[D];清華大學(xué);2006年

2 李鳳華;分布式信息系統(tǒng)安全的理論與關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2009年

3 蔣江;異構(gòu)集群系統(tǒng)中基于進程遷移機制的負(fù)載平衡算法的研究[D];國防科學(xué)技術(shù)大學(xué);2002年

4 夏均忠;基于網(wǎng)絡(luò)的軍車安全性能智能檢測和隱患預(yù)警系統(tǒng)的研究[D];天津大學(xué);2005年

5 朱霞;線程級并行的硬件技術(shù)研究[D];西北工業(yè)大學(xué);2003年

6 姚益平;高性能分布式交互仿真運行支撐平臺關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2003年

7 鄧濵;前瞻多線程編譯優(yōu)化技術(shù)的研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2001年

8 翟巍;三維GIS中大規(guī)模場景數(shù)據(jù)獲取、組織及調(diào)度方法的研究與實現(xiàn)[D];大連理工大學(xué);2003年

9 王穎;嵌入式可重構(gòu)計算系統(tǒng)的設(shè)計技術(shù)研究[D];復(fù)旦大學(xué);2009年

10 黃凱;面向特定應(yīng)用的MPSoC設(shè)計流程平臺研究[D];浙江大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 蘇慶堂;分布交互仿真中數(shù)據(jù)通信的研究與實現(xiàn)[D];昆明理工大學(xué);2005年

2 姚登舉;基于多線程的視頻會議控制系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱理工大學(xué);2007年

3 楊永霞;基于WINSOCKET技術(shù)的傳真管理系統(tǒng)的設(shè)計[D];大連理工大學(xué);2002年

4 安曉嶸;Easy Manager網(wǎng)絡(luò)管理系統(tǒng)的設(shè)計與實現(xiàn)[D];西北工業(yè)大學(xué);2006年

5 張永軍;一個基于TCP協(xié)議的分組文件共享系統(tǒng)的設(shè)計與實現(xiàn)[D];西南交通大學(xué);2003年

6 李強;DSRC協(xié)議應(yīng)用層研究與部分實現(xiàn)[D];西南交通大學(xué);2005年

7 吳超;衛(wèi)星測試數(shù)據(jù)接收及存儲的實現(xiàn)[D];湖南大學(xué);2005年

8 段晨升;基于vc軟件開發(fā)平臺的數(shù)據(jù)采集系統(tǒng)的設(shè)計與開發(fā)[D];內(nèi)蒙古大學(xué);2005年

9 雷旭;嵌入式Linux操作系統(tǒng)的研究與開發(fā)[D];長安大學(xué);2005年

10 馬文靜;大壩安全監(jiān)測仿真實驗系統(tǒng)的研究與開發(fā)[D];河海大學(xué);2006年

，

本文編號：2510161