網(wǎng)絡(luò)爬蟲是一種自動下載網(wǎng)絡(luò)資源的程序,是搜索引擎的基礎(chǔ)構(gòu)件之一。系統(tǒng)地介紹了網(wǎng)絡(luò)爬蟲的工作原理和發(fā)展現(xiàn)狀,詳細(xì)地闡述了一個高性能、可伸縮、分布式的網(wǎng)絡(luò)爬蟲的系統(tǒng)架構(gòu)和所面臨的關(guān)鍵問題。
【部分圖文】：

網(wǎng)絡(luò)爬蟲的結(jié)構(gòu)主要分為以下幾個部分:(1)下載模塊,(2)網(wǎng)頁分析模塊,(3)URL去重模塊,(4)URL分配模塊,如圖1所示。圖1　系統(tǒng)架構(gòu)圖3.1　下載模塊下載模塊負(fù)責(zé)抓取網(wǎng)頁,是整個系統(tǒng)的基本與關(guān)鍵部分,直接影響爬行效果。該模塊一般包含3個子模塊:(1)下載線程;(2)Host控制子模塊;(3)DNS解析子模塊。3.1.1　下載線程下載線程主要通過HTTP協(xié)議與Web服務(wù)器進(jìn)行通信。采用socket方式下載的網(wǎng)絡(luò)編程模型主要有同步IO、非阻塞IO、異步IO。同步IO采用每一線程對應(yīng)每一連接,編程簡單,且性能隨著CPU個數(shù)的增加而呈線性增加,但單個CPU的擴(kuò)展性差,隨著連接的增多線程的切換將是一個很大的開銷。非阻塞IO性能較之同步IO有一定提高,適合中等規(guī)模的網(wǎng)絡(luò)應(yīng)用。異步IO是操作系統(tǒng)專門為之優(yōu)化的一種模式
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張敏,高劍峰,馬少平;基于鏈接描述文本及其上下文的Web信息檢索[J];計算機(jī)研究與發(fā)展;2004年01期

2 張三峰;吳國新;;一種面向動態(tài)異構(gòu)網(wǎng)絡(luò)的容錯非對稱DHT方法[J];計算機(jī)研究與發(fā)展;2007年06期

3 余錦,史樹明;分布式網(wǎng)頁排序算法及其傳輸模式分析[J];計算機(jī)工程與應(yīng)用;2004年29期

4 萬源;萬方;王大震;;一種并行Crawler系統(tǒng)中的URL分配算法設(shè)計[J];計算機(jī)工程與應(yīng)用;2006年S1期

5 周雪忠;吳朝暉;;文本知識發(fā)現(xiàn):基于信息抽取的文本挖掘[J];計算機(jī)科學(xué);2003年01期

6 陳華,羅昶,王建勇,段暉,薛明;基于Web的百萬級FTP搜索引擎的設(shè)計與實現(xiàn)[J];計算機(jī)應(yīng)用;2000年09期

7 賀廣宜,羅莉;分布式搜索引擎的設(shè)計與實現(xiàn)[J];計算機(jī)應(yīng)用;2003年05期

8 李曉明,鳳旺森;兩種對URL的散列效果很好的函數(shù)[J];軟件學(xué)報;2004年02期

9 蔣宗禮;趙欽;肖華;王蕊;;高性能并行爬行器[J];計算機(jī)工程與設(shè)計;2006年24期

10 沈賀丹;潘亞楠;邵良杉;;關(guān)于搜索引擎的研究綜述[J];計算機(jī)技術(shù)與發(fā)展;2006年04期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王俊生;施運(yùn)梅;張仰森;;基于Hadoop的分布式搜索引擎關(guān)鍵技術(shù)[J];北京信息科技大學(xué)學(xué)報(自然科學(xué)版);2011年04期

2 赫楓齡,左萬利;利用超鏈接信息改進(jìn)網(wǎng)頁爬行器的搜索策略[J];吉林大學(xué)學(xué)報(信息科學(xué)版);2005年01期

3 孫鐵利,楊鳳芹;根據(jù)用戶隱式反饋建立和更新用戶興趣模型[J];東北師大學(xué)報(自然科學(xué)版);2003年03期

4 趙旭;陳肖飛;;基于Web的高校FTP搜索引擎的技術(shù)研究[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年22期

5 周翔;;基于Websphinx網(wǎng)絡(luò)爬蟲的研究與改進(jìn)[J];電腦知識與技術(shù);2008年28期

6 曹忠;趙文靜;;一種優(yōu)化的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2008年35期

7 彭耶萍;;個性化信息檢索系統(tǒng)中用戶興趣模型的建立[J];電腦知識與技術(shù);2009年20期

8 曹宇;尹剛;李翔;程榮斌;王懷民;;聚類搜索引擎研究進(jìn)展淺析[J];電腦知識與技術(shù);2011年22期

9 高玉良;張濟(jì)強(qiáng);白瑤;;基于Lucene的多索引搜索的研究與應(yīng)用[J];電腦知識與技術(shù);2012年07期

10 張智江;王志軍;張尼;;一種可應(yīng)用于大流量環(huán)境的雙層散列算法研究[J];電信科學(xué);2011年S1期

相關(guān)博士學(xué)位論文 前10條

1 張長利;面向特定領(lǐng)域的互聯(lián)網(wǎng)輿情分析技術(shù)研究[D];吉林大學(xué);2011年

2 王修君;高效數(shù)據(jù)流和海量文本處理算法研究[D];中國科學(xué)技術(shù)大學(xué);2011年

3 吳超;信息檢索中top-k問題的并行算法及優(yōu)化研究[D];中國科學(xué)技術(shù)大學(xué);2011年

4 李常寶;基于索引的web服務(wù)發(fā)現(xiàn)研究[D];北京郵電大學(xué);2011年

5 吳永輝;面向?qū)I(yè)領(lǐng)域的網(wǎng)絡(luò)信息采集及主題檢測技術(shù)研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2010年

6 許笑;分布式Web信息采集關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

7 寇月;Deep Web實體搜索的關(guān)鍵技術(shù)研究[D];東北大學(xué);2009年

8 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學(xué);2011年

9 賈自艷;Web信息智能獲取若干關(guān)鍵問題研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2004年

10 吳麗輝;個性化的Web信息采集技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

相關(guān)碩士學(xué)位論文 前10條

1 翁巖青;網(wǎng)頁抓取策略研究[D];哈爾濱工程大學(xué);2010年

2 司賀華;網(wǎng)絡(luò)內(nèi)容審計系統(tǒng)關(guān)鍵技術(shù)研究與實現(xiàn)[D];哈爾濱工程大學(xué);2010年

3 吳世勇;基于聚類分析的搜索引擎自動性能評價研究[D];江西師范大學(xué);2010年

4 王思麗;藏文網(wǎng)頁自動發(fā)現(xiàn)與采集技術(shù)研究[D];西北民族大學(xué);2010年

5 李永春;主題搜索引擎的研究與實現(xiàn)[D];哈爾濱理工大學(xué);2010年

6 王曉地;Web信息采集技術(shù)研究與實現(xiàn)[D];華南理工大學(xué);2010年

7 陶小波;電子就業(yè)文本挖掘系統(tǒng)關(guān)鍵技術(shù)研究與應(yīng)用[D];浙江工商大學(xué);2011年

8 楊曉丹;基于Lucene的主題搜索引擎模板的設(shè)計與實現(xiàn)[D];浙江工商大學(xué);2011年

9 郭海燕;搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)研究[D];西安電子科技大學(xué);2009年

10 劉嘉;Web結(jié)構(gòu)挖掘研究[D];西安電子科技大學(xué);2009年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 雷鳴,王建勇,趙江華,單松巍,陳葆玨;第三代搜索引擎與天網(wǎng)二期[J];北京大學(xué)學(xué)報(自然科學(xué)版);2001年05期

2 朱俊卿;搜索引擎Google研究[J];廣州大學(xué)學(xué)報(綜合版);2001年11期

3 李東升,盧錫城;P2P網(wǎng)絡(luò)中常量度數(shù)常量擁塞的DHT方法研究[J];中國科學(xué)E輯:信息科學(xué);2004年12期

4 胡冉;關(guān)于搜索引擎的幾個理論問題的綜述[J];晉圖學(xué)刊;2003年01期

5 李曉明,鳳旺森;兩種對URL的散列效果很好的函數(shù)[J];軟件學(xué)報;2004年02期

6 許晉軍,蘇新寧;信息搜索引擎綜述[J];計算機(jī)系統(tǒng)應(yīng)用;1999年04期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄭力明;易平;;基于HTMLParser信息提取的網(wǎng)絡(luò)爬蟲設(shè)計[J];微計算機(jī)信息;2009年15期

2 陳麗君;;深層網(wǎng)網(wǎng)絡(luò)爬蟲設(shè)計[J];計算機(jī)與信息技術(shù);2009年Z2期

3 陳哲;;垂直搜索中網(wǎng)頁抓取技術(shù)的研究[J];科技信息;2009年22期

4 賀財平;覃事剛;劉建勛;;Web服務(wù)搜索引擎的設(shè)計與實現(xiàn)[J];計算機(jī)應(yīng)用與軟件;2011年01期

5 劉明輝;張志平;張新民;;網(wǎng)絡(luò)資源聚合方法探析[J];機(jī)械管理開發(fā);2008年05期

6 王舜燕;李蕾;吳兵華;;基于ID3分類算法的深度網(wǎng)絡(luò)爬蟲設(shè)計[J];現(xiàn)代圖書情報技術(shù);2008年06期

7 詹恒飛;楊岳湘;方宏;;Nutch分布式網(wǎng)絡(luò)爬蟲研究與優(yōu)化[J];計算機(jī)科學(xué)與探索;2011年01期

8 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學(xué)院學(xué)報;2011年03期

9 王芳;陳海建;;深入解析Web主題爬蟲的關(guān)鍵性原理[J];微型電腦應(yīng)用;2011年07期

10 陳汶濱;夏學(xué)梅;;基于聚焦爬蟲的手機(jī)天氣預(yù)報系統(tǒng)[J];今日科苑;2009年02期

相關(guān)博士學(xué)位論文 前10條

1 鄧云;質(zhì)量可伸縮性視頻編碼與差錯控制技術(shù)研究[D];西南交通大學(xué);2009年

2 盧軍;高性能網(wǎng)絡(luò)存儲技術(shù)研究[D];電子科技大學(xué);2002年

3 焦寶祥;注凝成型制備高性能氧化鋁一氧化鋯復(fù)相陶瓷[D];南京工業(yè)大學(xué);2004年

4 聶建華;高性能MnZn鐵氧體材料的制備及機(jī)理研究[D];華中科技大學(xué);2004年

5 王發(fā)洲;高性能輕集料混凝土研究與應(yīng)用[D];武漢理工大學(xué);2003年

6 劉仲;基于對象存儲結(jié)構(gòu)的可伸縮集群存儲系統(tǒng)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

7 胡小梅;協(xié)同虛擬環(huán)境系統(tǒng)的可伸縮性研究[D];西北工業(yè)大學(xué);2007年

8 門薇薇;高性能聚苯并噁嗪的合成與表征[D];山東大學(xué);2008年

9 舒陽;高性能鋼筋混凝土結(jié)構(gòu)的耐久性研究[D];天津大學(xué);2007年

10 裴志軍;高性能CMOS圖像傳感器設(shè)計技術(shù)研究[D];天津大學(xué);2004年

相關(guān)碩士學(xué)位論文 前10條

1 龔秋艷;并行網(wǎng)絡(luò)爬蟲設(shè)計與實現(xiàn)[D];華東師范大學(xué);2010年

2 黃曉鵬;基于網(wǎng)絡(luò)爬蟲技術(shù)的內(nèi)容探測系統(tǒng)設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2010年

3 么士宇;基于分布式計算的網(wǎng)絡(luò)爬蟲技術(shù)研究[D];大連海事大學(xué);2011年

4 陳濤;面向網(wǎng)絡(luò)傳輸?shù)目缮炜s性視頻編碼研究[D];武漢大學(xué);2004年

5 周奇;可伸縮性軟件構(gòu)架的研究與其在.NET中的實現(xiàn)[D];重慶大學(xué);2004年

6 趙艷;基于網(wǎng)絡(luò)爬蟲的跨站腳本漏洞動態(tài)檢測技術(shù)研究[D];西南交通大學(xué);2011年

7 郭海燕;搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)研究[D];西安電子科技大學(xué);2009年

8 龔勇;搜索引擎中網(wǎng)絡(luò)爬蟲的研究[D];武漢理工大學(xué);2010年

9 王佳;支持Ajax技術(shù)的主題網(wǎng)絡(luò)爬蟲系統(tǒng)研究與實現(xiàn)[D];北京交通大學(xué);2011年

10 張媚;Ajax友好的網(wǎng)絡(luò)爬蟲設(shè)計與實現(xiàn)[D];暨南大學(xué);2011年

本文編號：2883169