本文選題：搜索引擎 + 信息采集�。� 參考：《計(jì)算機(jī)工程與設(shè)計(jì)》2006年24期

【摘要】：爬行器是搜索引擎的重要組成部分,它在搜索引擎中負(fù)責(zé)網(wǎng)絡(luò)信息采集。詳細(xì)介紹了Chao,一個(gè)高性能并行爬行器的設(shè)計(jì)和實(shí)現(xiàn),包括它的系統(tǒng)框架、主要模塊、運(yùn)行流程、調(diào)度算法和URL檢索算法。Chao的調(diào)度算法采用兩次散列計(jì)算,不僅實(shí)現(xiàn)了負(fù)載平衡,而且在一定程度上避免了沖突;URL檢索融合了樹查找算法,在實(shí)現(xiàn)了快速檢索的同時(shí)減少了存儲(chǔ)空間需求。
[Abstract]:The crawler is an important part of the search engine. It is responsible for the collection of network information in the search engine. It introduces the design and implementation of Chao, a high-performance parallel crawler, including its system framework, the main modules, the running process, the scheduling algorithm and the URL search algorithm.Chao scheduling algorithm, which is not only implemented in the hash calculation, but not only realized. The load balance, and to a certain extent, avoids the conflict; URL retrieval combines tree search algorithms, which reduces the storage space requirements while realizing fast retrieval.

【作者單位】： 北京工業(yè)大學(xué) 北京工業(yè)大學(xué) 北京工業(yè)大學(xué) 北京工業(yè)大學(xué)
【分類號(hào)】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;創(chuàng)新工業(yè)搜索引擎[J];中國制造業(yè)信息化;2011年12期

2 胡風(fēng)華;王磊;;基于知識(shí)庫系統(tǒng)的智能搜索引擎研究[J];中國新技術(shù)新產(chǎn)品;2011年18期

3 方亞會(huì);;Google失敗后快速切換搜索引擎[J];電腦迷;2011年11期

4 李國鋒;李春偉;;網(wǎng)絡(luò)搜索引擎技術(shù)探析[J];廊坊師范學(xué)院學(xué)報(bào);2005年04期

5 冷國華;;網(wǎng)頁快照幫我快速獲取資料[J];電腦愛好者;2011年10期

6 閆淑紅;;基于搜索引擎的信息查詢技術(shù)研究[J];電腦開發(fā)與應(yīng)用;2011年07期

7 康亞娟;;淺談?wù)緝?nèi)信息搜索系統(tǒng)[J];硅谷;2011年13期

8 孫掌印;;搜索引擎Yahoo與Google的比較分析[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2011年17期

9 馮慶峰;;信息時(shí)代如何獲取信息[J];成功(教育);2011年08期

10 王巧玲;彭靜;王春紅;;中文分詞技術(shù)的研究及在Nutch中的實(shí)現(xiàn)[J];科技信息;2011年19期

相關(guān)會(huì)議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 鄧長壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

3 倪俊峰;;基于黃頁搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

4 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

5 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

6 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報(bào)編輯論叢（第十一集）[C];2003年

7 陳磊;茹立云;馬少平;;基于用戶日志挖掘的搜索引擎廣告效果分析[A];第四屆全國學(xué)生計(jì)算語言學(xué)研討會(huì)會(huì)議論文集[C];2008年

8 申琪君;;電子地圖搜索引擎比較[A];中國地理學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文摘要集[C];2007年

9 岑榮偉;劉奕群;張敏;茹立云;馬少平;;網(wǎng)絡(luò)搜索引擎用戶行為分析和研究[A];第五屆全國信息檢索學(xué)術(shù)會(huì)議論文集[C];2009年

10 薩曉靜;;網(wǎng)絡(luò)化生存下的圖書館改革之路[A];福建省圖書館學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 朱杰;搜索引擎應(yīng)用性能分析報(bào)告[N];中國計(jì)算機(jī)報(bào);2009年

2 記者 李建偉;第4代搜索引擎在鄭州問世[N];中國知識(shí)產(chǎn)權(quán)報(bào);2009年

3 記者 趙志鵬;媒體稱俄擬建國家搜索引擎[N];新華每日電訊;2010年

4 吳前;搜索引擎“碳排量”驚人[N];中國文化報(bào);2010年

5 記者 李大慶;新型搜索引擎能向用戶直接提供所需內(nèi)容[N];科技日?qǐng)?bào);2010年

6 深圳大學(xué)傳播學(xué)院、傳媒與文化發(fā)展研究中心 周裕瓊;誰動(dòng)了我的大腦[N];社會(huì)科學(xué)報(bào);2010年

7 李大慶;新型搜索引擎直接為用戶提供所需內(nèi)容[N];中國技術(shù)市場(chǎng)報(bào);2010年

8 余建斌;搜索引擎市場(chǎng)“烽煙四起”[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2010年

9 邁巴赫 編譯;搜索引擎20年[N];計(jì)算機(jī)世界;2010年

10 記者 秦羽　通訊員 施銀峰;全球搜索引擎營銷大會(huì)在甬舉行[N];寧波日?qǐng)?bào);2010年

相關(guān)博士學(xué)位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

8 白玉琪;空間信息搜索引擎研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

9 費(fèi)巍;搜索引擎檢索功能的性能評(píng)價(jià)研究[D];武漢大學(xué);2010年

10 黃河;農(nóng)業(yè)復(fù)雜自適應(yīng)搜索模型研究及實(shí)現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 趙欽;并行爬行器的架構(gòu)與優(yōu)化策略[D];北京工業(yè)大學(xué);2006年

2 薛建春;垂直搜索引擎中網(wǎng)絡(luò)蜘蛛的設(shè)計(jì)與實(shí)現(xiàn)[D];中國地質(zhì)大學(xué)（北京）;2007年

3 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

4 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

5 董晨;基于模糊聚類的個(gè)性化搜索引擎的研究[D];福州大學(xué);2005年

6 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

7 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

8 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

9 歐建斌;基于Web挖掘與信息分類的個(gè)性化搜索引擎研究[D];暨南大學(xué);2010年

10 張朝斌;企業(yè)級(jí)搜索引擎的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

，

本文編號(hào)：1821944