本文選題：分布式網(wǎng)絡(luò)蜘蛛 + 網(wǎng)頁(yè)質(zhì)量　； 參考：《計(jì)算機(jī)應(yīng)用》2010年S2期

【摘要】：針對(duì)互聯(lián)網(wǎng)日益增長(zhǎng)的網(wǎng)頁(yè)數(shù)量,提出了一種采用分布式技術(shù)設(shè)計(jì)實(shí)現(xiàn)的分布式網(wǎng)絡(luò)蜘蛛(DWS)。該系統(tǒng)作為搜索引擎的前端,快速有效地下載網(wǎng)頁(yè),以獲得整個(gè)Internet更加完整的映像。DWS設(shè)置中央控制節(jié)點(diǎn)來(lái)協(xié)調(diào)各個(gè)Web Spider的行為,以寬度優(yōu)先搜素獲得高質(zhì)量的網(wǎng)頁(yè),通過(guò)對(duì)域名系統(tǒng)(DNS)緩存來(lái)提高訪問(wèn)Web Server的速度,增加并行線程數(shù)量增加下載速度,并能動(dòng)態(tài)地加入Web Spider節(jié)點(diǎn)或子中央控制節(jié)點(diǎn),具有很強(qiáng)的靈活性和擴(kuò)張能力。
[Abstract]:In view of the increasing number of web pages on the Internet, a distributed web spider (DWS) is proposed, which is designed and implemented by distributed technology. As the front end of search engine, the system can download web pages quickly and effectively, so as to obtain a more complete image of the whole Internet. DWS sets up central control nodes to coordinate the behavior of each Web Spider, and gives priority to the search of width to obtain high-quality web pages. Domain name system (DNS) cache is used to increase the speed of accessing Web Server, increase the number of parallel threads and increase download speed, and can dynamically join Web Spider nodes or sub-central control nodes, so it has strong flexibility and expansion ability.
【作者單位】： 中國(guó)科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所;中國(guó)科學(xué)院研究生院;
【基金】：四川省科技計(jì)劃項(xiàng)目(2008GZ0003) 四川省科技攻關(guān)項(xiàng)目(07GG006-019)
【分類(lèi)號(hào)】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 任平;吳陳;雷艷方;李叢;;基于可信度模型的HITS算法的改進(jìn)[J];科學(xué)技術(shù)與工程;2009年21期

2 劉輝林;孟莉;楊松波;王光興;;專(zhuān)業(yè)搜索引擎數(shù)據(jù)更新的算法P~2FC[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年02期

3 李曉明;單棟棟;;基于文檔重要度的靜態(tài)索引剪枝方法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年04期

4 張繼剛;搜索引擎使用技巧[J];網(wǎng)絡(luò)與信息;1999年09期

5 ;關(guān)鍵詞搜索[J];每周電腦報(bào);2000年38期

6 陳冰;;餓狼一樣的網(wǎng)站提交工具——“提交餓狼”[J];科學(xué)之友;2000年07期

7 許斗;從Google看新一代搜索引擎的發(fā)展趨向[J];蕪湖職業(yè)技術(shù)學(xué)院學(xué)報(bào);2001年01期

8 周毅華;從搜索引擎的分類(lèi)看其應(yīng)用技巧[J];圖書(shū)館理論與實(shí)踐;2002年06期

9 鄒小筑;搜索引擎的選擇與使用技巧[J];圖書(shū)館學(xué)研究;2002年05期

10 林燕;Google搜索引擎的搜索功能與使用技巧[J];河北科技圖苑;2003年05期

相關(guān)會(huì)議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國(guó)中醫(yī)藥信息研究會(huì)第二屆理事大會(huì)暨學(xué)術(shù)交流會(huì)議論文匯編[C];2003年

3 鄧長(zhǎng)壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

4 維尼拉·木沙江;吐?tīng)柡椤の崴韭?;維、哈、柯文搜索引擎中網(wǎng)頁(yè)爬行器的設(shè)計(jì)與實(shí)現(xiàn)[A];少數(shù)民族青年自然語(yǔ)言處理技術(shù)研究與進(jìn)展——第三屆全國(guó)少數(shù)民族青年自然語(yǔ)言信息處理、第二屆全國(guó)多語(yǔ)言知識(shí)庫(kù)建設(shè)聯(lián)合學(xué)術(shù)研討會(huì)論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計(jì)算機(jī)學(xué)會(huì)2008年年會(huì)論文集[C];2008年

6 姚樹(shù)宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集[C];2005年

7 倪俊峰;;基于黃頁(yè)搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

8 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

9 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報(bào)編輯論叢（第十一集）[C];2003年

相關(guān)重要報(bào)紙文章 前10條

1 李一鑫;搜索排名的紅與黑[N];財(cái)經(jīng)時(shí)報(bào);2007年

2 周文林;搜狗3.0能否撼動(dòng)搜索市場(chǎng)[N];經(jīng)濟(jì)參考報(bào);2007年

3 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財(cái)經(jīng)日?qǐng)?bào);2005年

4 賽迪顧問(wèn)股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢(xún)中心 常燕杰;搜索，還是門(mén)戶[N];中國(guó)計(jì)算機(jī)報(bào);2005年

5 陳珊;浙江移動(dòng)推出手機(jī)搜索引擎服務(wù)[N];人民郵電;2005年

6 趙法忠;搜索引擎還需悠著點(diǎn)[N];中國(guó)經(jīng)營(yíng)報(bào);2005年

7 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報(bào);2006年

8 本報(bào)記者　 趙曉輝 孟昭麗;搜索引擎駛?cè)搿氨茱L(fēng)港”[N];中國(guó)證券報(bào);2006年

9 孫t;搜索引擎驚喜侵權(quán)官司止于“避風(fēng)港”？[N];第一財(cái)經(jīng)日?qǐng)?bào);2006年

10 姜蕊;問(wèn)天下誰(shuí)識(shí)搜索？[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類(lèi)算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

5 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

6 王昤璞;基于用戶體驗(yàn)的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評(píng)估研究[D];吉林大學(xué);2010年

7 李莎莎;面向搜索引擎的自然語(yǔ)言處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

8 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

9 費(fèi)巍;搜索引擎檢索功能的性能評(píng)價(jià)研究[D];武漢大學(xué);2010年

10 黃河;農(nóng)業(yè)復(fù)雜自適應(yīng)搜索模型研究及實(shí)現(xiàn)[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 薛云;Internet上元搜索引擎的研究與設(shè)計(jì)[D];太原理工大學(xué);2003年

2 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

3 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

4 董晨;基于模糊聚類(lèi)的個(gè)性化搜索引擎的研究[D];福州大學(xué);2005年

5 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

6 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

7 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

8 李建平;智能化WEB信息搜索引擎的研究與實(shí)現(xiàn)[D];大慶石油學(xué)院;2003年

9 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實(shí)踐[D];新疆大學(xué);2004年

10 歐建斌;基于Web挖掘與信息分類(lèi)的個(gè)性化搜索引擎研究[D];暨南大學(xué);2010年

，

本文編號(hào)：1895327