【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,網(wǎng)頁(yè)數(shù)量急劇增加,搜索引擎的地位已經(jīng)不可取代,成為人們使用Internet的入口。網(wǎng)絡(luò)蜘蛛作為搜索引擎的信息來(lái)源是搜索引擎必不可少的組成部分。介紹網(wǎng)絡(luò)蜘蛛設(shè)計(jì)中的關(guān)鍵技術(shù)。另外,隨著用戶個(gè)性化需求越來(lái)越強(qiáng)以及網(wǎng)頁(yè)數(shù)量的急劇增加導(dǎo)致通用搜索引擎無(wú)法滿足特定用戶的需求,專業(yè)搜索引擎得到快速的發(fā)展。同時(shí)對(duì)于主題爬蟲(chóng)的研究也有很大的突破和進(jìn)展。主題爬蟲(chóng)有別于通用爬蟲(chóng),通用爬蟲(chóng)注重爬取的完整性,而主題爬蟲(chóng)強(qiáng)調(diào)網(wǎng)頁(yè)與特定主題的相關(guān)性。同時(shí)對(duì)主題爬蟲(chóng)的研究現(xiàn)狀進(jìn)行介紹和總結(jié)。
[Abstract]:With the rapid development of Internet technology, the number of web pages has increased dramatically, the status of search engines has become irreplaceable, and has become the entry point for people to use Internet. As the information source of search engine, web spider is an essential part of search engine. The key technology of web spider design is introduced. In addition, with the increasing demand for personalized users and the rapid increase in the number of web pages, the general search engine can not meet the needs of specific users, professional search engines have been rapidly developed. At the same time, there has been a great breakthrough and progress in the research of topic reptiles. Subject reptiles are different from common crawlers, which emphasize the integrity of crawling, while themed reptiles emphasize the relevance of web pages to specific topics. At the same time, the research status of the subject reptile is introduced and summarized.
【作者單位】： 四川大學(xué)計(jì)算機(jī)學(xué)院;
【分類號(hào)】：TP391.3;TP393.092

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 劉暢;;綜合搜索引擎與垂直搜索引擎的比較研究[J];情報(bào)科學(xué);2007年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 祝偉華;李嘉毅;劉斌斌;;二手汽車交易信息垂直搜索網(wǎng)的設(shè)計(jì)[J];重慶工學(xué)院學(xué)報(bào)(自然科學(xué)版);2008年08期

2 趙洋;滕桂法;張玉新;何冬梅;;基于Internet的農(nóng)業(yè)信息垂直搜索引擎的設(shè)計(jì)[J];河北農(nóng)業(yè)大學(xué)學(xué)報(bào);2009年06期

3 畢建濤;霍云福;;垂直搜索引擎贏利模式探討[J];大連大學(xué)學(xué)報(bào);2008年03期

4 陳洪猛;;基于垂直搜索技術(shù)的搜索引擎解決方案[J];電腦應(yīng)用技術(shù);2008年01期

5 劉金亮;吳芳;孟海江;;智能化垂直搜索系統(tǒng)的構(gòu)建[J];電腦知識(shí)與技術(shù);2010年02期

6 黃軒;;辛亥革命史主題爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2011年13期

7 王春暉;吳麒;朱鍇;;基于特征選擇優(yōu)化的主題描述算法[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年01期

8 縣小平;;主題搜索引擎的PageRank算法研究[J];甘肅高師學(xué)報(bào);2011年05期

9 王樹(shù)文;鄭闊實(shí);陳竟博;;面向教育主題的垂直搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];長(zhǎng)春師范學(xué)院學(xué)報(bào);2013年04期

10 康亞娟;;站內(nèi)搜索的研究與實(shí)現(xiàn)[J];信息技術(shù);2011年08期

相關(guān)會(huì)議論文 前1條

1 陳竹敏;馬軍;韓曉暉;雷景生;;面向主題爬取的多粒度URLs優(yōu)先級(jí)計(jì)算方法[A];第四屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集（上）[C];2008年

相關(guān)博士學(xué)位論文 前9條

1 吳羽;面向時(shí)間敏感對(duì)象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 寇月;Deep Web實(shí)體搜索的關(guān)鍵技術(shù)研究[D];東北大學(xué);2009年

4 彭濤;面向?qū)I(yè)搜索引擎的主題爬行技術(shù)研究[D];吉林大學(xué);2007年

5 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

6 管子玉;基于圖學(xué)習(xí)的Web信息檢索技術(shù)研究[D];浙江大學(xué);2010年

7 趙潔;面向Web的企業(yè)競(jìng)爭(zhēng)情報(bào)獲取研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

8 汲業(yè);面向圖像的垂直搜索引擎關(guān)鍵技術(shù)研究[D];大連海事大學(xué);2013年

9 李雁妮;深網(wǎng)數(shù)據(jù)集成與挖掘關(guān)鍵問(wèn)題的建模及算法研究[D];西安電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 呂芳芳;基于查詢擴(kuò)展的垂直搜索研究[D];山東科技大學(xué);2010年

2 檀康;基于深度網(wǎng)頁(yè)爬蟲(chóng)搜索引擎原型的研究和實(shí)現(xiàn)[D];東華大學(xué);2010年

3 盧承山;基于領(lǐng)域的主題信息采集技術(shù)研究[D];武漢理工大學(xué);2011年

4 邱偉林;面向領(lǐng)域的垂直搜索引擎的研究與實(shí)現(xiàn)[D];大連海事大學(xué);2011年

5 文星;基于位置感知的Web文本搜索技術(shù)研究[D];大連海事大學(xué);2011年

6 周兵;基于分布式精準(zhǔn)采集的垂直搜索引擎的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

7 劉歡;職位匹配系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華東師范大學(xué);2011年

8 郭艷芬;林業(yè)主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];北京林業(yè)大學(xué);2011年

9 劉志偉;數(shù)學(xué)搜索引擎研究[D];蘭州大學(xué);2011年

10 趙思佳;基于規(guī)則引擎的個(gè)性化網(wǎng)頁(yè)爬蟲(chóng)研究[D];中南大學(xué);2010年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 黃建蓮;中國(guó)搜索引擎服務(wù)市場(chǎng)的現(xiàn)狀及發(fā)展[J];華北科技學(xué)院學(xué)報(bào);2005年03期

2 郝鳳英;垂直網(wǎng)站及其信息服務(wù)模式[J];情報(bào)理論與實(shí)踐;2002年02期

3 肖冬梅;垂直搜索引擎研究[J];圖書館學(xué)研究;2003年02期

4 陳新顏;垂直搜索引擎辨析[J];現(xiàn)代情報(bào);2004年09期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳晨;;基于主題爬蟲(chóng)的個(gè)性化搜索引擎技術(shù)研究[J];黑龍江科技信息;2010年31期

2 趙思佳;尹婷;;基于規(guī)則引擎的個(gè)性化主題網(wǎng)頁(yè)爬蟲(chóng)的研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2011年03期

3 秦學(xué)勇;;基于互聯(lián)網(wǎng)資源的學(xué)科Ontology構(gòu)建研究[J];廊坊師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年02期

4 汪斌;張?jiān)苽?劉健;陳晶;;一種面向農(nóng)業(yè)信息主題網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)[J];安徽農(nóng)業(yè)科學(xué);2009年20期

5 高靈霞;;基于主題爬蟲(chóng)的個(gè)性化搜索引擎技術(shù)分析[J];電腦知識(shí)與技術(shù);2009年32期

6 何毅;;建筑院校主題搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[J];吉林建筑工程學(xué)院學(xué)報(bào);2010年05期

7 劉國(guó)靖;康麗;羅長(zhǎng)壽;;基于遺傳算法的主題爬蟲(chóng)策略[J];計(jì)算機(jī)應(yīng)用;2007年S2期

8 徐詩(shī)亮;;一種基于概念空間的主題爬蟲(chóng)設(shè)計(jì)方法[J];福建電腦;2008年10期

9 任輝;;基于關(guān)鍵詞的生物主題爬蟲(chóng)設(shè)計(jì)[J];圖書情報(bào)工作;2009年09期

10 池勇敏;郝泳濤;;分布式主題爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2010年12期

相關(guān)會(huì)議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國(guó)中醫(yī)藥信息研究會(huì)第二屆理事大會(huì)暨學(xué)術(shù)交流會(huì)議論文匯編[C];2003年

3 鄧長(zhǎng)壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

4 維尼拉·木沙江;吐?tīng)柡椤の崴韭?;維、哈、柯文搜索引擎中網(wǎng)頁(yè)爬行器的設(shè)計(jì)與實(shí)現(xiàn)[A];少數(shù)民族青年自然語(yǔ)言處理技術(shù)研究與進(jìn)展——第三屆全國(guó)少數(shù)民族青年自然語(yǔ)言信息處理、第二屆全國(guó)多語(yǔ)言知識(shí)庫(kù)建設(shè)聯(lián)合學(xué)術(shù)研討會(huì)論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計(jì)算機(jī)學(xué)會(huì)2008年年會(huì)論文集[C];2008年

6 姚樹(shù)宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集[C];2005年

7 倪俊峰;;基于黃頁(yè)搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

8 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

9 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報(bào)編輯論叢（第十一集）[C];2003年

相關(guān)重要報(bào)紙文章 前10條

1 李一鑫;搜索排名的紅與黑[N];財(cái)經(jīng)時(shí)報(bào);2007年

2 周文林;搜狗3.0能否撼動(dòng)搜索市場(chǎng)[N];經(jīng)濟(jì)參考報(bào);2007年

3 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財(cái)經(jīng)日?qǐng)?bào);2005年

4 賽迪顧問(wèn)股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;搜索，，還是門戶[N];中國(guó)計(jì)算機(jī)報(bào);2005年

5 陳珊;浙江移動(dòng)推出手機(jī)搜索引擎服務(wù)[N];人民郵電;2005年

6 趙法忠;搜索引擎還需悠著點(diǎn)[N];中國(guó)經(jīng)營(yíng)報(bào);2005年

7 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報(bào);2006年

8 本報(bào)記者　 趙曉輝 孟昭麗;搜索引擎駛?cè)搿氨茱L(fēng)港”[N];中國(guó)證券報(bào);2006年

9 孫t;搜索引擎驚喜侵權(quán)官司止于“避風(fēng)港”？[N];第一財(cái)經(jīng)日?qǐng)?bào);2006年

10 姜蕊;問(wèn)天下誰(shuí)識(shí)搜索？[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 王昤璞;基于用戶體驗(yàn)的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評(píng)估研究[D];吉林大學(xué);2010年

8 李莎莎;面向搜索引擎的自然語(yǔ)言處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

9 鄭文良;基于簡(jiǎn)單本體的農(nóng)業(yè)P2P搜索引擎關(guān)鍵技術(shù)研究[D];沈陽(yáng)農(nóng)業(yè)大學(xué);2013年

10 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

相關(guān)碩士學(xué)位論文 前10條

1 溫泉;基于聚焦相關(guān)度排序的搜索引擎研究與應(yīng)用[D];東華大學(xué);2010年

2 薛云;Internet上元搜索引擎的研究與設(shè)計(jì)[D];太原理工大學(xué);2003年

3 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

4 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

5 董晨;基于模糊聚類的個(gè)性化搜索引擎的研究[D];福州大學(xué);2005年

6 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

7 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

8 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

9 李建平;智能化WEB信息搜索引擎的研究與實(shí)現(xiàn)[D];大慶石油學(xué)院;2003年

10 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實(shí)踐[D];新疆大學(xué);2004年

本文編號(hào)：2400573