本文關(guān)鍵詞：一種爬蟲監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 網(wǎng)絡(luò)爬蟲 監(jiān)控系統(tǒng) Heritrix

【摘要】：隨著互聯(lián)網(wǎng)爆炸式的發(fā)展,網(wǎng)絡(luò)爬蟲的重要性越來越重要。一個(gè)搜索引擎搜索結(jié)果的數(shù)量以及質(zhì)量在一定程度上取決于網(wǎng)絡(luò)爬蟲爬取結(jié)果的質(zhì)量,而如何能更好的組織這些爬蟲也成了一件能影響爬蟲效率的事情。隨著在服務(wù)器上部署爬蟲的增加,對(duì)一個(gè)能夠有效管理爬蟲監(jiān)控系統(tǒng)的需求也就越來越緊迫。本文對(duì)爬蟲監(jiān)控系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)將會(huì)給爬蟲的管理帶來很大的方便。
【作者單位】： 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點(diǎn)實(shí)驗(yàn)室;東信北郵信息技術(shù)有限公司;
【關(guān)鍵詞】： 網(wǎng)絡(luò)爬蟲 監(jiān)控系統(tǒng) Heritrix
【基金】：國家973計(jì)劃項(xiàng)目(編號(hào):2013CB329102) 國家自然科學(xué)基金資助項(xiàng)目(No.61372120,61271019,61101119,61121001) 長(zhǎng)江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃資助(編號(hào):IRT1049) 教育部科學(xué)技術(shù)研究重點(diǎn)(重大)項(xiàng)目資助(編號(hào):MCM20130310) 北京高等學(xué)校青年英才計(jì)劃項(xiàng)目(編號(hào):YETP0473)
【分類號(hào)】：TP277
【正文快照】： ·2014年第12期·隨著互聯(lián)網(wǎng)中海量信息的爆炸性增長(zhǎng),通用搜索引擎面臨著更新速度、索引規(guī)模和個(gè)性化需求等方面的挑戰(zhàn)。面對(duì)這些挑戰(zhàn),主題爬蟲應(yīng)用而生。主題爬蟲是指適應(yīng)特定主題和個(gè)性化搜索的網(wǎng)絡(luò)爬蟲,基于主題網(wǎng)絡(luò)爬蟲的搜索引擎已經(jīng)成為當(dāng)前搜索引擎和Web信息挖掘的一個(gè)

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 葉圣來;建設(shè)廣電多廠商傳輸監(jiān)控系統(tǒng)[J];有線電視技術(shù);2002年13期

2 鄧清珊,熊文龍;中低壓配電監(jiān)控系統(tǒng)的研究[J];計(jì)算機(jī)測(cè)量與控制;2003年01期

3 彭懷軍,朱建生;客票值班監(jiān)控系統(tǒng)4.0版本的優(yōu)化設(shè)計(jì)[J];鐵路計(jì)算機(jī)應(yīng)用;2003年12期

4 李國棟;網(wǎng)絡(luò)模塊在60路數(shù)字音頻監(jiān)控系統(tǒng)中的應(yīng)用[J];電聲技術(shù);2004年02期

5 沈恒德,王振文,孫大鵬;航站樓低壓監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];小型微型計(jì)算機(jī)系統(tǒng);2004年02期

6 劉湘,胡生清,張會(huì)群;遠(yuǎn)程水位監(jiān)控系統(tǒng)[J];電子質(zhì)量;2004年05期

7 王雙慶,艾成聯(lián),王平;人防工程的空調(diào)監(jiān)控系統(tǒng)研究[J];工業(yè)控制計(jì)算機(jī);2004年05期

8 胡光,趙建軍,郭獻(xiàn)軍;基于Lab Windows/CVI高壓氧艙監(jiān)控系統(tǒng)的軟件設(shè)計(jì)[J];長(zhǎng)春理工大學(xué)學(xué)報(bào);2004年03期

9 畢大慶;王振宇;;一種面向未來的醫(yī)用監(jiān)控系統(tǒng)[J];電子工程師;2004年08期

10 高存厚;梁晨光;郭自強(qiáng);程志文;符合鵬;袁亮;;山西太舊高速公路視頻級(jí)聯(lián)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];中國交通信息產(chǎn)業(yè);2004年05期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 張鵬;王國平;楊選懷;林昌年;蒲天驕;徐正清;;微型電網(wǎng)監(jiān)控系統(tǒng)研究[A];經(jīng)濟(jì)發(fā)展方式轉(zhuǎn)變與自主創(chuàng)新——第十二屆中國科學(xué)技術(shù)協(xié)會(huì)年會(huì)（第四卷）[C];2010年

2 錢仕英;;小峽水電站監(jiān)控系統(tǒng)完善[A];中國水力發(fā)電工程學(xué)會(huì)信息化專委會(huì)2010年學(xué)術(shù)交流會(huì)論文集[C];2010年

3 董德立;;淺談?dòng)?jì)算機(jī)指揮調(diào)度監(jiān)控系統(tǒng)[A];海南省通信學(xué)會(huì)論文集（二○○一年）[C];2001年

4 楊周行;;480路數(shù)字微波監(jiān)控系統(tǒng)[A];1985年全國微波會(huì)議論文集[C];1985年

5 陸成剛;陳書宏;陳平;;汽車變速器裝配生產(chǎn)線監(jiān)控系統(tǒng)的設(shè)計(jì)[A];2009全國虛擬儀器大會(huì)論文集（二）[C];2009年

6 林宇翔;章岳光;顧培夫;唐晉發(fā);;薄膜濾光片淀積過程實(shí)時(shí)光學(xué)監(jiān)控系統(tǒng)[A];2004年光學(xué)儀器研討會(huì)論文集[C];2004年

7 魏巍;董紹彤;;10kV線路防盜監(jiān)控系統(tǒng)的研究[A];全面建設(shè)小康社會(huì)：中國科技工作者的歷史責(zé)任——中國科協(xié)2003年學(xué)術(shù)年會(huì)論文集（上）[C];2003年

8 呂江英;劉肖琳;賀漢根;;車輛駕駛仿真與監(jiān)控系統(tǒng)的設(shè)計(jì)[A];'2003系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2003年

9 楊如順;徐延峰;劉林;陸明;;安全防衛(wèi)監(jiān)控系統(tǒng)在物流生產(chǎn)過程中的應(yīng)用[A];自主創(chuàng)新與持續(xù)增長(zhǎng)第十一屆中國科協(xié)年會(huì)論文集（4）[C];2009年

10 高偉東;;淺論地市供電局營(yíng)銷監(jiān)控系統(tǒng)的建設(shè)[A];2009年云南電力技術(shù)論壇論文集（文摘部分）[C];2009年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 燕文;丁蜀建設(shè)全市最大規(guī)模技防監(jiān)控系統(tǒng)[N];宜興日?qǐng)?bào);2007年

2 侯玉嶺邋閻海江 通訊員 崔東雙;吉林初步建成藥品生產(chǎn)非現(xiàn)場(chǎng)監(jiān)控系統(tǒng)[N];中國醫(yī)藥報(bào);2008年

3 張俊保;主城區(qū)報(bào)警與監(jiān)控系統(tǒng)啟動(dòng)[N];邯鄲日?qǐng)?bào);2008年

4 馬斌;我市168家煤礦將安裝監(jiān)控系統(tǒng)[N];閩西日?qǐng)?bào);2008年

5 張虹;納雍縣建立煤炭稅費(fèi)和煤礦產(chǎn)量監(jiān)控系統(tǒng)[N];畢節(jié)日?qǐng)?bào);2008年

6 記者 黃律己　通訊員 任強(qiáng);金陵石化充分發(fā)揮監(jiān)控系統(tǒng)作用[N];中國石化報(bào);2009年

7 通訊員 楊曉慧　崔麗然 記者 高振發(fā);監(jiān)控系統(tǒng)與公安對(duì)接率將達(dá)100%[N];河北日?qǐng)?bào);2009年

8 記者 高永彥;紅果城市監(jiān)控系統(tǒng)工程驗(yàn)收基本合格[N];六盤水日?qǐng)?bào);2009年

9 梅文;黑龍江推廣產(chǎn)量稅費(fèi)監(jiān)控系統(tǒng)[N];中國煤炭報(bào);2010年

10 慶文;大慶市建筑工地全部安裝監(jiān)控系統(tǒng)[N];中華建筑報(bào);2010年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 于興治;國家行政監(jiān)控系統(tǒng)的分析理論與應(yīng)用研究[D];大連理工大學(xué);2010年

2 常光輝;大規(guī)模分布式可信監(jiān)控系統(tǒng)研究[D];重慶大學(xué);2011年

3 王彥;大型能耗監(jiān)控系統(tǒng)通信網(wǎng)絡(luò)及控制策略研究[D];湖南大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 余飛;高溫超導(dǎo)磁儲(chǔ)能裝置監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

2 張勇;南昌東外環(huán)繞城高速公路監(jiān)控系統(tǒng)的設(shè)計(jì)與研究[D];南昌大學(xué);2009年

3 王永嘉;監(jiān)控系統(tǒng)—客戶端設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2009年

4 栗巍;煤礦現(xiàn)場(chǎng)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2010年

5 鎖小軍;烏牛泵站監(jiān)控系統(tǒng)的開發(fā)與研究[D];西安理工大學(xué);2000年

6 趙晶晶;分布式煤礦現(xiàn)場(chǎng)集成監(jiān)控系統(tǒng)的研究開發(fā)[D];重慶大學(xué);2004年

7 劉茵;嵌入式的數(shù)字家庭監(jiān)控系統(tǒng)[D];西北工業(yè)大學(xué);2006年

8 黃維利;移動(dòng)工程機(jī)械廣域定位監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東南大學(xué);2006年

9 張華麗;郵電機(jī)房動(dòng)力監(jiān)控系統(tǒng)的理論研究與開發(fā)[D];西北工業(yè)大學(xué);2002年

10 王波;油庫貯運(yùn)監(jiān)控系統(tǒng)設(shè)計(jì)與工程實(shí)現(xiàn)[D];南京理工大學(xué);2004年

，

本文編號(hào)：716159