發(fā)布時間：2017-08-21 07:38

  本文關(guān)鍵詞：基于Node.JS的輕量級定向爬蟲算法的設(shè)計與應用

  更多相關(guān)文章： 網(wǎng)絡(luò)爬蟲 Web Magic 搜索引擎 Light Crawler

【摘要】：首先介紹了網(wǎng)絡(luò)爬蟲的定義,給出其分類及工作原理,最后在介紹垂直爬蟲Web magic框架的基礎(chǔ)上,設(shè)計并實現(xiàn)了基于Node.JS的輕量級網(wǎng)絡(luò)爬蟲,并應用于交通應急網(wǎng)站新聞抓取模塊,效果較好.
【作者單位】： 安徽新華學院;
【關(guān)鍵詞】： 網(wǎng)絡(luò)爬蟲 Web Magic 搜索引擎 Light Crawler
【基金】：安徽省教育廳自然基金項目(Kj2013b100) 安徽新華學院校級質(zhì)量工程項目(2014jgkcx06)
【分類號】：TP391.3
【正文快照】： 0引言隨著網(wǎng)絡(luò)技術(shù)飛速發(fā)展,互聯(lián)網(wǎng)上信息呈幾何倍數(shù)的增長,在浩瀚的知識海洋中快速獲取信息的需求下,搜索引擎孕育而生.搜索引擎(search engine)[1]作為一種輔助人們獲取互聯(lián)網(wǎng)信息的工具,其主要性能由三個部分構(gòu)成:一、搜索的范圍,只有搜索的規(guī)模達到一定的數(shù)量級,才能更好

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 戚欣;;基于本體的主題網(wǎng)絡(luò)爬蟲設(shè)計[J];武漢理工大學學報;2009年03期

2 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J];硅谷;2009年04期

3 王江紅;朱麗君;李彩虹;;一種新型網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];微計算機信息;2010年03期

4 孫立偉;何國輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];電腦知識與技術(shù);2010年15期

5 楊靖韜;陳會果;;對網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];科技創(chuàng)業(yè)月刊;2010年10期

6 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學院學報;2011年03期

7 李志義;;網(wǎng)絡(luò)爬蟲的優(yōu)化策略探略[J];現(xiàn)代情報;2011年10期

8 焦賽美;;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];瓊州學院學報;2011年05期

9 宋海洋;劉曉然;錢�？�;;一種新的主題網(wǎng)絡(luò)爬蟲爬行策略[J];計算機應用與軟件;2011年11期

10 王娟;吳金鵬;;網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];軟件導刊;2012年04期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 夏詔杰;郭力;李曉霞;;化學主題網(wǎng)絡(luò)爬蟲的研究[A];第十屆全國計算(機)化學學術(shù)會議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[A];2010年全國通信安全學術(shù)會議論文集[C];2010年

3 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評論信息的挖掘[A];內(nèi)容計算的研究與應用前沿——第九屆全國計算語言學學術(shù)會議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應用[A];全國第21屆計算機技術(shù)與應用學術(shù)會議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應用學術(shù)會議論文集[C];2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 陶俊文;基于Heritrix框架的專業(yè)鎮(zhèn)信息網(wǎng)絡(luò)爬蟲系統(tǒng)[D];華南理工大學;2015年

2 馬漢超;基于主題網(wǎng)絡(luò)爬蟲的汽車行業(yè)多元信息web系統(tǒng)設(shè)計與實現(xiàn)[D];西南交通大學;2015年

3 李威;基于交通流量圖的交通信息提取技術(shù)研究[D];長安大學;2015年

4 朱嶸良;分布式并行環(huán)境下的網(wǎng)絡(luò)爬蟲研究[D];中央民族大學;2015年

5 周思華;股票系統(tǒng)之熱門話題發(fā)現(xiàn)子系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

6 丁杰;基于網(wǎng)絡(luò)爬蟲的虛假網(wǎng)頁主動智能檢測[D];華北電力大學;2015年

7 唐華棟;網(wǎng)頁防抓取系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

8 白劍飛;基于層次主題模型的網(wǎng)絡(luò)新聞匯聚[D];浙江大學;2015年

9 袁野;企業(yè)內(nèi)網(wǎng)搜索引擎關(guān)鍵技術(shù)研究與實現(xiàn)[D];電子科技大學;2014年

10 滕以芳;基于本體的多媒體素材網(wǎng)絡(luò)爬蟲設(shè)計與實現(xiàn)[D];吉林大學;2015年

，

本文編號：711657