本文關鍵詞：淺析如何應對網(wǎng)絡爬蟲流量

  更多相關文章： 網(wǎng)絡爬蟲 User-Agent 網(wǎng)絡策略

【摘要】：網(wǎng)絡爬蟲是搜索引擎和網(wǎng)站常用的搜索技術,它在為用戶提高高效便利的搜索服務的同時也產(chǎn)生了大量的網(wǎng)絡流量,這些大量的網(wǎng)絡流量既占用了網(wǎng)絡資源,又對網(wǎng)站性能產(chǎn)生了負面影響。對于內(nèi)容驅動型網(wǎng)站而言,網(wǎng)絡爬蟲的造訪是無法避免的,但可以通過分析網(wǎng)絡爬蟲的特點進而采取相應的應對措施。
【作者單位】： 張家口學院網(wǎng)絡信息中心;張家口學院理學系;
【關鍵詞】： 網(wǎng)絡爬蟲 User-Agent 網(wǎng)絡策略
【分類號】：TP391.3;TP393.06
【正文快照】： 1引言隨著科技的發(fā)展,大眾正面臨著一種信息爆炸的局面。在巨量數(shù)據(jù)面前,大眾面臨著一種尷尬局面,那就是互聯(lián)網(wǎng)中有大量的對自己有用的數(shù)據(jù),但是怎樣能正確和便捷的獲取到這些數(shù)據(jù)存在著困難。搜索引擎的出現(xiàn)很好地解決了這種局面,讓大眾通過搜索引擎搜索自己想要的數(shù)據(jù)。在互

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 戚欣;;基于本體的主題網(wǎng)絡爬蟲設計[J];武漢理工大學學報;2009年03期

2 彭軻;廖聞劍;;基于瀏覽器服務的網(wǎng)絡爬蟲[J];硅谷;2009年04期

3 王江紅;朱麗君;李彩虹;;一種新型網(wǎng)絡爬蟲的設計與實現(xiàn)[J];微計算機信息;2010年03期

4 孫立偉;何國輝;吳禮發(fā);;網(wǎng)絡爬蟲技術的研究[J];電腦知識與技術;2010年15期

5 楊靖韜;陳會果;;對網(wǎng)絡爬蟲技術的研究[J];科技創(chuàng)業(yè)月刊;2010年10期

6 于成龍;于洪波;;網(wǎng)絡爬蟲技術研究[J];東莞理工學院學報;2011年03期

7 李志義;;網(wǎng)絡爬蟲的優(yōu)化策略探略[J];現(xiàn)代情報;2011年10期

8 焦賽美;;網(wǎng)絡爬蟲技術的研究[J];瓊州學院學報;2011年05期

9 宋海洋;劉曉然;錢海俊;;一種新的主題網(wǎng)絡爬蟲爬行策略[J];計算機應用與軟件;2011年11期

10 王娟;吳金鵬;;網(wǎng)絡爬蟲的設計與實現(xiàn)[J];軟件導刊;2012年04期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 夏詔杰;郭力;李曉霞;;化學主題網(wǎng)絡爬蟲的研究[A];第十屆全國計算(機)化學學術會議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡爬蟲的設計與實現(xiàn)[A];2010年全國通信安全學術會議論文集[C];2010年

3 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評論信息的挖掘[A];內(nèi)容計算的研究與應用前沿——第九屆全國計算語言學學術會議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡爬蟲技術在搜索引擎中的應用[A];全國第21屆計算機技術與應用學術會議（CACIS·2010）暨全國第2屆安全關鍵技術與應用學術會議論文集[C];2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 陶俊文;基于Heritrix框架的專業(yè)鎮(zhèn)信息網(wǎng)絡爬蟲系統(tǒng)[D];華南理工大學;2015年

2 馬漢超;基于主題網(wǎng)絡爬蟲的汽車行業(yè)多元信息web系統(tǒng)設計與實現(xiàn)[D];西南交通大學;2015年

3 李威;基于交通流量圖的交通信息提取技術研究[D];長安大學;2015年

4 朱嶸良;分布式并行環(huán)境下的網(wǎng)絡爬蟲研究[D];中央民族大學;2015年

5 周思華;股票系統(tǒng)之熱門話題發(fā)現(xiàn)子系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

6 丁杰;基于網(wǎng)絡爬蟲的虛假網(wǎng)頁主動智能檢測[D];華北電力大學;2015年

7 唐華棟;網(wǎng)頁防抓取系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

8 白劍飛;基于層次主題模型的網(wǎng)絡新聞匯聚[D];浙江大學;2015年

9 袁野;企業(yè)內(nèi)網(wǎng)搜索引擎關鍵技術研究與實現(xiàn)[D];電子科技大學;2014年

10 滕以芳;基于本體的多媒體素材網(wǎng)絡爬蟲設計與實現(xiàn)[D];吉林大學;2015年

，

本文編號：764785