發(fā)布時間：2017-12-04 17:01

  本文關(guān)鍵詞：基于改進Kademlia協(xié)議的分布式爬蟲

  更多相關(guān)文章： 分布式哈希表 PP 網(wǎng)絡(luò)爬蟲 Kademlia協(xié)議 去中心化

【摘要】：隨著互聯(lián)網(wǎng)信息的爆炸式增長,搜索引擎和大數(shù)據(jù)等學(xué)科迫切需要一種高效、穩(wěn)定、可擴展性強的爬蟲架構(gòu)來完成數(shù)據(jù)的采集和分析.本文借助于對等網(wǎng)絡(luò)的思路,使用分布式哈希表作為節(jié)點間的數(shù)據(jù)交互的載體,同時針對網(wǎng)絡(luò)爬蟲自身的特點,對分布式哈希表的一種實現(xiàn)——Kademlia協(xié)議進行改進以滿足分布式爬蟲的需求.在此基礎(chǔ)上設(shè)計并完善了具有可擴展性和容錯性的分布式爬蟲集群.在實際試驗中,進行了單機多線程實驗和分布式集群的實驗,從系統(tǒng)性能角度和系統(tǒng)負載角度進行分析,實驗結(jié)果表明了這種分布式集群方法的有效性.
【作者單位】： 中國科學(xué)院沈陽計算技術(shù)研究所;中國科學(xué)院大學(xué);
【基金】：沈陽市科技計劃(F14-056-7-00)
【分類號】：TP393.02;TP391.3
【正文快照】： 隨著互聯(lián)網(wǎng)時代的來臨,網(wǎng)絡(luò)信息呈指數(shù)級增長.傳統(tǒng)的網(wǎng)絡(luò)爬蟲已漸漸不能滿足互聯(lián)網(wǎng)搜索引擎和大數(shù)據(jù)分析的需要[1],而基于中心調(diào)度的主從式的爬蟲也因為網(wǎng)絡(luò)負載高、擴展相對困難、廣域網(wǎng)部署困難[2,3]等原因發(fā)展緩慢,因此全分布式、易擴展的網(wǎng)絡(luò)爬蟲架構(gòu)[4-6]成為了學(xué)術(shù)界和，

本文編號：1251681