發(fā)布時(shí)間：2017-12-05 19:19

  本文關(guān)鍵詞：一種基于P2P技術(shù)的分布式微博爬蟲系統(tǒng)

  更多相關(guān)文章： P2P技術(shù) Chord協(xié)議 微博爬蟲 負(fù)載均衡 模擬登錄

【摘要】：在互聯(lián)網(wǎng)技術(shù)飛速發(fā)展的今天,微博已經(jīng)成為一種傳播公共信息的重要媒體。通過微博近乎實(shí)時(shí)的信息傳播渠道,相關(guān)部門可以利用微博來監(jiān)測(cè)輿情,針對(duì)突發(fā)事件快速做出應(yīng)對(duì)。因此高效、準(zhǔn)確地獲取微博數(shù)據(jù)以供研究分析至關(guān)重要。傳統(tǒng)網(wǎng)頁(yè)爬蟲技術(shù)無法獲得完整的微博信息,而微博API平臺(tái)有一定的功能制約,對(duì)連接次數(shù)也有限制,無法獲取海量的微博數(shù)據(jù)資源。針對(duì)以上問題,本文設(shè)計(jì)一種基于Chord協(xié)議的分布式網(wǎng)絡(luò)爬蟲模型Chord-Crawler,并通過一定的修改操作,將模型實(shí)際應(yīng)用到分布式微博爬蟲系統(tǒng)中,系統(tǒng)能夠高效、準(zhǔn)確、連續(xù)的獲取海量微博數(shù)據(jù)。爬蟲程序通過模擬登錄技術(shù)結(jié)合傳統(tǒng)的網(wǎng)絡(luò)爬蟲程序?qū)崿F(xiàn)了完整的微博數(shù)據(jù)爬取,并使用位圖法對(duì)數(shù)據(jù)進(jìn)行去重處理。系統(tǒng)在Chord協(xié)議的基礎(chǔ)上,利用一致性哈希函數(shù)配合微博用戶的省份位置信息作為任務(wù)分配的策略,通過不斷更新節(jié)點(diǎn)的省份-節(jié)點(diǎn)匹配表,減少任務(wù)的轉(zhuǎn)發(fā)消耗。系統(tǒng)通過本文提出的動(dòng)態(tài)插入均衡算法平衡網(wǎng)絡(luò)中各節(jié)點(diǎn)的負(fù)載,提高系統(tǒng)的整體效率。最后本文通過模擬實(shí)驗(yàn)證明了動(dòng)態(tài)插入均衡算法能夠高效地完成均衡負(fù)載的功能,并通過與其他三種結(jié)構(gòu)的比較體現(xiàn)了本文提出的分布式微博爬蟲系統(tǒng)的性能優(yōu)勢(shì),證明本系統(tǒng)的良好性能可以為微博數(shù)據(jù)分析提供數(shù)據(jù)支持。
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP393.092;TP391.3

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 黃琰;周學(xué)海;李曦;;動(dòng)態(tài)概率探測(cè)解決Chord斷環(huán)問題[J];計(jì)算機(jī)工程與應(yīng)用;2006年36期

2 王菁;楊壽保;郭磊濤;周金洋;;基于延遲敏感的雙向查詢Chord系統(tǒng)[J];小型微型計(jì)算機(jī)系統(tǒng);2007年04期

3 劉云;馬義忠;，

本文編號(hào)：1255903