本文關鍵詞：分布式爬蟲任務調(diào)度策略的優(yōu)化

  更多相關文章： 分布式爬蟲 任務調(diào)度策略 SP-cycle算法 負載均衡

【摘要】：針對當前分布式爬蟲任務調(diào)度策略存在的節(jié)點任務分配不均、發(fā)生異常后引起的負載均衡問題,提出了一種基于SP-cycle算法的節(jié)點地址空間分配策略。通過該策略構造環(huán)形序列取代傳統(tǒng)散列函數(shù)的節(jié)點地址空間映射方法,可使所有抓取服務器分配的地址空間達到動態(tài)均等,從而實現(xiàn)可調(diào)度節(jié)點的負載均衡。實驗結果表明,相對于傳統(tǒng)一致性哈希方法,改進的任務調(diào)度策略具有更好的負載均衡效果,并且發(fā)生異常時具有較好的健壯性,有效地提升了分布式爬蟲整體性能。
【作者單位】： 東北林業(yè)大學信息與計算機工程學院;
【關鍵詞】： 分布式爬蟲 任務調(diào)度策略 SP-cycle算法 負載均衡
【基金】：“十二五”農(nóng)村領域國家科技計劃資助項目(2012AA102003-2)
【分類號】：TP391.3
【正文快照】： 0引言隨著互聯(lián)網(wǎng)發(fā)展,信息量呈指數(shù)級增長,搜索引擎作為獲取信息的重要工具,須提高網(wǎng)頁收集的全面性和及時性才能滿足人們的求知需求。網(wǎng)絡爬蟲作為搜索引擎的核心,負責從互聯(lián)網(wǎng)上搜索網(wǎng)頁下載網(wǎng)頁數(shù)據(jù)更新搜索引擎的數(shù)據(jù)源,因此爬蟲的性能面臨著巨大的挑戰(zhàn)。優(yōu)秀的爬蟲系統(tǒng)應

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉心松,陳勇,劉艷紅;一種啟發(fā)式任務調(diào)度策略[J];電子學報;1992年02期

2 晏燕;引入任務滿意度探討任務調(diào)度策略[J];福建電腦;2004年12期

3 吳小惠;;分布式網(wǎng)絡爬蟲系統(tǒng)的任務調(diào)度策略改進[J];上饒師范學院學報;2010年03期

4 蘇蕊,徐煒民,錢曉競;基于雙向匹配模型的任務調(diào)度策略的研究[J];計算機工程與設計;2005年08期

5 王朋;;云計算環(huán)境下任務調(diào)度策略研究[J];計算機與現(xiàn)代化;2013年07期

6 吳榮華;邵時;楊早;;基于中斷的實時任務調(diào)度策略[J];計算機應用與軟件;2007年01期

7 王永貴;張偉;韓瑞蓮;;云環(huán)境下綠色任務調(diào)度策略[J];計算機工程與應用;2012年34期

8 徐露露;陳俊;馮鐘葵;李安;;一種衛(wèi)星地面系統(tǒng)中實現(xiàn)任務調(diào)度策略可配置的方法[J];遙感信息;2012年06期

9 高強;;一種結合優(yōu)先級和QoS的任務調(diào)度策略[J];現(xiàn)代計算機(專業(yè)版);2013年01期

10 謝長生,馬進德,黃浩;基于μC__OS-II的任務調(diào)度策略研究[J];計算機工程與科學;2004年08期

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 薛景文;基于免疫算法的云計算任務調(diào)度策略研究[D];太原理工大學;2013年

2 吳鈞超;基于云用戶應用評估的云平臺任務調(diào)度策略研究[D];哈爾濱工業(yè)大學;2013年

3 楊煥;云計算環(huán)境下任務調(diào)度策略的研究[D];河南大學;2013年

4 王芳;云計算環(huán)境下任務調(diào)度策略的研究[D];內(nèi)蒙古農(nóng)業(yè)大學;2015年

5 唐小龍;基于PVM的任務調(diào)度策略的研究與實現(xiàn)[D];中南大學;2002年

6 吳世山;面向節(jié)能的云計算任務調(diào)度策略研究[D];哈爾濱工業(yè)大學;2013年

7 張?zhí)?云計算環(huán)境下節(jié)能任務調(diào)度策略研究[D];新疆大學;2013年

8 黎煌達;信息物理融合系統(tǒng)優(yōu)化調(diào)度算法的研究[D];廣東工業(yè)大學;2015年

9 孫世明;Linux集群系統(tǒng)任務調(diào)度策略的研究與設計[D];河海大學;2006年

10 李春豹;企業(yè)IT閑散資源整合系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2013年

，

本文編號：803740