本文關(guān)鍵詞： 哈希算法 優(yōu)先級(jí)隊(duì)列 均衡 多主題 任務(wù)調(diào)度　出處：《計(jì)算機(jī)工程與設(shè)計(jì)》2015年06期 　論文類型：期刊論文

【摘要】：在分布式環(huán)境中,為提高資源利用率和網(wǎng)頁抓取效率,提出一種基于優(yōu)先級(jí)隊(duì)列的分布式多主題爬蟲調(diào)度算法PQ-MCSA。利用基于緩存的擴(kuò)展式哈希算法對(duì)整體任務(wù)集進(jìn)行切割,按照URL邏輯二級(jí)節(jié)點(diǎn)哈希映射法,將分割后的子任務(wù)集均勻地分配到各處理節(jié)點(diǎn)中;利用單處理節(jié)點(diǎn)的計(jì)算能力結(jié)合構(gòu)建的任務(wù)優(yōu)先級(jí)隊(duì)列進(jìn)行不同主題任務(wù)的調(diào)度。該算法改善了傳統(tǒng)分布式爬蟲對(duì)單節(jié)點(diǎn)的處理資源調(diào)度不充分、多主題任務(wù)爬取不均勻等缺點(diǎn)。實(shí)際項(xiàng)目的應(yīng)用結(jié)果表明,使用該方法能夠有效地提高各主題爬取結(jié)果的均衡度,具有較強(qiáng)的實(shí)用性。
[Abstract]:In distributed environment, in order to improve resource utilization and web crawling efficiency, a distributed multi-topic crawler scheduling algorithm PQ-MCSAbased on priority queue is proposed. The whole task set is cut by cache based extended hash algorithm. According to the URL logic two-level node hash mapping method, the partitioned sub-task set is uniformly assigned to each processing node. By using the computing power of single processing node and the constructed priority queue of tasks, the algorithm can solve the problem that the traditional distributed crawler can not schedule the processing resources of single node sufficiently. The application results of practical projects show that the proposed method can effectively improve the equalization degree of crawling results of various topics and has a strong practicability.
【作者單位】： 武漢大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國家自然科學(xué)基金項(xiàng)目(61272109)
【分類號(hào)】：TP393.092;TP391.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 柳少鋒;董劍;吳智博;;一種基于優(yōu)先級(jí)隊(duì)列的集群動(dòng)態(tài)反饋調(diào)度算法[J];智能計(jì)算機(jī)與應(yīng)用;2012年04期

2 孟祥乾;葉允明;鄧斌;;基于流水線負(fù)載平衡模型的并行爬蟲研究[J];計(jì)算機(jī)工程;2009年02期

3 梁根;秦勇;郭小雪;梁活民;;基于動(dòng)態(tài)多處理節(jié)點(diǎn)的分布式系統(tǒng)任務(wù)調(diào)度[J];計(jì)算機(jī)工程;2009年09期

4 白鶴;湯迪斌;王勁林;;分布式多主題網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2009年19期

5 王春娟;董麗麗;賈麗;;Web集群系統(tǒng)的負(fù)載均衡算法[J];計(jì)算機(jī)工程;2010年02期

6 劉爽;姜春祥;張偉哲;李東;張鴻;;基于GNP算法的分布式爬蟲調(diào)度策略[J];計(jì)算機(jī)應(yīng)用研究;2010年02期

7 金凡;顧進(jìn)廣;;一種改進(jìn)的T-Spider分布式爬蟲[J];微電子學(xué)與計(jì)算機(jī);2011年08期

相關(guān)博士學(xué)位論文 前1條

1 耿曉中;基于多核分布式環(huán)境下的任務(wù)調(diào)度關(guān)鍵技術(shù)研究[D];吉林大學(xué);2013年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董立巖;黃樂;王利民;毛銳;殷涵;;改進(jìn)的分布式系統(tǒng)負(fù)載平衡策略[J];北京工業(yè)大學(xué)學(xué)報(bào);2011年12期

2 金杉;任波;;基于進(jìn)程調(diào)度的ERP系統(tǒng)負(fù)載均衡算法[J];電力信息化;2010年07期

3 吳建;;基于Lucene的校園網(wǎng)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];湖南工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年02期

4 高垣;吳昊;楊建鋒;朱海洋;張進(jìn);;基于負(fù)反饋的WEB集群負(fù)載均衡算法[J];電子制作;2012年10期

5 陳泰安;;一種改進(jìn)的動(dòng)態(tài)反饋負(fù)載均衡算法[J];電子設(shè)計(jì)工程;2013年05期

6 聶得欣;;基于高可用性、負(fù)載均衡和共享存儲(chǔ)的三層WEB服務(wù)器集群設(shè)計(jì)[J];河南財(cái)政稅務(wù)高等�？茖W(xué)校學(xué)報(bào);2013年01期

7 李卓;何嘉;;基于無差別虛擬機(jī)的負(fù)載均衡調(diào)度算法研究[J];成都信息工程學(xué)院學(xué)報(bào);2014年S1期

8 劉林東;劉波;;一種多核處理器調(diào)度策略研究[J];廣東第二師范學(xué)院學(xué)報(bào);2014年05期

9 陳靜;王魯;孫萌;;支持測(cè)試節(jié)點(diǎn)按需調(diào)整的分布式測(cè)試調(diào)度模型[J];計(jì)算機(jī)工程與應(yīng)用;2012年06期

10 裴艷霞;劉椿年;;面向手機(jī)3D動(dòng)畫自動(dòng)生成的中文命名實(shí)體識(shí)別[J];計(jì)算機(jī)工程與應(yīng)用;2012年13期

相關(guān)會(huì)議論文 前1條

1 金杉;任波;;基于進(jìn)程調(diào)度的ERP系統(tǒng)負(fù)載均衡算法[A];2010電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2010年

相關(guān)博士學(xué)位論文 前1條

1 孫妮;B2C購物網(wǎng)站商品評(píng)價(jià)的效應(yīng)研究[D];對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 呂信;激光能量沉積光路追蹤法及其并行化[D];中國工程物理研究院;2009年

2 周兵;基于分布式精準(zhǔn)采集的垂直搜索引擎的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

3 蘇洪堂;招標(biāo)智能辦公系統(tǒng)的研究與應(yīng)用[D];太原科技大學(xué);2011年

4 李銳鑫;Web視頻資源的智能發(fā)現(xiàn)關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2010年

5 王燕茹;在線家居設(shè)計(jì)平臺(tái)中渲染模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2011年

6 胡亞楠;社交網(wǎng)絡(luò)數(shù)據(jù)獲取技術(shù)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2011年

7 吳昊;主題爬蟲URL分析模型與調(diào)度技術(shù)研究[D];哈爾濱工程大學(xué);2011年

8 李海波;基于MapReduce框架的分布式網(wǎng)絡(luò)爬行器研究[D];哈爾濱工程大學(xué);2011年

9 郝陽;高校教務(wù)管理網(wǎng)上選課系統(tǒng)優(yōu)化研究[D];山東科技大學(xué);2011年

10 楊頌;面向電子商務(wù)網(wǎng)站的增量爬蟲設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2010年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 葉允明,于水,馬范援,宋暉,張嶺;分布式Web Crawler的研究:結(jié)構(gòu)、算法和策略[J];電子學(xué)報(bào);2002年S1期

2 何琨;趙勇;;網(wǎng)格環(huán)境下資源調(diào)度問題的統(tǒng)一建模與分析[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年03期

3 王 X,喬 穎,王宏安,方 亭,鄒 冰,戴國忠;實(shí)時(shí)異構(gòu)系統(tǒng)的動(dòng)態(tài)調(diào)度算法研究[J];計(jì)算機(jī)研究與發(fā)展;2002年06期

4 李慶華,韓建軍,Abbas A.Essa;同構(gòu)計(jì)算環(huán)境中一種快速有效的靜態(tài)任務(wù)調(diào)度算法[J];計(jì)算機(jī)研究與發(fā)展;2005年01期

5 李冬梅;施�；�;;負(fù)載平衡調(diào)度問題的一般模型研究[J];計(jì)算機(jī)工程與應(yīng)用;2007年08期

6 蔣建春;汪同慶;;異構(gòu)多核處理器的任務(wù)調(diào)度算法[J];計(jì)算機(jī)工程與應(yīng)用;2009年33期

7 向建軍,白欣,左繼章;一種用于實(shí)時(shí)集群的多任務(wù)負(fù)載均衡算法[J];計(jì)算機(jī)工程;2003年12期

8 周集良,彭小寧,王正華;基于集群的負(fù)載平衡調(diào)度算法研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2005年12期

9 王晉鵬,潘龍法,李降龍;LVS集群中的動(dòng)態(tài)反饋調(diào)度算法[J];計(jì)算機(jī)工程;2005年19期

10 錢榕;徐新華;鄭瑩;楊炳儒;;智能專題化信息搜集Crawler[J];計(jì)算機(jī)工程;2006年03期

相關(guān)會(huì)議論文 前1條

1 柯怡;林宇;金躍輝;程時(shí)端;;GNP算法與基于GNP的全局負(fù)載均衡技術(shù)[A];第九屆全國青年通信學(xué)術(shù)會(huì)議論文集[C];2004年

相關(guān)博士學(xué)位論文 前4條

1 黃立波;片上集群體系結(jié)構(gòu)關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

2 顧雄禮;片上多處理器關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

3 吳佳駿;多核多線程處理器上任務(wù)調(diào)度技術(shù)研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

4 章軍;分布式內(nèi)存多處理機(jī)上并行任務(wù)靜態(tài)調(diào)度[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;1999年

相關(guān)碩士學(xué)位論文 前7條

1 趙磊;適應(yīng)多核處理器的任務(wù)調(diào)度研究[D];哈爾濱理工大學(xué);2010年

2 牛雪征;分布式計(jì)算機(jī)系統(tǒng)動(dòng)態(tài)負(fù)載平衡的研究[D];南京航空航天大學(xué);2003年

3 葉敏嬌;Manticore體系結(jié)構(gòu)設(shè)計(jì)[D];浙江大學(xué);2006年

4 王群霞;基于集群的不確定因素下的動(dòng)態(tài)負(fù)載平衡[D];浙江師范大學(xué);2007年

5 袁云;基于多核處理器并行系統(tǒng)的任務(wù)調(diào)度算法研究[D];華東師范大學(xué);2009年

6 覃中;基于多核系統(tǒng)的線程調(diào)度[D];電子科技大學(xué);2009年

7 王歷;基于樹形網(wǎng)絡(luò)的云計(jì)算環(huán)境下的任務(wù)調(diào)度策略[D];吉林大學(xué);2012年

【相似文獻(xiàn)】

相關(guān)期刊論文 前1條

1 陳宏;陳偉;;基于多主題追蹤的網(wǎng)絡(luò)新聞推薦[J];計(jì)算機(jī)應(yīng)用;2011年09期

，

本文編號(hào)：1524280