【摘要】：針對分布式搜索引擎的任務調度及負載均衡問題,提出了基于GNP算法的分布式爬蟲調度策略和負載均衡的方法。利用網絡距離預估取代大規(guī)模的網絡距離測量,不僅提高了系統的響應速度,還減少了系統對廣域網造成的壓力。通過在廣域網上部署爬蟲節(jié)點,構建分布式搜索引擎,應用該調度策略進行實驗,驗證了系統性能有較大提高。
[Abstract]:Aiming at the problem of task scheduling and load balancing in distributed search engines, a distributed crawler scheduling strategy and a load balancing method based on GNP algorithm are proposed. The use of network distance prediction instead of large-scale network distance measurement not only improves the system response speed but also reduces the pressure caused by the system to the wide area network (WAN). By deploying crawler nodes on WAN, constructing distributed search engine, and applying the scheduling strategy to experiment, it is verified that the performance of the system has been greatly improved.
【作者單位】： 哈爾濱工業(yè)大學計算機科學與技術學院;國家計算機網絡應急技術處理協調中心黑龍江分中心;國家計算機網絡應急技術處理協調中心;
【基金】：國家“973”重點基礎研究發(fā)展計劃資助項目(G2005CB321806) 國家自然科學基金資助項目(60703014) 高等學校博士學科點專項科研基金資助課題(20070213044) 哈爾濱工業(yè)大學優(yōu)秀青年教師培養(yǎng)計劃(HITQNJS.2007.034)
【分類號】：TP391.3

【參考文獻】

相關會議論文 前1條

1 柯怡;林宇;金躍輝;程時端;;GNP算法與基于GNP的全局負載均衡技術[A];第九屆全國青年通信學術會議論文集[C];2004年

【相似文獻】

相關期刊論文 前10條

1 王];董志勇;;基于Quartz的網管系統任務調度的實現[J];電腦開發(fā)與應用;2011年07期

2 周智剛;;計算資源共享平臺中工作流任務調度研究[J];計算機工程與設計;2011年06期

3 劉艷軍;;嵌入式操作系統μC/OS-Ⅱ面向數控系統的改進[J];現代電子技術;2011年12期

4 邱小林;周亦人;;基于Xscale架構實訓的嵌入式操作系統研究[J];中國電力教育;2011年20期

5 李彥冬;雷航;;多核操作系統發(fā)展綜述[J];計算機應用研究;2011年09期

6 左偉;馮金富;潘博;;分布式開放實時系統調度策略研究[J];電光與控制;2011年09期

7 陳院慶;王紅蕾;;μC/OS-Ⅱ操作系統在dsPIC30F芯片上的移植[J];機械與電子;2010年S1期

8 張儀哲;;航空維修管理信息系統[J];大眾科技;2011年06期

9 孫利鋒;;嵌入式操作系統任務切換方法對比分析[J];單片機與嵌入式系統應用;2011年07期

10 李艷芳;蔣秀鳳;;基于離散粒子群和禁忌搜索的網格資源調度算法[J];計算機與現代化;2011年09期

相關會議論文 前10條

1 楊艦;黃道平;李小亞;;GDCS任務調度的SPN模型研究[A];第二十六屆中國控制會議論文集[C];2007年

2 賴華;王勇;;網格環(huán)境中基于改進螞蟻算法任務調度的研究[A];江蘇省現場統計研究會第十次學術年會論文集[C];2006年

3 王璐璐;張素偉;任頡;;網格調度算法[A];《制造業(yè)自動化與網絡化制造》學術交流會論文集[C];2004年

4 張道德;楊光友;蘇旭武;丁毅;;基于ARM架構移植μC／OS-Ⅱ的任務調度[A];2005年十二省區(qū)市機械工程學會學術年會論文集（湖北專集）[C];2005年

5 周雙娥;雷輝;;基于改進的遺傳-模擬退火的有序任務調度算法[A];2006年全國開放式分布與并行計算學術會議論文集（二）[C];2006年

6 楊俊;王駿;沈卓煒;汪蕓;;針對緊急通道的實時CORBA系統的改進[A];2009年全國開放式分布與并行計算機學術會議論文集(上冊)[C];2009年

7 王凱;徐濤;;μC/OS-Ⅱ任務調度機制的研究[A];中國電子學會第十七屆信息論學術年會論文集[C];2010年

8 趙宏偉;許錦洲;;一種基于在線仿真的多無人機任務調度方法研究[A];2009年中國高校通信類院系學術研討會論文集[C];2009年

9 賈根蓮;王開因;;企業(yè)數據中心建設過程中的關鍵問題[A];全國第十五屆計算機科學與技術應用學術會議論文集[C];2003年

10 寇曉蕤;王清賢;羅軍勇;范元書;;分布式網絡拓撲發(fā)現架構下的任務調度算法[A];2004中國控制與決策學術年會論文集[C];2004年

相關重要報紙文章 前4條

1 ;五大管理市場細分報告解讀[N];網絡世界;2007年

2 ;網秦手機殺毒軟件獲手機殺毒軟件優(yōu)秀用戶體驗獎[N];中國高新技術產業(yè)導報;2008年

3 ;自動化的定義難題[N];網絡世界;2008年

4 ;賽迪時代一站式網上審批系統[N];中國電腦教育報;2004年

相關博士學位論文 前10條

1 邱衛(wèi)東;實時操作系統協同設計中的若干問題研究[D];復旦大學;2005年

2 王磊;容錯實時系統可調度性分析研究[D];浙江大學;2005年

3 陳平;數據挖掘網格若干關鍵技術研究[D];北京郵電大學;2007年

4 袁逸萍;制造網格工作流研究及實現[D];上海大學;2006年

5 黎鶴;并行系統中負載調度問題的研究[D];中國科學技術大學;2008年

6 柏旭光;航空光電平臺數字集約化技術研究[D];中國科學院研究生院（長春光學精密機械與物理研究所）;2010年

7 吳巍煒;能量最優(yōu)化問題的算法研究[D];中國科學技術大學;2011年

8 周博;可重構計算的操作系統支持研究[D];復旦大學;2006年

9 林劍檸;仿真網格環(huán)境下資源管理若干關鍵技術研究[D];南京理工大學;2006年

10 程渤;服務網格工作流管理技術研究[D];電子科技大學;2006年

相關碩士學位論文 前10條

1 張祖禮;網格計算中帶有資源屬性選擇的任務調度的設計與實現[D];哈爾濱工業(yè)大學;2010年

2 賈志強;嵌入式操作系統μCOS的移植與測試[D];太原理工大學;2004年

3 陽明曄;基于DSP的導引頭信息處理機軟件系統的設計與實現[D];國防科學技術大學;2003年

4 黃鵬;基于μC/OS-Ⅱ的車載實時操作系統研究[D];武漢理工大學;2006年

5 廖新糧;基于任務調度的自動測試方法及系統實現[D];電子科技大學;2011年

6 曲紹云;分布式異構系統中任務調度問題的研究[D];青島大學;2005年

7 張東波;基于CC2420的無線傳感器網絡系統設計與實現[D];電子科技大學;2007年

8 張旭;基于ARM7的嵌入式OS任務調度算法的剖析、移植與改進[D];沈陽工業(yè)大學;2005年

9 易嵩杰;漏洞檢測中間件的設計與實現[D];廣西大學;2005年

10 王鸚鵡;基于智能傳感器的實時系統任務調度分析[D];浙江大學;2006年

，

本文編號：2402438