本文關鍵詞： 負載均衡 Hadoop集群 分區(qū)策略 蟻群算法 蜂群算法 融合算法　出處：《河北經(jīng)貿(mào)大學》2017年碩士論文　論文類型：學位論文

【摘要】：在云計算、大數(shù)據(jù)環(huán)境下,負載均衡問題逐漸成為研究的焦點之一。負載均衡是實現(xiàn)集群最優(yōu)調(diào)度的主要目標之一,計算節(jié)點的負載不均衡,就會導致云平臺上任務執(zhí)行效率低、嚴重浪費資源等問題。當Hadoop集群中任務規(guī)模很大并且較多節(jié)點負載較高時,進一步優(yōu)化調(diào)度算法可有效避免集群節(jié)點間出現(xiàn)負載極其不均衡的情況。本文研究了Hadoop集群的負載均衡機制,并且對分區(qū)算法和智能算法分別進行了相應的改進,以提升集群的效率和性能。本文的主要內(nèi)容包括:(1)基于改進分區(qū)策略的動態(tài)負載均衡算法研究針對Hadoop平臺自帶的分區(qū)算法未考慮數(shù)據(jù)值的密集程度而造成的數(shù)據(jù)非均勻劃分情況,本文提出對分區(qū)數(shù)目進行擴充,并在運行中加入動態(tài)任務轉(zhuǎn)移機制,充分利用空閑節(jié)點平衡高負載節(jié)點,以在保證負載均衡的同時,提高集群的資源利用率。(2)基于雙群融合智能算法的負載均衡優(yōu)化研究充分利用兩個不同智能算法各自的優(yōu)點,克服兩者的缺點,可以有效地提高現(xiàn)有算法的優(yōu)化效果。因此本文利用蟻群算法優(yōu)秀的全局搜索能力與蜂群算法優(yōu)秀的橫向搜索能力,將兩個智能算法進行融合,提出了雙群融合智能算法,使二者充分發(fā)揮各自的優(yōu)勢,平衡集群的負載,提高集群資源的利用率,提升算法收斂效率,縮短任務執(zhí)行時間。最后搭建實驗環(huán)境Hadoop集群,使上述兩個算法分別在此集群環(huán)境下實現(xiàn),并進行多次實驗對比了改進前與改進后的算法性能,兩個改進算法均能有效平衡集群負載,提高集群的資源利用率,縮短作業(yè)的執(zhí)行時間。
[Abstract]:In cloud computing and big data environment, load balancing problem has gradually become one of the focus of research. Load balancing is one of the main objectives to realize the optimal scheduling of cluster, and the load balance of computing nodes is not balanced. It will lead to low efficiency of task execution on cloud platform, serious waste of resources and so on. When the task size in Hadoop cluster is very large and the load of more nodes is high, Further optimization scheduling algorithm can effectively avoid the extremely unbalanced load between cluster nodes. In this paper, the load balancing mechanism of Hadoop cluster is studied, and the partition algorithm and intelligent algorithm are improved respectively. In order to improve the efficiency and performance of the cluster. The main contents of this paper include: 1) dynamic load balancing algorithm based on improved partitioning strategy; data caused by partitioning algorithm based on Hadoop platform without considering the density of data values. Uneven division, In this paper, the number of partitions is expanded, and dynamic task transfer mechanism is added in the operation, which makes full use of idle nodes to balance the high load nodes, so as to ensure load balance at the same time. Research on load balancing Optimization based on dual swarm fusion intelligent algorithm; make full use of the advantages of two different intelligent algorithms to overcome the shortcomings of the two. Therefore, by using the excellent global search ability of ant colony algorithm and the excellent horizontal search ability of bee colony algorithm, the two intelligent algorithms are fused, and a dual colony fusion intelligent algorithm is proposed. So that they can give full play to their respective advantages, balance the load of the cluster, improve the utilization of cluster resources, improve the convergence efficiency of the algorithm, and shorten the task execution time. Finally, the experimental environment Hadoop cluster is built. The above two algorithms are implemented in this cluster environment respectively, and the performance of the improved algorithm before and after the improvement is compared through many experiments. The two improved algorithms can effectively balance the load of the cluster and improve the resource utilization ratio of the cluster. Shorten the execution time of the job.
【學位授予單位】：河北經(jīng)貿(mào)大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.13;TP18

【相似文獻】

相關期刊論文 前10條

1 謝天宇;曹奇英;;基于Hadoop集群的分布式入侵檢測系統(tǒng)的設計與實現(xiàn)[J];微計算機信息;2012年09期

2 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動化;2014年05期

3 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務;2012年10期

4 劉爾凱;崔振東;;基于HADOOP技術 實現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

5 鄒群;;一種基于Hadoop的數(shù)字圖書存儲系統(tǒng)設計方案[J];黑龍江史志;2014年01期

6 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費數(shù)據(jù)處理模型[J];計算機系統(tǒng)應用;2014年05期

7 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動化;2014年06期

8 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計算機與網(wǎng)絡;2013年08期

9 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學;2010年12期

10 蘇小會;何婧媛;;Hadoop中任務調(diào)度算法的改進[J];電子設計工程;2012年22期

相關重要報紙文章 前8條

1 本報記者 郭濤;機器大數(shù)據(jù)也離不開Hadoop[N];中國計算機報;2013年

2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年

3 本報記者 鄒大斌;Hadoop一體機降低大數(shù)據(jù)門檻[N];計算機世界;2012年

4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計算機世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機[N];網(wǎng)絡世界;2013年

8 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機報;2012年

相關博士學位論文 前9條

1 宋亞奇;云平臺下電力設備監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理技術研究[D];華北電力大學(北京);2016年

2 魏哲學;樣本斷點距離問題的算法與復雜性研究[D];山東大學;2015年

3 劉春明;基于增強學習和車輛動力學的高速公路自主駕駛研究[D];國防科學技術大學;2014年

4 張敏霞;生物地理學優(yōu)化算法及其在應急交通規(guī)劃中的應用研究[D];浙江工業(yè)大學;2015年

5 李紅;流程挖掘算法研究[D];云南大學;2015年

6 卜晨陽;演化約束優(yōu)化及演化動態(tài)優(yōu)化求解算法研究[D];中國科學技術大學;2017年

7 陳拉明;基于非凸優(yōu)化的稀疏重建理論與算法[D];清華大學;2016年

8 劉新旺;多核學習算法研究[D];國防科學技術大學;2013年

9 于濱;城市公交系統(tǒng)模型與算法研究[D];大連理工大學;2006年

相關碩士學位論文 前10條

1 劉君;基于Hadoop技術的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺的研究[D];天津理工大學;2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡分析與建模[D];浙江大學;2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學;2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學;2015年

5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設計與實現(xiàn)[D];大連海事大學;2015年

6 白亮;基于Hadoop的民航高價值旅客發(fā)現(xiàn)方法研究[D];中國民航大學;2015年

7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預警系統(tǒng)應用研究[D];江蘇科技大學;2015年

8 董立明;基于HADOOP的分布式推薦引擎[D];復旦大學;2013年

9 陸藝達;基于Hadoop分布式計算框架的垃圾短信群發(fā)檢測系統(tǒng)[D];復旦大學;2013年

10 沈德利;基于Hadoop的密文檢索關鍵技術研究[D];西安電子科技大學;2014年

，

本文編號：1499441