本文關(guān)鍵詞： 負(fù)載均衡 Hadoop集群 分區(qū)策略 蟻群算法 蜂群算法 融合算法　出處：《河北經(jīng)貿(mào)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：在云計算、大數(shù)據(jù)環(huán)境下,負(fù)載均衡問題逐漸成為研究的焦點之一。負(fù)載均衡是實現(xiàn)集群最優(yōu)調(diào)度的主要目標(biāo)之一,計算節(jié)點的負(fù)載不均衡,就會導(dǎo)致云平臺上任務(wù)執(zhí)行效率低、嚴(yán)重浪費資源等問題。當(dāng)Hadoop集群中任務(wù)規(guī)模很大并且較多節(jié)點負(fù)載較高時,進(jìn)一步優(yōu)化調(diào)度算法可有效避免集群節(jié)點間出現(xiàn)負(fù)載極其不均衡的情況。本文研究了Hadoop集群的負(fù)載均衡機(jī)制,并且對分區(qū)算法和智能算法分別進(jìn)行了相應(yīng)的改進(jìn),以提升集群的效率和性能。本文的主要內(nèi)容包括:(1)基于改進(jìn)分區(qū)策略的動態(tài)負(fù)載均衡算法研究針對Hadoop平臺自帶的分區(qū)算法未考慮數(shù)據(jù)值的密集程度而造成的數(shù)據(jù)非均勻劃分情況,本文提出對分區(qū)數(shù)目進(jìn)行擴(kuò)充,并在運行中加入動態(tài)任務(wù)轉(zhuǎn)移機(jī)制,充分利用空閑節(jié)點平衡高負(fù)載節(jié)點,以在保證負(fù)載均衡的同時,提高集群的資源利用率。(2)基于雙群融合智能算法的負(fù)載均衡優(yōu)化研究充分利用兩個不同智能算法各自的優(yōu)點,克服兩者的缺點,可以有效地提高現(xiàn)有算法的優(yōu)化效果。因此本文利用蟻群算法優(yōu)秀的全局搜索能力與蜂群算法優(yōu)秀的橫向搜索能力,將兩個智能算法進(jìn)行融合,提出了雙群融合智能算法,使二者充分發(fā)揮各自的優(yōu)勢,平衡集群的負(fù)載,提高集群資源的利用率,提升算法收斂效率,縮短任務(wù)執(zhí)行時間。最后搭建實驗環(huán)境Hadoop集群,使上述兩個算法分別在此集群環(huán)境下實現(xiàn),并進(jìn)行多次實驗對比了改進(jìn)前與改進(jìn)后的算法性能,兩個改進(jìn)算法均能有效平衡集群負(fù)載,提高集群的資源利用率,縮短作業(yè)的執(zhí)行時間。
[Abstract]:In cloud computing and big data environment, load balancing problem has gradually become one of the focus of research. Load balancing is one of the main objectives to realize the optimal scheduling of cluster, and the load balance of computing nodes is not balanced. It will lead to low efficiency of task execution on cloud platform, serious waste of resources and so on. When the task size in Hadoop cluster is very large and the load of more nodes is high, Further optimization scheduling algorithm can effectively avoid the extremely unbalanced load between cluster nodes. In this paper, the load balancing mechanism of Hadoop cluster is studied, and the partition algorithm and intelligent algorithm are improved respectively. In order to improve the efficiency and performance of the cluster. The main contents of this paper include: 1) dynamic load balancing algorithm based on improved partitioning strategy; data caused by partitioning algorithm based on Hadoop platform without considering the density of data values. Uneven division, In this paper, the number of partitions is expanded, and dynamic task transfer mechanism is added in the operation, which makes full use of idle nodes to balance the high load nodes, so as to ensure load balance at the same time. Research on load balancing Optimization based on dual swarm fusion intelligent algorithm; make full use of the advantages of two different intelligent algorithms to overcome the shortcomings of the two. Therefore, by using the excellent global search ability of ant colony algorithm and the excellent horizontal search ability of bee colony algorithm, the two intelligent algorithms are fused, and a dual colony fusion intelligent algorithm is proposed. So that they can give full play to their respective advantages, balance the load of the cluster, improve the utilization of cluster resources, improve the convergence efficiency of the algorithm, and shorten the task execution time. Finally, the experimental environment Hadoop cluster is built. The above two algorithms are implemented in this cluster environment respectively, and the performance of the improved algorithm before and after the improvement is compared through many experiments. The two improved algorithms can effectively balance the load of the cluster and improve the resource utilization ratio of the cluster. Shorten the execution time of the job.
【學(xué)位授予單位】：河北經(jīng)貿(mào)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.13;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 謝天宇;曹奇英;;基于Hadoop集群的分布式入侵檢測系統(tǒng)的設(shè)計與實現(xiàn)[J];微計算機(jī)信息;2012年09期

2 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動化;2014年05期

3 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務(wù);2012年10期

4 劉爾凱;崔振東;;基于HADOOP技術(shù) 實現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

5 鄒群;;一種基于Hadoop的數(shù)字圖書存儲系統(tǒng)設(shè)計方案[J];黑龍江史志;2014年01期

6 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費數(shù)據(jù)處理模型[J];計算機(jī)系統(tǒng)應(yīng)用;2014年05期

7 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動化;2014年06期

8 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計算機(jī)與網(wǎng)絡(luò);2013年08期

9 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學(xué);2010年12期

10 蘇小會;何婧媛;;Hadoop中任務(wù)調(diào)度算法的改進(jìn)[J];電子設(shè)計工程;2012年22期

相關(guān)重要報紙文章 前8條

1 本報記者 郭濤;機(jī)器大數(shù)據(jù)也離不開Hadoop[N];中國計算機(jī)報;2013年

2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年

3 本報記者 鄒大斌;Hadoop一體機(jī)降低大數(shù)據(jù)門檻[N];計算機(jī)世界;2012年

4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機(jī)世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計算機(jī)世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡(luò)世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機(jī)[N];網(wǎng)絡(luò)世界;2013年

8 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機(jī)報;2012年

相關(guān)博士學(xué)位論文 前9條

1 宋亞奇;云平臺下電力設(shè)備監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理技術(shù)研究[D];華北電力大學(xué)(北京);2016年

2 魏哲學(xué);樣本斷點距離問題的算法與復(fù)雜性研究[D];山東大學(xué);2015年

3 劉春明;基于增強學(xué)習(xí)和車輛動力學(xué)的高速公路自主駕駛研究[D];國防科學(xué)技術(shù)大學(xué);2014年

4 張敏霞;生物地理學(xué)優(yōu)化算法及其在應(yīng)急交通規(guī)劃中的應(yīng)用研究[D];浙江工業(yè)大學(xué);2015年

5 李紅;流程挖掘算法研究[D];云南大學(xué);2015年

6 卜晨陽;演化約束優(yōu)化及演化動態(tài)優(yōu)化求解算法研究[D];中國科學(xué)技術(shù)大學(xué);2017年

7 陳拉明;基于非凸優(yōu)化的稀疏重建理論與算法[D];清華大學(xué);2016年

8 劉新旺;多核學(xué)習(xí)算法研究[D];國防科學(xué)技術(shù)大學(xué);2013年

9 于濱;城市公交系統(tǒng)模型與算法研究[D];大連理工大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺的研究[D];天津理工大學(xué);2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡(luò)分析與建模[D];浙江大學(xué);2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學(xué);2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設(shè)計與實現(xiàn)[D];大連海事大學(xué);2015年

6 白亮;基于Hadoop的民航高價值旅客發(fā)現(xiàn)方法研究[D];中國民航大學(xué);2015年

7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預(yù)警系統(tǒng)應(yīng)用研究[D];江蘇科技大學(xué);2015年

8 董立明;基于HADOOP的分布式推薦引擎[D];復(fù)旦大學(xué);2013年

9 陸藝達(dá);基于Hadoop分布式計算框架的垃圾短信群發(fā)檢測系統(tǒng)[D];復(fù)旦大學(xué);2013年

10 沈德利;基于Hadoop的密文檢索關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2014年

，

本文編號：1499441