發(fā)布時(shí)間：2021-04-17 21:32

　　Storm作為開(kāi)源的分布式實(shí)時(shí)計(jì)算框架在處理流式數(shù)據(jù)方面具有明顯的優(yōu)勢(shì),但其默認(rèn)調(diào)度算法沒(méi)有將節(jié)點(diǎn)資源與任務(wù)實(shí)際相結(jié)合,仍存在節(jié)點(diǎn)資源利用率不高等問(wèn)題,在負(fù)載均衡方面存在較大提升空間。為此,提出了一種基于布谷鳥(niǎo)搜索算法的Storm集群動(dòng)態(tài)負(fù)載均衡策略（dynamic load balancing strategy for storm cluster based on cuckoo search algorithm,DLBSCSA）。該策略為達(dá)到集群節(jié)點(diǎn)負(fù)載的動(dòng)態(tài)均衡,將任務(wù)調(diào)度模擬為布谷鳥(niǎo)尋窩產(chǎn)卵的過(guò)程,綜合分析集群的CPU、網(wǎng)絡(luò)帶寬、內(nèi)存等資源的實(shí)時(shí)利用情況,通過(guò)布谷鳥(niǎo)搜索算法的尋優(yōu)過(guò)程自適應(yīng)地確定節(jié)點(diǎn)性能權(quán)重,并根據(jù)權(quán)重動(dòng)態(tài)分配任務(wù)。實(shí)驗(yàn)結(jié)果表明,該算法可以實(shí)現(xiàn)資源的合理分配,達(dá)到集群動(dòng)態(tài)的負(fù)載均衡,從而減小集群響應(yīng)時(shí)間,與默認(rèn)算法相比具有更高的集群吞吐量和更小的系統(tǒng)延遲。 

【文章來(lái)源】：計(jì)算機(jī)技術(shù)與發(fā)展. 2019,29(10)

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

用戶提交的Topology

逍閱蘢?好。而為了達(dá)到資源的動(dòng)態(tài)負(fù)載均衡，最主要的是根據(jù)集群運(yùn)轉(zhuǎn)情況實(shí)時(shí)地計(jì)算出最優(yōu)的資源分配權(quán)重。動(dòng)態(tài)負(fù)載均衡模型可以描述為:向m個(gè)節(jié)點(diǎn)分配n個(gè)任務(wù)，綜合多個(gè)性能指標(biāo)加權(quán)計(jì)算反映節(jié)點(diǎn)的負(fù)載向量L，通過(guò)尋找最優(yōu)的權(quán)重向量α，使負(fù)載向量L能夠正確地反映集群系統(tǒng)的負(fù)載。再利用選擇函數(shù)，根據(jù)歷史信息和動(dòng)態(tài)權(quán)重合理而均衡地選取節(jié)點(diǎn)來(lái)對(duì)負(fù)載進(jìn)行處理，使整個(gè)任務(wù)具有最短的處理時(shí)間和最大的吞吐量。由于權(quán)重向量α隨集群的負(fù)載情況而變化，需要對(duì)其進(jìn)行實(shí)時(shí)檢測(cè)并動(dòng)態(tài)地計(jì)算最新的α。動(dòng)態(tài)負(fù)載均衡模型如圖2所示。圖2動(dòng)態(tài)負(fù)載均衡模型動(dòng)態(tài)負(fù)載均衡的最終目的是減少集群響應(yīng)時(shí)間，做到任務(wù)的實(shí)時(shí)處理。為此將目標(biāo)函數(shù)定義為集群系統(tǒng)的平均響應(yīng)時(shí)間，目標(biāo)函數(shù)越小表示集群系統(tǒng)的總體性能越好。即F=∑Ｒes/m(3)其中，F(xiàn)為目標(biāo)函數(shù);Ｒes為集群系統(tǒng)響應(yīng)時(shí)間向量。由上文知，Ｒes由節(jié)點(diǎn)負(fù)載向量L，任務(wù)向量T和選擇函數(shù)Sel來(lái)確定，即:Ｒes=(L，T，Sel)(4)其中選擇函數(shù)Sel定義任務(wù)和節(jié)點(diǎn)間的映射關(guān)·661·計(jì)算機(jī)技術(shù)與發(fā)展第29卷

Ｆ渲幸桓?作為主節(jié)點(diǎn)運(yùn)行Nimbus進(jìn)程，實(shí)現(xiàn)資源分配以及任務(wù)調(diào)度;從節(jié)點(diǎn)執(zhí)行Nimbus分派的任務(wù)，啟動(dòng)和停止由其自身管理的Worker進(jìn)程。同時(shí)還搭建了Zookeeper集群，它們始終處于運(yùn)行狀態(tài)。文中選擇典型的大數(shù)據(jù)處理應(yīng)用WordCount來(lái)進(jìn)行實(shí)驗(yàn)，分別實(shí)現(xiàn)了默認(rèn)算法與文中算法的Word-Count程序并提交到Storm集群運(yùn)行。同時(shí)，為了避免其他不確定性對(duì)實(shí)驗(yàn)結(jié)果的干擾，將2個(gè)程序進(jìn)行多次實(shí)驗(yàn)，計(jì)算結(jié)果的平均值完成實(shí)驗(yàn)的結(jié)果分析。所有節(jié)點(diǎn)硬盤(pán)為20GB，網(wǎng)卡為10Gbit。在處理時(shí)延方面，文中算法與默認(rèn)調(diào)度算法的處理時(shí)延如圖3所示�？梢钥闯�，較之于默認(rèn)調(diào)度算法，文中算法的處理時(shí)延大體上有所下降，約降低20%～25%左右。圖3算法時(shí)延比較在系統(tǒng)吞吐量方面，文中基于布谷鳥(niǎo)搜索算法的Storm集群動(dòng)態(tài)負(fù)載均衡算法與默認(rèn)調(diào)度算法的吞吐量如圖4所示�？梢钥闯�，較之于默認(rèn)調(diào)度算法，文中算法的吞吐量在整體上有所提高，約提高了20%左右。針對(duì)負(fù)載均衡性能的測(cè)試，設(shè)計(jì)了四種對(duì)資源種類需求不一樣的Topology以評(píng)估文中算法在不同資源使用情況集群下的處理能力。其中，Topology1～Topology4分別屬于CPU密集型作業(yè)、內(nèi)存密集型作·861·計(jì)算機(jī)技術(shù)與發(fā)展第29卷

【參考文獻(xiàn)】：
期刊論文
[1]Storm下基于最佳并行度的貪心調(diào)度算法[J]. 熊安萍,段杭彪,蔣亞雄.  計(jì)算機(jī)應(yīng)用研究. 2019(04)
[2]Storm環(huán)境下基于權(quán)重的任務(wù)調(diào)度算法[J]. 魯亮,于炯,卞琛,英昌甜,師康利,蒲勇霖.  計(jì)算機(jī)應(yīng)用. 2018(03)
[3]模擬退火下布谷鳥(niǎo)算法求解車間作業(yè)調(diào)度問(wèn)題[J]. 施文章,韓偉,戴睿聞.  計(jì)算機(jī)工程與應(yīng)用. 2017(17)
[4]Storm環(huán)境下一種改進(jìn)的任務(wù)調(diào)度策略[J]. 劉月超,于炯,魯亮.  新疆大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(01)
[5]基于Storm拓?fù)浣Y(jié)構(gòu)熱邊的調(diào)度算法[J]. 熊安萍,王賢穩(wěn),鄒洋.  計(jì)算機(jī)工程. 2017(01)
[6]基于改進(jìn)布谷鳥(niǎo)搜索算法的云計(jì)算資源調(diào)度[J]. 趙莉.  南京理工大學(xué)學(xué)報(bào). 2016(04)
[7]基于布谷鳥(niǎo)搜索的多處理器任務(wù)調(diào)度算法[J]. 楊輝華,張曉鳳,謝譜模,韋向遠(yuǎn).  計(jì)算機(jī)科學(xué). 2015(01)
[8]大數(shù)據(jù)流式計(jì)算:關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J]. 孫大為,張廣艷,鄭緯民.  軟件學(xué)報(bào). 2014(04)



本文編號(hào)：3144174