發(fā)布時(shí)間：2024-03-16 01:23

　　針對(duì)云服務(wù)下分布式消息系統(tǒng)存在的節(jié)點(diǎn)間負(fù)載傾斜問題,提出基于副本角色的動(dòng)態(tài)負(fù)載均衡策略,并將算法應(yīng)用于Apache Kafka分布式流平臺(tái)中�；谙⑾到y(tǒng)的主要功能為讀寫及存儲(chǔ)消息,算法以CPU、磁盤、網(wǎng)絡(luò)讀寫流量為節(jié)點(diǎn)的主要負(fù)載因素,并根據(jù)不同的負(fù)載類型提出相應(yīng)的首領(lǐng)角色遷移策略和副本遷移策略。從時(shí)間代價(jià)、空間代價(jià)、服務(wù)可用性等多個(gè)角度論證該算法的可行性,并討論算法中涉及參數(shù)對(duì)算法執(zhí)行效果的影響。經(jīng)實(shí)驗(yàn)驗(yàn)證,所提算法能夠?qū)崿F(xiàn)集群中各節(jié)點(diǎn)的資源使用量均不大于規(guī)定閾值,并且與缺省系統(tǒng)相比,集群CPU占用率均方差下降72.1%,磁盤占用率均方差下降86.1%,網(wǎng)絡(luò)流入速度均方差下降79.2%,網(wǎng)絡(luò)流出速度均方差下降63.9%,優(yōu)化效果顯著。

【文章頁數(shù)】：7 頁

【部分圖文】：

圖1Kafka的架構(gòu)

如圖1所示,Kafka的架構(gòu)主要由4部分組成:生產(chǎn)者、代理(Broker)、消費(fèi)者,以及通過Zookeeper[16]集群來維護(hù)部分元數(shù)據(jù)信息。生產(chǎn)者主動(dòng)(push)發(fā)布消息到代理節(jié)點(diǎn),消費(fèi)者主動(dòng)從代理節(jié)點(diǎn)中拉取(pull)消息進(jìn)行消費(fèi)。每一條消息都會(huì)屬于一個(gè)主題,一個(gè)主題實(shí)際就....

圖2Kafka的多副本機(jī)制

圖1Kafka的架構(gòu)Kafka原生的負(fù)載均衡策略使用靜態(tài)的輪詢(Round-Robin)算法,即輪詢所有分區(qū),將每個(gè)分區(qū)的所有副本分配在不同的代理節(jié)點(diǎn)上。設(shè)代理節(jié)點(diǎn)總數(shù)為N,具體算法如下:

圖3負(fù)載均衡算法流程圖

負(fù)載均衡算法的流程圖如圖3所示。一個(gè)集群能夠被判定為負(fù)載均衡,應(yīng)同時(shí)滿足以下兩個(gè)目標(biāo)。

圖4原策略下各代理節(jié)點(diǎn)的負(fù)載情況

如圖3(a)所示,原系統(tǒng)使用的分區(qū)輪詢策略對(duì)磁盤占用率不均衡的問題的影響較為明顯。其中,Broker1的磁盤負(fù)載最高,P1-P10時(shí)刻Broker1的磁盤占用率均大于70%,且在P4時(shí)刻Broker1的磁盤占用量大于閾值80%,而負(fù)載較低的Broker5和Broker6在P1-P....

本文編號(hào)：3928903