提高分布式系統(tǒng)的模塊化程度可以改善各服務(wù)之間的通信性能,并提高可擴展性,這使得高性能、高可靠性的消息中間件更加重要。作為新興的消息中間件,RocketMQ因其功能強大、負(fù)載均衡能力突出,支持分布式事務(wù)而被廣泛使用。本文在分析了RocketMQ和消息隊列服務(wù)技術(shù)現(xiàn)狀的基礎(chǔ)上,研究了消息中間件的負(fù)載均衡技術(shù),結(jié)合某貸款系統(tǒng)中企業(yè)級服務(wù)之間的負(fù)載均衡需求,設(shè)計并實現(xiàn)了面向RocketMQ的負(fù)載均衡系統(tǒng)。本文的主要工作如下:（1）RocketMQ分布式服務(wù)集群以及消息特性分析。RocketMQ Broker集群搭建以及nameServer集群配置以及搭建,消息特性分析,包括順序性消息,重復(fù)性消息,以及分布式事務(wù)消息。（2）負(fù)載均衡實現(xiàn)。分析RocketMQ負(fù)載均衡的實現(xiàn),對RocketMQ負(fù)載均衡策略進行逐一分析,包括平均分配策略、輪詢策略、機房配置策略、手動配置策略、一致性hash策略。（3）RocketMQ負(fù)載均衡系統(tǒng)局部消息堆積負(fù)載降級設(shè)計與實現(xiàn)�；赗ocketMQ負(fù)載均衡,整合redis集群技術(shù),以及分布式定時任務(wù)調(diào)度器quartz來實現(xiàn)RocketMQ負(fù)載均衡系統(tǒng)的負(fù)載降級,提升R... 

【文章來源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：76 頁

【學(xué)位級別】：碩士

【部分圖文】：

原型方案

對于上面的方案暴露的問題,一種簡單的方式就是將M1、M2發(fā)送到同一個Server上:如圖2-2所示,這樣可以保證M1先于M2到達(dá)MQServer(客戶端等待M1成功后再發(fā)送M2),根據(jù)先達(dá)到先被消費的原則,M1會先于M2被消費,這樣就保證了消息的順序。這個模型,理論上可以保證消息的順序。(4)最終的順序消息解決方案

但又會引入另外一個問題,如果發(fā)送M1后,消費端1沒有響應(yīng),那是繼續(xù)發(fā)送M2呢,還是重新發(fā)送M1?一般為了保證消息一定被消費,肯定會選擇重發(fā)M1到另外一個消費端2,就如下圖2-3所示。這樣的模型就嚴(yán)格保證消息的順序,這里依然存在問題,消費端1沒有響應(yīng)Server時有兩種情況,一種是M1確實沒有到達(dá),另外一種情況是消費端1已經(jīng)響應(yīng),但是Server端沒有收到。如果是第二種情況,重發(fā)M1,就會造成M1被重復(fù)消費。也就是后面要說的第二個問題,消息重復(fù)問題�；剡^頭來看消息順序問題,嚴(yán)格的順序消息非常容易理解,而且處理問題也比較容易,要實現(xiàn)嚴(yán)格的順序消息,簡單且可行的辦法就是:保證生產(chǎn)者-MQServer-消費者是一對一對一的關(guān)系。但是這樣設(shè)計,并行度就成為了消息系統(tǒng)的瓶頸(吞吐量不夠),也會導(dǎo)致更多的異常處理,比如:只要消費端出現(xiàn)問題,就會導(dǎo)致整個處理流程阻塞,我們不得不花費更多的精力來解決阻塞的問題。但我們的最終目標(biāo)是要集群的高容錯性和高吞吐量。這似乎是一對不可調(diào)和的矛盾,有些問題,看起來很重要,但實際上我們可以通過合理的設(shè)計或者將問題分解來規(guī)避。如果硬要把時間花在解決它們身上,實際上是浪費的,效率低下的。從這個角度來看消息的順序問題,不難得出以下兩個結(jié)論:1.不關(guān)注亂序的應(yīng)用實際大量存在。2.隊列無序并不意味著消息無序。一般消息是通過輪詢所有隊列來發(fā)送的(負(fù)載均衡策略),順序消息可以根據(jù)業(yè)務(wù),比如說訂單號相同的消息發(fā)送到同一個隊列。

【參考文獻】：
期刊論文
[1]一種基于動態(tài)劃分的MapReduce負(fù)載均衡方法[J]. 周家?guī)?王琦,高軍.  計算機研究與發(fā)展. 2013(S1)
[2]云環(huán)境下機群彈性負(fù)載均衡機制[J]. 杜垚,郭濤,陳俊杰.  計算機應(yīng)用. 2013(03)
[3]云計算環(huán)境下的DPSO資源負(fù)載均衡算法[J]. 馮小靖,潘郁.  計算機工程與應(yīng)用. 2013(06)
[4]IBM消息中間件WebSphere MQ的應(yīng)用[J]. 高寧.  電腦知識與技術(shù). 2010(31)
[5]使用高性能Web服務(wù)器Nginx實現(xiàn)開源負(fù)載均衡[J]. 林麗麗.  大眾科技. 2010(07)
[6]服務(wù)器負(fù)載均衡技術(shù)研究[J]. 周瑩蓮,劉甫.  計算機與數(shù)字工程. 2010(04)
[7]服務(wù)器集群負(fù)載均衡技術(shù)研究及算法比較[J]. 李坤,王百杰.  計算機與現(xiàn)代化. 2009(08)
[8]基于消息中間件的異構(gòu)數(shù)據(jù)集成實現(xiàn)[J]. 王峰,劉娟.  電力信息化. 2009(07)
[9]支持多服務(wù)的消息中間件設(shè)計與實現(xiàn)[J]. 劉建華,畢會娟.  微計算機信息. 2009(09)
[10]面向大規(guī)模數(shù)據(jù)集成消息中間件系統(tǒng)設(shè)計實現(xiàn)[J]. 李建峰,許舒人,馬建剛.  計算機工程與設(shè)計. 2008(01)

碩士論文
[1]基于集群的動態(tài)反饋負(fù)載均衡算法的研究[D]. 魏欽磊.重慶大學(xué) 2013



本文編號：3300941