【摘要】：消息隊(duì)列利用其高效穩(wěn)定豐富的信息傳遞機(jī)制進(jìn)行平臺(tái)無關(guān)的數(shù)據(jù)交流,它基于消息的形式進(jìn)行分布式系統(tǒng)的集成。隨著業(yè)務(wù)數(shù)量和復(fù)雜度的增長(zhǎng),消息隊(duì)列作為分布式系統(tǒng)之間通信的橋梁,其用戶數(shù)量和自身部署規(guī)模也在快速增長(zhǎng):用戶遇到的問題需要依靠用戶支持來解決,因而用戶數(shù)量的增長(zhǎng)帶來了用戶支持總耗時(shí)的增長(zhǎng);另一方面消息隊(duì)列部署規(guī)模的增加給服務(wù)狀態(tài)監(jiān)控和服務(wù)的容量規(guī)劃等服務(wù)治理帶來很大的壓力,同時(shí)隨著部署規(guī)模到達(dá)一定閾值,人工的服務(wù)治理已經(jīng)難以滿足需求。本文基于消息隊(duì)列用戶數(shù)量和部署規(guī)模不斷增長(zhǎng)的背景,對(duì)比當(dāng)前消息隊(duì)列運(yùn)維相關(guān)產(chǎn)品的現(xiàn)狀,針對(duì)它們的缺點(diǎn)并結(jié)合螞蟻金服消息隊(duì)列運(yùn)維的需求,從設(shè)計(jì)和實(shí)現(xiàn)兩方面提出了螞蟻金服消息隊(duì)列運(yùn)維平臺(tái)這一解決方案。本文的主要工作如下:(1)針對(duì)平臺(tái)的擴(kuò)展性和維護(hù)性問題,本文提出了仿照函數(shù)式編程的無狀態(tài)系統(tǒng)架構(gòu),將后端的狀態(tài)抽離到共有的持久化存儲(chǔ),解決了平臺(tái)集群的擴(kuò)展、實(shí)例遷移和實(shí)例重啟狀態(tài)恢復(fù)的復(fù)雜性問題,實(shí)現(xiàn)了實(shí)例的低成本添加及銷毀,使運(yùn)維人員無需關(guān)心平臺(tái)的正確性問題,從而給平臺(tái)的運(yùn)維帶來了很大的便利。(2)針對(duì)消息隊(duì)列用戶數(shù)量增長(zhǎng)導(dǎo)致用戶支持力不從心的問題,本文提出了將以往用戶支持經(jīng)驗(yàn)通過程序的形式固化成以提供解決方案為核心的用戶自助支持的方案,解決了用戶支持并發(fā)度低和耗時(shí)長(zhǎng)的問題。更重要的是,由于改進(jìn)后的用戶自助支持不再只進(jìn)行問題的反饋,而是直接提供了幫助用戶解決問題的引導(dǎo),省去了用戶依據(jù)問題反饋進(jìn)行人工分析的過程。(3)針對(duì)平臺(tái)業(yè)務(wù)邏輯中建立SSH連接耗時(shí)過長(zhǎng)導(dǎo)致用戶請(qǐng)求整體耗時(shí)過長(zhǎng)的問題,本文創(chuàng)造性地提出了可復(fù)用、可重入和緩存隔離的SSH連接池方案,方案的三種特性分別解決了 SSH連接重復(fù)創(chuàng)建、線程重復(fù)獲取SSH連接和SSH連接緩存隔離的問題。本方案對(duì)SSH連接池的引入,總體上取得了同時(shí)減少業(yè)務(wù)操作耗時(shí)和資源占用的效果。(4)針對(duì)消息隊(duì)列部署規(guī)模增長(zhǎng)導(dǎo)致服務(wù)治理困難的問題,本文提出服務(wù)狀態(tài)監(jiān)控和容量規(guī)劃的方案。其中服務(wù)狀態(tài)監(jiān)控解決了無法把控服務(wù)高維度狀態(tài)和感知異常不及時(shí)的問題;容量規(guī)劃解決了集群容量不足和集群資源浪費(fèi)的問題。以上兩方面的改進(jìn),使消息隊(duì)列更好地滿足了其服務(wù)等級(jí)協(xié)議。(5)針對(duì)分布式環(huán)境下執(zhí)行任務(wù)的健壯性問題,本文提出了更為輕量級(jí)的分布式任務(wù)調(diào)度的方案,解決了分布式執(zhí)行任務(wù)的負(fù)載均衡、任務(wù)丟失和任務(wù)同時(shí)重復(fù)執(zhí)行的問題。這一改進(jìn)幫助開發(fā)人員將關(guān)注點(diǎn)集中于任務(wù)的業(yè)務(wù)邏輯,而不再需要考慮分布式任務(wù)調(diào)度和容錯(cuò)的問題。自上線以來,螞蟻金服消息隊(duì)列運(yùn)維平臺(tái)運(yùn)行狀態(tài)良好。消息隊(duì)列用戶可從平臺(tái)獲得用戶自助支持服務(wù);消息隊(duì)列運(yùn)維人員可通過平臺(tái)使用服務(wù)監(jiān)控和容量規(guī)劃等服務(wù)治理功能。據(jù)統(tǒng)計(jì),本平臺(tái)以平均每月9000的有效頁面訪問量和400的用戶數(shù)量對(duì)企業(yè)內(nèi)部提供服務(wù),大大提高了消息隊(duì)列用戶支持和服務(wù)治理的效率,達(dá)到了企業(yè)對(duì)該平臺(tái)的基本需求。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP311.52
【圖文】：

最終選擇了邋ＯｐｅｎＴＳＤＢ作為指標(biāo)的時(shí)序數(shù)據(jù)存儲(chǔ)。逡逑ＯｐｅｎＴＳＤＢ由時(shí)序后臺(tái)程序（Ｔｉｍｅ邋Ｓｅｒｉｅｓ邋Ｄａｅｍｏｎ，ＴＳＤ）和命令行工具逡逑兩部分組成。ＯｐｅｎＴＳＤＢ的部署關(guān)系圖如圖２．１所示。時(shí)序后臺(tái)程序沒有主從逡逑概念，它們之間互相獨(dú)立，且沒有共享的狀態(tài)。因此可以部署任意多個(gè)時(shí)序后臺(tái)逡逑程序來處理相應(yīng)的負(fù)載。時(shí)序后臺(tái)程序使用ＨＢａｓｅ集群或者是Ｇｏｏｇｌｅ的逡逑ＢｉｇＴａｂｌｅ服務(wù)來存取時(shí)序數(shù)據(jù)。數(shù)據(jù)的存儲(chǔ)格式為了快速聚合和減少存儲(chǔ)空間高逡逑度優(yōu)化。ＯｐｅｎＴＳＤＢ的用戶可以通過簡(jiǎn)單的類ｔｅｌｎｅｔ協(xié)議、ＨＴＴＰ邋ＡＰ丨或者內(nèi)置逡逑的Ｗｅｂ邋ＧＵＩ與時(shí)序后臺(tái)程序通信，而不需要直接訪問底層的存儲(chǔ)。這種架構(gòu)使逡逑得ＯｐｅｎＴＳＤＢ將存儲(chǔ)的可靠性和可擴(kuò)展性轉(zhuǎn)嫁到ＨＢａｓｅ中，再加上時(shí)序后臺(tái)逡逑程序是無狀態(tài)的，可以隨時(shí)擴(kuò)展［Ｓｔｏｉｃａ，邋２０００］，因此整體上ＯｐｅｎＴＳＤＢ的水平逡逑擴(kuò)容很方便。逡逑Ｓｅｒｖｅｒ邐Ｓｅｒｖｅｒ邐Ｓｅｒｖｅｒ逡逑＾￣邐＼邐￣１邋￣逡逑Ｔ５Ｄ＾ＰＣ邐ｒＳＤ邋ＲＰＣ邋ＴＳＤ邋ＲＦＣ逡逑１邐ｊ逡逑邐邋ＪＴ逡逑ＨＴＴＰ逡逑Ｗｅｂ邋ＵＩ邋，邐ｌ逡逑／ｄａｓｈｂｏａｒｄｓ邐ｆ邋ＴＳＯ邋Ｈ＾Ｒｐｃ邐ＨＢａｓｅ邋ＲＰＣ逡逑邐邋ＨＴＴＰ邐Ｈ‘；＃邐ＴＳ0逡逑ｏｒ逡逑ＲＰＣ逡逑ｌ邐ＨＢａｓｅ集群丨；逡逑Ｓｃｒｉｐｔｓ逡逑圖２．１邋ＯｐｅｎＴＳＤＢ部署圖逡逑在ＯｐｅｎＴＳＤＢ中，時(shí)序數(shù)據(jù)由４部分組成：指標(biāo)的名字、時(shí)間戳、指標(biāo)值逡逑和描述該時(shí)序數(shù)據(jù)歸屬的一組標(biāo)記。指標(biāo)的名字用來區(qū)別指標(biāo)的類別

３．２．１系統(tǒng)用例分析逡逑根據(jù)的背景和目標(biāo)分析，螞蟻金服消息隊(duì)列運(yùn)維平臺(tái)面向消息隊(duì)列用戶和消逡逑息隊(duì)列運(yùn)維兩類用戶。如系統(tǒng)用例圖３．１所示，消息隊(duì)列用戶是消息隊(duì)列客戶端逡逑診斷、消息狀態(tài)g湍Ｄ庀⒎⑺偷牟斡胝�。消息队龄\突Ф蘇鋃蝦拖⒆刺義喜檠庸δ芑稚俠純?cè)~粲謨沒ё災(zāi)С幀Ｆ渲鋅突Ф說惱鋃戲治⒉級(jí)撕投┰膩義隙肆嚼囁突Ф說惱鋃�。消息的状态查询也根舅W煌撓沒Ы巧筒煌膅儒義獻(xiàn)雋擻美南阜幀６雜諳⒍恿性宋嗽�，服务中l(wèi)碇械姆褡刺囁睪頭皴義先萘抗婊蚴侵饕墓刈⒉糠幀Ｖ副曄蕕某槿。釉兀牛裕淌欠褡刺囁劐義蝦頭袢萘抗婊氖莼�，因此指睍淆据收集簷E副曄菰ご沓晌秸吖插義系淖酉低秤美�。服务状态紘素的赫b氖墻莩氏指宋嗽�。其謨村{ǔ５囊誨義現(xiàn)質(zhì)峭ü副曄菘墑踴男問秸故靖沒�，更加智能的是基釉懕臭溨掉[副暌戾義銑Ｔ僂ü囁乇ň姆絞酵ㄖ沒�。辶x希保村義

本文編號(hào)：2781856