本文關(guān)鍵詞：基于ZooKeeper的分布式系統(tǒng)的消息發(fā)送機制的設(shè)計與實現(xiàn)

  更多相關(guān)文章： ZooKeeper 消息發(fā)送 消息隊列 分布式 分發(fā)進程

【摘要】：隨著計算機系統(tǒng)規(guī)模的日益發(fā)展,將所有的業(yè)務(wù)單元集中部署在一個或若干個大型機上的體系結(jié)構(gòu)已經(jīng)逐漸不能滿足快速發(fā)展的計算機系統(tǒng)的需求。將一個硬件或軟件組織部署在位于不同網(wǎng)絡(luò)的計算機上,并通過消息傳遞進行通信和協(xié)調(diào)的分布式系統(tǒng)[19]的出現(xiàn),解決了由于系統(tǒng)規(guī)模增大帶來的問題。ZooKeeper是當(dāng)下比較流行的分布式結(jié)構(gòu)之一,它是一個開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)。在分布式集群中,消息是各種數(shù)據(jù)的載體,主要通過消息隊列、發(fā)送進程來實現(xiàn)批量發(fā)送。同樣的,在ZooKeeper集群中,消息也是最基本的交互單元,不僅能夠完成集群內(nèi)的相關(guān)操作,同時能夠通過消息隊列、分發(fā)進程將消息向外傳遞。本文提出的基于ZooKeeper相關(guān)分布式技術(shù)實現(xiàn)的消息發(fā)送機制,可以滿足在一些應(yīng)用場景下,來自各個機房的應(yīng)用系統(tǒng)的消息在發(fā)送到統(tǒng)一消息接收方時,保持全局有序性。該機制用于接收來自上游客戶端的消息,對接收到的消息根據(jù)消息IP地址進行過濾,將來自不屬于機器列表文件中的機器的消息進行屏蔽,從而提高消息發(fā)送機制的處理效率,減少由于人為或其他因素造成的異常消息。在接收到有效的消息后,消息發(fā)送機制根據(jù)消息中攜帶的消息類型,將消息放入對應(yīng)的消息隊列中,從而觸發(fā)消息發(fā)送進程,將消息隊列中的消息發(fā)送到指定的下游客戶端中,發(fā)送的同時,根據(jù)客戶端的接收情況,將消息本身所攜帶的內(nèi)容以及消息發(fā)送狀態(tài)存入到Redis數(shù)據(jù)庫中,以便能夠根據(jù)對消息的發(fā)送狀態(tài)進行查詢。在消息發(fā)送機制中,下游客戶端無從知曉消息的真實發(fā)送方,當(dāng)需要查詢數(shù)據(jù)來源時,可以通過Redis數(shù)據(jù)庫對消息的發(fā)送方進行反向查找。在本文提出的消息發(fā)送機制中,根據(jù)ZooKeeper在多線程訪問節(jié)點時,只有唯一一個線程能夠訪問節(jié)點的特性以及臨時順序節(jié)點的順序性,提出了寫鎖優(yōu)先的文件鎖,滿足了在實際應(yīng)用中對于機器列表文件的寫操作優(yōu)先于讀操作的需求,同時也保證了并發(fā)情況下機器列表文件的安全性；消息發(fā)送機制中,根據(jù)臨時順序節(jié)點的順序性與臨時性實現(xiàn)了FIFO消息隊列,滿足了消息的全局性,還保證消息快速發(fā)送的同時,減少消息節(jié)點對內(nèi)存的占用；根據(jù)Master-Worker并行模式的設(shè)計原理實現(xiàn)了Master-Worker消息分發(fā)進程,實現(xiàn)多個消息隊列中消息的實時并發(fā),提高了消息發(fā)送的效率。
【關(guān)鍵詞】：ZooKeeper 消息發(fā)送 消息隊列 分布式 分發(fā)進程
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.52
【目錄】：

• 摘要4-6
• Abstract6-11
• 第1章 緒論11-16
• 1.1 研究背景與意義11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-13
• 1.3 課題研究內(nèi)容與特色13
• 1.4 本文工作13-14
• 1.5 論文結(jié)構(gòu)14-16
• 第2章 相關(guān)技術(shù)16-26
• 2.1 Chubby鎖服務(wù)16-17
• 2.2 Redis數(shù)據(jù)庫17-18
• 2.3 Master-Worker模式18
• 2.4 ZooKeeper服務(wù)18-26
• 2.4.1 ZooKeeper設(shè)計原理19-20
• 2.4.2 ZooKeeper數(shù)據(jù)模型20-21
• 2.4.3 ZooKeeper分布式鎖服務(wù)21-23
• 2.4.4 ZooKeeper分布式隊列23-26
• 第3章 具有過濾功能的消息接收26-38
• 3.1 相關(guān)數(shù)據(jù)操作對象的定義26-28
• 3.1.1 消息的定義26-27
• 3.1.2 機器文件列表的定義27-28
• 3.2 消息過濾功能的設(shè)計與實現(xiàn)28-30
• 3.2.1 消息過濾功能的設(shè)計29
• 3.2.2 消息過濾功能的實現(xiàn)29-30
• 3.3 寫優(yōu)先的文件鎖30-35
• 3.3.1 鎖的類型與定義31
• 3.3.2 文件鎖的設(shè)計與實現(xiàn)31-35
• 3.4 消息隊列35-38
• 3.4.1 消息隊列的定義36
• 3.4.2 消息隊列的創(chuàng)建36-37
• 3.4.3 消息的入隊操作37-38
• 第4章 基于Master-Worker模式的消息發(fā)送38-43
• 4.1 Master-Worker消息分發(fā)進程38-40
• 4.1.1 Master進程38-39
• 4.1.2 Worker進程39-40
• 4.2 基于ServerSocket的消息傳輸40-42
• 4.2.1 IP地址的查詢40-41
• 4.2.2 消息的傳輸41-42
• 4.3 消息發(fā)送狀態(tài)的存儲42-43
• 第5章 實驗43-53
• 5.1 實驗環(huán)境43-44
• 5.1.1 硬件環(huán)境43
• 5.1.2 軟件環(huán)境43-44
• 5.2 性能測試44-53
• 5.2.1 消息隊列性能44-45
• 5.2.2 文件鎖性能45-49
• 5.2.3 消息過濾性能49-50
• 5.2.4 發(fā)送機制性能50-53
• 第6章 總結(jié)與展望53-54
• 參考文獻54-56
• 致謝56

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 沈暉;短消息的新武器[J];中國計算機用戶;2002年28期

2 空中來客;老機也瘋狂──短消息與電話本[J];數(shù)字通信;2001年03期

3 FF;;不讓QQ顯示發(fā)送消息時間[J];電腦迷;2005年11期

4 張漫,李冰,梁吉勝,王永安;基于Delphi中消息的處理及應(yīng)用[J];煤礦機械;2005年04期

5 何騰蛟;吳躍;;基于JavaScript的消息管理機制[J];計算機應(yīng)用;2009年S1期

6 JOSH NOSSITER ,宋艷萍;快速發(fā)送消息的靈活性[J];今日電子;1996年06期

7 錢少先;Windows下消息循環(huán)及運行機制[J];安慶師范學(xué)院學(xué)報(自然科學(xué)版);1997年02期

8 ;Sms(短消息)網(wǎng)上發(fā)[J];數(shù)字生活;2001年03期

9 ;通過Internet網(wǎng)發(fā)送移動短消息[J];郵電商情;2001年07期

10 竹子蘭;;“甜似蜜”蜂房小技巧(之網(wǎng)絡(luò)秘技篇)[J];電腦應(yīng)用文萃;2002年12期

中國重要會議論文全文數(shù)據(jù)庫 前8條

1 時金橋;秦寶山;;MIX消息刷新策略的研究[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（下冊）[C];2007年

2 張國才;;JMS下共享消息通道的通信模式設(shè)計[A];全國第16屆計算機科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2004年

3 吳艷;;下一代移動消息業(yè)務(wù)-MMS[A];2002’中國通信學(xué)會無線及移動通信委員會學(xué)術(shù)年會論文集[C];2002年

4 馮昊;李雙慶;;Web Services中SOAP消息的安全研究與對策[A];2008年計算機應(yīng)用技術(shù)交流會論文集[C];2008年

5 王燕;徐振朋;曹劉娟;;一種具有最小阻塞消息發(fā)送時間的檢查點策略[A];第四屆中國測試學(xué)術(shù)會議論文集[C];2006年

6 左克;王懷民;劉必欣;周斌;;基于MOM技術(shù)的Web Services異步性的研究[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2003年

7 聶麗;舒躍國;;軍用CDMA短消息綜合接入平臺[A];四川省通信學(xué)會2008年學(xué)術(shù)年會論文集[C];2008年

8 曹登峰;;基于CMPP 2.1協(xié)議 實現(xiàn)與ISMG連接——建立互聯(lián)網(wǎng)氣象短消息增值服務(wù)平臺的基礎(chǔ)[A];首屆長三角氣象科技論壇論文集[C];2004年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 ;他們歡迎無線垃圾消息？[N];網(wǎng)絡(luò)世界;2005年

2 張煜;移動短信熱全球[N];通信產(chǎn)業(yè)報;2002年

3 胡祝;短消息瞄準(zhǔn)企業(yè)用戶[N];電腦報;2001年

4 馬;無線短消息跨網(wǎng)絡(luò)[N];中國計算機報;2001年

5 上海西門子移動通信有限公司 柏依麗;西門子多媒體消息解決方案[N];人民郵電;2003年

6 浦明輝;中文短消息免費發(fā)[N];中國計算機報;2002年

7 宋獻濤 葉惠敏;短消息為什么這樣紅？[N];計算機世界;2001年

8 南靖移動通信分公司 蔡舜乾;上網(wǎng)發(fā)送短消息[N];福建郵電報;2000年

9 春輝;固定網(wǎng)短消息將成市場熱點[N];人民郵電;2001年

10 ;多媒體消息的基本業(yè)務(wù)特征[N];人民郵電;2002年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 張小明;基于分布對象的異步消息的研究與實現(xiàn)[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2001年

2 王樂;短語消息聚類相關(guān)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2008年

3 王紅;移動agent關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2002年

4 華東明;安全協(xié)議的形式化方法及其應(yīng)用的研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 羅達詩;面向演化的程序設(shè)計語言[D];蘭州大學(xué);2015年

2 段東亮;面向視頻監(jiān)控系統(tǒng)的云存儲運維系統(tǒng)的設(shè)計與實現(xiàn)[D];浙江工業(yè)大學(xué);2015年

3 劉嘯宇;基于SIP移動問診系統(tǒng)信令控制的研究與實現(xiàn)[D];北京交通大學(xué);2016年

4 李康杰;VTOS形式化驗證框架與VTOS消息模塊的驗證[D];南京大學(xué);2013年

5 郭雯宇;基于parlay X的手機報能力開放的設(shè)計與實現(xiàn)[D];東南大學(xué);2015年

6 李炳介;基于SIP協(xié)議的企業(yè)內(nèi)部即時通信消息模塊設(shè)計[D];海南大學(xué);2016年

7 吳挺;基于微信公眾平臺的可擴展架構(gòu)研究與實現(xiàn)[D];蘭州大學(xué);2016年

8 李從東;基于信譽與信任的車聯(lián)網(wǎng)消息傳播方案評估研究[D];安徽大學(xué);2016年

9 耿云飛;融合通信消息引擎的設(shè)計與實現(xiàn)[D];中國科學(xué)院研究生院(沈陽計算技術(shù)研究所);2016年

10 侯晉;基于微信的企業(yè)信息交互技術(shù)研究與實現(xiàn)[D];長春工業(yè)大學(xué);2016年

，

本文編號：846228