互聯(lián)網加的模式帶來應用架構的改變,應用從傳統(tǒng)客戶端/服務端模型向客戶端/中間件服務器/數(shù)據(jù)庫服務器三層模型改變。其中中間件服務對接各種功能的服務(集群)集合,為其它應用服務提供良好的使用環(huán)境。消息中間件主要應對突發(fā)消息和持續(xù)消息洪峰,提供平衡服務器資源負載和穩(wěn)定生產環(huán)境的能力。消息中間件的異步服務能力改變了業(yè)務層層依賴問題,系統(tǒng)在水平擴展方面變的容易。消息中間件又稱開放式消息服務,各大廠商都有不同的實現(xiàn)方案。早期的消息中間件多為國外技術廠商研發(fā)用于內部的商業(yè)軟件,使用難度高、設計復雜、通用性差、技術不開源等,并不能滿足互聯(lián)網應用的復雜環(huán)境。分布式事務消息是要求多條消息完整、有序的特例,實現(xiàn)理念和使用場景導致各消息中間件設計方案不同。早期分布式事務設計更多考慮嚴格事務一致性,并沒有關注事務消息的拆分、異步執(zhí)行、事務消息重排序的等優(yōu)化手段。目前國內互聯(lián)網行業(yè)的興起,提出了消息中間件自己的設計方案。比較國內外同行以高吞吐量為設置目標支持高并發(fā)的開源消息中間件,并擁有成熟的分布式事務解決方案仍沒有成熟的標準。針對業(yè)務多樣、峰值不確定、高效并發(fā)、使用方便、服務穩(wěn)定,本文描述了一款基于java語言實現(xiàn)的高性能、輕量級消息中間件DTube。本文結合Linux操作系統(tǒng)的管理機制和分布式系統(tǒng)理論,設計基于消息中間件的分布式存儲的實現(xiàn),主要工作包括以下幾個方面:(1)設計并實現(xiàn)用于消息堆積的分布式存儲模型。這一部分包括消息分類的設計、消息存儲隊列、消息存儲的分布式分發(fā)。分布式存儲模型邏輯上把每個存儲服務器當做一個文件使用�；诜植际酱鎯δＰ涂梢詫崿F(xiàn):發(fā)送與接收普通消息;發(fā)送與接收順序消息;消息在消費時服務端的過濾。分析分布式一致性的相關理論:兩軍問題、拜占庭將軍問題、paxos算法,設計用于處理消息重復問題的方法。分析消息中間件規(guī)范,參考相關先進的消息中間件的設計思路。(2)設計并實現(xiàn)用于分布式事務消息處理模型。分布式事務基于XA兩階段提交協(xié)議原理實現(xiàn)。這一部分為了解決多階段的分布式事務的處理問題�；诖四Ｐ涂梢詫崿F(xiàn):發(fā)送端的分布式事務處理提交和消費端批量消息消費的處理提交。(3)設計并實現(xiàn)用于分布式消息的查詢功能。這一部分提供用于大規(guī)模消息查詢的功能:通過Message Id查詢消息;通過Message Key查詢消息。Message Id查詢是通過記錄文件的位置。Message Key查詢設計了 一個類似Java7的HashMap的文件存儲結構。隨后闡述了不同類型消息在消息隊列中存儲的原理已經發(fā)送消費消息簡單例子和流程。(4)使用DTube的優(yōu)化和其它實現(xiàn)細節(jié)。優(yōu)化包括:文件系統(tǒng)、部署方式、Linux系統(tǒng)內核調優(yōu)。DTube其它方面的設計包括:網絡傳輸與序列化、I/O的零拷貝、高可用備份設計。優(yōu)化網絡傳輸與序列化是提高性能的有效手段。
【學位單位】：山東大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：TP311.52
【部分圖文】：

發(fā)布／訂閱模型逡逑圖２－１發(fā)布訂閱模型圖逡逑上圖消息隊列的核心功能是訂閱／發(fā)布，其它功能根據(jù)使用特點不發(fā)布訂閱模型中，生產者發(fā)布主題并發(fā)送大量消息，消費者訂閱主

ＸＸ逡逑＞主題５逡逑發(fā)布／訂閱模型逡逑圖２－１發(fā)布訂閱模型圖逡逑如上圖消息隊列的核心功能是訂閱／發(fā)布，其它功能根據(jù)使用特點不同增加逡逑功能。發(fā)布訂閱模型中，生產者發(fā)布主題并發(fā)送大量消息，消費者訂閱主題消費逡逑８逡逑

物理存儲設備，軟件的存儲管理應符合物理設備的工作原理。Ｌｉｎｕｘ操作多用機械硬盤，本文假定使用硬件是機械磁盤。機械硬盤構造圖，文件系統(tǒng)理應該符合機械硬盤的物理工作原理。上圖例子所示磁盤有２５５個盤ｅａｄｓ）、９８８邋個磁道（ｃｙｌｉｎｄｅｒｓ）、６３邋個扇區(qū)（ｓｅｃｔｏｒｓ／ｔｒａｃｋ）、扇區(qū)邏輯和大�。ǎ樱澹悖簦铮蝈澹螅椋澹┑闹凳牵担保玻猓簦澹螅矗埃梗叮猓簦澹�、隨機Ｉ／Ｏ和流式Ｉ／Ｏ首選單４０９６ｂｙｔｅＳ／４０％ｂｙｔｅＳ。隨機讀寫更多耗費磁頭移動的時間，機械磁盤構造不機讀寫，磁盤緩存能有效降低磁盤磁頭移動時間但增加了異常情況數(shù)據(jù)丟１

【參考文獻】

相關期刊論文 前10條

1 陸晨;馮向陽;蘇厚勤;;HTML5 WebSocket握手協(xié)議的研究與實現(xiàn)[J];計算機應用與軟件;2015年01期

2 袁佳;郭燕慧;;基于rabbitmq的海量日志的分布式處理[J];軟件;2013年07期

3 馬璐;;應用消息隊列應對大并發(fā)訪問的解決方案[J];電腦知識與技術;2013年02期

4 許子燦;吳榮泉;;基于消息傳遞的Paxos算法研究[J];計算機工程;2011年21期

5 潘志華;張濤;;Linux預取算法分析與研究[J];計算機技術與發(fā)展;2009年12期

6 何紅波;陸建德;丁衛(wèi)平;;基于中間件MQSeries的消息隊列異步通信服務的應用研究[J];南通大學學報(自然科學版);2006年04期

7 周南潤;曾貴華;朱甫臣;劉三秋;;兩軍問題的量子同步通信協(xié)議[J];上海交通大學學報;2006年11期

8 包懷忠;EXT2文件系統(tǒng)分析[J];計算機工程與設計;2005年04期

9 魏薇,孫世新;XFS日志文件系統(tǒng)的關鍵技術研究[J];電腦開發(fā)與應用;2005年03期

10 徐健,王濤;HTTP/1.1的分析[J];西南師范大學學報(自然科學版);2004年02期

本文編號：2826585