最近幾年,由于信息技術(shù)和移動互聯(lián)網(wǎng)行業(yè)的快速發(fā)展,全世界積累的用戶等各方的數(shù)據(jù)量呈現(xiàn)指數(shù)級增長,大數(shù)據(jù)時代已經(jīng)來臨。這將不僅為科學研究領域帶來巨大變革,也將深遠地影響到未來生活的方方面面�，F(xiàn)在,大型分布式大數(shù)據(jù)處理系統(tǒng)集群中的計算數(shù)據(jù)類型多種多樣,根據(jù)其需求和計算方式,主要可以分成基于Hadoop的離線處理和基于Spark等的在線實時流數(shù)據(jù)處理。在線實時流數(shù)據(jù)處理主要針對該集群從前端獲取的監(jiān)控數(shù)據(jù)或爬蟲等系統(tǒng)實時采集的數(shù)據(jù),與離線數(shù)據(jù)處理不同的是,實時流數(shù)據(jù)處理的特點是是動態(tài)性、持續(xù)性。由于實時流數(shù)據(jù)的這些特征,大數(shù)據(jù)處理系統(tǒng)在分析和處理流數(shù)據(jù)時,必須分析數(shù)據(jù)流量,并根據(jù)其流量特征進行動態(tài)調(diào)整。因此,對于數(shù)據(jù)的實時處理能力成了評定該系統(tǒng)實時處理的關(guān)鍵指標。消息中間件可以對海量且復雜的數(shù)據(jù)進行存儲和轉(zhuǎn)發(fā)到相應的處理節(jié)點,正是這樣對消息的儲存和轉(zhuǎn)發(fā)能力可以應對大數(shù)據(jù)處理中海量數(shù)據(jù)的需求。面對大數(shù)據(jù)時代下的消息中間件技術(shù)需求,本文旨在通過研究消息中間件涉及到的協(xié)議標準、分布式網(wǎng)絡通信和網(wǎng)絡I/O技術(shù),從而基于Netty提出并實現(xiàn)具有高并發(fā),高可靠特性并且負載均衡的分布式消息中間件系統(tǒng)。論文主要的工作有:1、為了實現(xiàn)該消息中間件的高并發(fā),該消息中間件主要研究了基于事件驅(qū)動的Netty高性能網(wǎng)絡編程框架的零拷貝技術(shù),基于高性能網(wǎng)絡編程框架Netty來設計和實現(xiàn)了網(wǎng)絡層,主要包括通信協(xié)議。然后,并基于Netty實現(xiàn)通信服務端與基于Netty的通信客戶端;2、為了實現(xiàn)系統(tǒng)消息可靠特性,Broker將消息持久化到硬盤。本文通過對比數(shù)據(jù)庫和文件的持久化方案,將基于文件的持久化方案應用到該消息中間件,并提出了相應的實現(xiàn)方法;3、對應系統(tǒng)負載均衡特性的實現(xiàn),該消息中間件通過兩個方面來保證:Producer實現(xiàn)了根據(jù)消息內(nèi)容和Broker數(shù)量均衡發(fā)送消息,Consumer實現(xiàn)的再平衡機制讓Consumer與分區(qū)的動態(tài)平衡,達到負載均衡,降低Broker壓力的目的。在完成基本的消息中間件設計的基礎上,本文改進Nettyd通信模型,利用基于異步I/O模型的Java AIO來實現(xiàn)Netty的I/O部分。而在消息持久化方面,研究了持久化的各種方法,并提出了基于跳表索引的文件持久化方法。
【學位單位】：電子科技大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：TP311.52
【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 消息中間件的背景與意義
    1.2 消息中間件的國內(nèi)外研究歷史與現(xiàn)狀
        1.2.1 國外研究現(xiàn)狀
        1.2.2 國內(nèi)研究現(xiàn)狀
    1.3 研究目標與內(nèi)容
    1.4 本文的主要工作
    1.5 本論文的結(jié)構(gòu)安排
第二章 相關(guān)技術(shù)
    2.1 消息中間件簡介
        2.1.1 java消息服務
        2.1.2 高級消息協(xié)議
    2.2 分布式通信
        2.2.1 分布式網(wǎng)絡通信技術(shù)
    2.3 網(wǎng)絡I/O技術(shù)
        2.3.1 常見的網(wǎng)絡I/O模型
        2.3.2 JavaBIO
        2.3.3 JavaNIO
        2.3.4 基于JavaNIO的事件分離模型
        2.3.5 基于Reactor的通信模型
        2.3.6 Reactor的改進模型
        2.3.7 Netty簡介
    2.4 本章小結(jié)
第三章 消息中間件的研究
    3.1 通信模型
        3.1.1 通信模塊的I/O模型
        3.1.2 基于AIO的通信模型
        3.1.3 通信層設計
        3.1.4 模型的測試與分析
    3.2 持久化研究
        3.2.1 持久化方法
        3.2.2 ActiveMQ持久化模型
        3.2.3 Broker的持久化模型
        3.2.4 文件的持久化形式
        3.2.5 文件持久化過程
        3.2.6 持久化的測試與分析
    3.3 本章小結(jié)
第四章 消息中間件的設計與實現(xiàn)
    4.1 整體設計
    4.2 各模塊設計
        4.2.1 Produce設計
        4.2.2 Broker設計
        4.2.3 Consumer設計
        4.2.4 通信模塊詳細設計
    4.3 本章小結(jié)
第五章 測試與驗證
    5.1 測試環(huán)境搭建
        5.1.1 測試環(huán)境
        5.1.2 測試工具
    5.2 功能測試
        5.2.1 系統(tǒng)結(jié)構(gòu)
        5.2.2 功能測試步驟
    5.3 性能測試
        5.3.1 性能測試部署結(jié)構(gòu)
        5.3.2 測試方法與結(jié)果
    5.4 本章小結(jié)
第六章 全文總結(jié)與展望
    6.1 全文總結(jié)
    6.2 后續(xù)工作展望
致謝
參考文獻

【參考文獻】

相關(guān)期刊論文 前9條

1 常正超;;高并發(fā)訪問量下網(wǎng)絡I/O模型選擇的研究[J];電腦知識與技術(shù);2016年19期

2 周建寧;徐曉東;蔡崗;;流式計算在交通管理中應用研究[J];中國公共安全(學術(shù)版);2016年01期

3 羅軍;陳席林;李文生;;高效Key-Value持久化緩存系統(tǒng)的實現(xiàn)[J];計算機工程;2014年03期

4 趙杉;王若冰;李雙斌;;中國數(shù)字科技館集成方法研究[J];科技導報;2008年21期

5 李建峰;許舒人;馬建剛;;面向大規(guī)模數(shù)據(jù)集成消息中間件系統(tǒng)設計實現(xiàn)[J];計算機工程與設計;2008年01期

6 張鵬偉;蔡國敏;陳景霞;;基于JMS的異步消息處理機制的研究與應用[J];陜西科技大學學報;2006年04期

7 馬建剛;黃濤;汪錦嶺;徐罡;葉丹;;面向大規(guī)模分布式計算發(fā)布訂閱系統(tǒng)核心技術(shù)[J];軟件學報;2006年01期

8 韋銀星,張申生,周曉俊,曹健,黃越;企業(yè)應用集成技術(shù)研究[J];計算機集成制造系統(tǒng)-CIMS;2002年08期

9 萬暢;蔡淮;鄧虎成;;企業(yè)信息化建設中數(shù)據(jù)整合的應用研究[J];中國科技成果;2005年16期

相關(guān)碩士學位論文 前8條

1 牛牧;基于Kafka的大規(guī)模流數(shù)據(jù)分布式緩存與分析平臺[D];吉林大學;2016年

2 崔曉旻;基于Netty的高可服務消息中間件的研究與實現(xiàn)[D];電子科技大學;2014年

3 高曉婷;基于AMQP的信息發(fā)布與訂閱[D];浙江工業(yè)大學;2013年

4 陳席林;分布式持久化緩存系統(tǒng)的研究與實現(xiàn)[D];重慶大學;2013年

5 徐超;大型互聯(lián)網(wǎng)公司分布式消息系統(tǒng)的設計與實施[D];復旦大學;2013年

6 盧鵬;基于JMS的消息中間件的輕量級設計與整合[D];西南交通大學;2010年

7 佟巍;基于設計模式的物資管理系統(tǒng)的研究與實現(xiàn)[D];大連理工大學;2009年

8 王偉;企業(yè)應用集成中智能消息中間件的設計與實現(xiàn)[D];哈爾濱理工大學;2009年

本文編號：2867766