最近幾年,由于信息技術(shù)和移動互聯(lián)網(wǎng)行業(yè)的快速發(fā)展,全世界積累的用戶等各方的數(shù)據(jù)量呈現(xiàn)指數(shù)級增長,大數(shù)據(jù)時代已經(jīng)來臨。這將不僅為科學(xué)研究領(lǐng)域帶來巨大變革,也將深遠(yuǎn)地影響到未來生活的方方面面�，F(xiàn)在,大型分布式大數(shù)據(jù)處理系統(tǒng)集群中的計算數(shù)據(jù)類型多種多樣,根據(jù)其需求和計算方式,主要可以分成基于Hadoop的離線處理和基于Spark等的在線實(shí)時流數(shù)據(jù)處理。在線實(shí)時流數(shù)據(jù)處理主要針對該集群從前端獲取的監(jiān)控數(shù)據(jù)或爬蟲等系統(tǒng)實(shí)時采集的數(shù)據(jù),與離線數(shù)據(jù)處理不同的是,實(shí)時流數(shù)據(jù)處理的特點(diǎn)是是動態(tài)性、持續(xù)性。由于實(shí)時流數(shù)據(jù)的這些特征,大數(shù)據(jù)處理系統(tǒng)在分析和處理流數(shù)據(jù)時,必須分析數(shù)據(jù)流量,并根據(jù)其流量特征進(jìn)行動態(tài)調(diào)整。因此,對于數(shù)據(jù)的實(shí)時處理能力成了評定該系統(tǒng)實(shí)時處理的關(guān)鍵指標(biāo)。消息中間件可以對海量且復(fù)雜的數(shù)據(jù)進(jìn)行存儲和轉(zhuǎn)發(fā)到相應(yīng)的處理節(jié)點(diǎn),正是這樣對消息的儲存和轉(zhuǎn)發(fā)能力可以應(yīng)對大數(shù)據(jù)處理中海量數(shù)據(jù)的需求。面對大數(shù)據(jù)時代下的消息中間件技術(shù)需求,本文旨在通過研究消息中間件涉及到的協(xié)議標(biāo)準(zhǔn)、分布式網(wǎng)絡(luò)通信和網(wǎng)絡(luò)I/O技術(shù),從而基于Netty提出并實(shí)現(xiàn)具有高并發(fā),高可靠特性并且負(fù)載均衡的分布式消息中間件系統(tǒng)。論文主要的工作有:1、為了實(shí)現(xiàn)該消息中間件的高并發(fā),該消息中間件主要研究了基于事件驅(qū)動的Netty高性能網(wǎng)絡(luò)編程框架的零拷貝技術(shù),基于高性能網(wǎng)絡(luò)編程框架Netty來設(shè)計和實(shí)現(xiàn)了網(wǎng)絡(luò)層,主要包括通信協(xié)議。然后,并基于Netty實(shí)現(xiàn)通信服務(wù)端與基于Netty的通信客戶端;2、為了實(shí)現(xiàn)系統(tǒng)消息可靠特性,Broker將消息持久化到硬盤。本文通過對比數(shù)據(jù)庫和文件的持久化方案,將基于文件的持久化方案應(yīng)用到該消息中間件,并提出了相應(yīng)的實(shí)現(xiàn)方法;3、對應(yīng)系統(tǒng)負(fù)載均衡特性的實(shí)現(xiàn),該消息中間件通過兩個方面來保證:Producer實(shí)現(xiàn)了根據(jù)消息內(nèi)容和Broker數(shù)量均衡發(fā)送消息,Consumer實(shí)現(xiàn)的再平衡機(jī)制讓Consumer與分區(qū)的動態(tài)平衡,達(dá)到負(fù)載均衡,降低Broker壓力的目的。在完成基本的消息中間件設(shè)計的基礎(chǔ)上,本文改進(jìn)Nettyd通信模型,利用基于異步I/O模型的Java AIO來實(shí)現(xiàn)Netty的I/O部分。而在消息持久化方面,研究了持久化的各種方法,并提出了基于跳表索引的文件持久化方法。
【學(xué)位單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP311.52
【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 消息中間件的背景與意義
    1.2 消息中間件的國內(nèi)外研究歷史與現(xiàn)狀
        1.2.1 國外研究現(xiàn)狀
        1.2.2 國內(nèi)研究現(xiàn)狀
    1.3 研究目標(biāo)與內(nèi)容
    1.4 本文的主要工作
    1.5 本論文的結(jié)構(gòu)安排
第二章 相關(guān)技術(shù)
    2.1 消息中間件簡介
        2.1.1 java消息服務(wù)
        2.1.2 高級消息協(xié)議
    2.2 分布式通信
        2.2.1 分布式網(wǎng)絡(luò)通信技術(shù)
    2.3 網(wǎng)絡(luò)I/O技術(shù)
        2.3.1 常見的網(wǎng)絡(luò)I/O模型
        2.3.2 JavaBIO
        2.3.3 JavaNIO
        2.3.4 基于JavaNIO的事件分離模型
        2.3.5 基于Reactor的通信模型
        2.3.6 Reactor的改進(jìn)模型
        2.3.7 Netty簡介
    2.4 本章小結(jié)
第三章 消息中間件的研究
    3.1 通信模型
        3.1.1 通信模塊的I/O模型
        3.1.2 基于AIO的通信模型
        3.1.3 通信層設(shè)計
        3.1.4 模型的測試與分析
    3.2 持久化研究
        3.2.1 持久化方法
        3.2.2 ActiveMQ持久化模型
        3.2.3 Broker的持久化模型
        3.2.4 文件的持久化形式
        3.2.5 文件持久化過程
        3.2.6 持久化的測試與分析
    3.3 本章小結(jié)
第四章 消息中間件的設(shè)計與實(shí)現(xiàn)
    4.1 整體設(shè)計
    4.2 各模塊設(shè)計
        4.2.1 Produce設(shè)計
        4.2.2 Broker設(shè)計
        4.2.3 Consumer設(shè)計
        4.2.4 通信模塊詳細(xì)設(shè)計
    4.3 本章小結(jié)
第五章 測試與驗(yàn)證
    5.1 測試環(huán)境搭建
        5.1.1 測試環(huán)境
        5.1.2 測試工具
    5.2 功能測試
        5.2.1 系統(tǒng)結(jié)構(gòu)
        5.2.2 功能測試步驟
    5.3 性能測試
        5.3.1 性能測試部署結(jié)構(gòu)
        5.3.2 測試方法與結(jié)果
    5.4 本章小結(jié)
第六章 全文總結(jié)與展望
    6.1 全文總結(jié)
    6.2 后續(xù)工作展望
致謝
參考文獻(xiàn)

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 常正超;;高并發(fā)訪問量下網(wǎng)絡(luò)I/O模型選擇的研究[J];電腦知識與技術(shù);2016年19期

2 周建寧;徐曉東;蔡崗;;流式計算在交通管理中應(yīng)用研究[J];中國公共安全(學(xué)術(shù)版);2016年01期

3 羅軍;陳席林;李文生;;高效Key-Value持久化緩存系統(tǒng)的實(shí)現(xiàn)[J];計算機(jī)工程;2014年03期

4 趙杉;王若冰;李雙斌;;中國數(shù)字科技館集成方法研究[J];科技導(dǎo)報;2008年21期

5 李建峰;許舒人;馬建剛;;面向大規(guī)模數(shù)據(jù)集成消息中間件系統(tǒng)設(shè)計實(shí)現(xiàn)[J];計算機(jī)工程與設(shè)計;2008年01期

6 張鵬偉;蔡國敏;陳景霞;;基于JMS的異步消息處理機(jī)制的研究與應(yīng)用[J];陜西科技大學(xué)學(xué)報;2006年04期

7 馬建剛;黃濤;汪錦嶺;徐罡;葉丹;;面向大規(guī)模分布式計算發(fā)布訂閱系統(tǒng)核心技術(shù)[J];軟件學(xué)報;2006年01期

8 韋銀星,張申生,周曉俊,曹健,黃越;企業(yè)應(yīng)用集成技術(shù)研究[J];計算機(jī)集成制造系統(tǒng)-CIMS;2002年08期

9 萬暢;蔡淮;鄧虎成;;企業(yè)信息化建設(shè)中數(shù)據(jù)整合的應(yīng)用研究[J];中國科技成果;2005年16期

相關(guān)碩士學(xué)位論文 前8條

1 牛牧;基于Kafka的大規(guī)模流數(shù)據(jù)分布式緩存與分析平臺[D];吉林大學(xué);2016年

2 崔曉旻;基于Netty的高可服務(wù)消息中間件的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

3 高曉婷;基于AMQP的信息發(fā)布與訂閱[D];浙江工業(yè)大學(xué);2013年

4 陳席林;分布式持久化緩存系統(tǒng)的研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

5 徐超;大型互聯(lián)網(wǎng)公司分布式消息系統(tǒng)的設(shè)計與實(shí)施[D];復(fù)旦大學(xué);2013年

6 盧鵬;基于JMS的消息中間件的輕量級設(shè)計與整合[D];西南交通大學(xué);2010年

7 佟巍;基于設(shè)計模式的物資管理系統(tǒng)的研究與實(shí)現(xiàn)[D];大連理工大學(xué);2009年

8 王偉;企業(yè)應(yīng)用集成中智能消息中間件的設(shè)計與實(shí)現(xiàn)[D];哈爾濱理工大學(xué);2009年

本文編號：2867766