本文關(guān)鍵詞：基于海量數(shù)據(jù)的消息隊(duì)列的性能對(duì)比與優(yōu)化方案

  更多相關(guān)文章： 分布式處理 消息隊(duì)列 比較

【摘要】：伴隨著互聯(lián)網(wǎng)的高速發(fā)展,互聯(lián)網(wǎng)每日都會(huì)產(chǎn)生海量的數(shù)據(jù),需要對(duì)這些海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)的實(shí)時(shí)處理,一個(gè)性能優(yōu)良的分布式消息隊(duì)列,會(huì)對(duì)系統(tǒng)的數(shù)據(jù)業(yè)務(wù)處理效率有極大的推進(jìn)作用,那么使用什么樣的消息隊(duì)列傳輸這些海量數(shù)據(jù)就成為了一個(gè)關(guān)鍵的問題。在各大技術(shù)公司的團(tuán)隊(duì)中,使用最頻繁的三種消息隊(duì)列分別是:Apache Kafka,阿里巴巴的Rocket-MQ,Rabbit-MQ。本文首先先介紹了上述三個(gè)分布式消息隊(duì)列的基本概念、架構(gòu)特性以及實(shí)現(xiàn)原理,基于這些然后分別簡單介紹它們的優(yōu)缺點(diǎn),之后通過搭建各個(gè)消息隊(duì)列集群測試環(huán)境,分別進(jìn)行大數(shù)據(jù)的實(shí)時(shí)計(jì)算實(shí)驗(yàn),最后對(duì)比實(shí)時(shí)計(jì)算實(shí)驗(yàn)的結(jié)果,繪出相應(yīng)的圖形,更加直觀的看出它們之間效率的對(duì)比,得出在實(shí)時(shí)大數(shù)據(jù)計(jì)算場景下哪個(gè)消息隊(duì)列具有更高的性能。
【作者單位】： 北京郵電大學(xué)計(jì)算機(jī)學(xué)院;北京郵電大學(xué);
【關(guān)鍵詞】： 分布式處理 消息隊(duì)列 比較
【基金】：國家科技支撐計(jì)劃(2014BAK15B01)
【分類號(hào)】：TP311.13
【正文快照】： LIU Feng1,E Hai-hong2(1.School of Computer Science,Beijing University of Posts and Telecommunications,Beijing 100876,China;2.School of Computer Science,Beijing University of Posts and Telecommunications,Beijing 100876,China)0引言伴隨著如今互聯(lián)網(wǎng)行業(yè)的高

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 逄煥眾;用于進(jìn)程間通信的消息隊(duì)列探討[J];中國金融電腦;1998年08期

2 周世杰;劉錦德;秦志光;;消息隊(duì)列技術(shù)研究:綜述與一個(gè)實(shí)例[J];計(jì)算機(jī)科學(xué);2002年02期

3 孟昭勇;對(duì)“消息”的初步認(rèn)識(shí)[J];現(xiàn)代制造工程;2003年S1期

4 鄧波;防止消息隊(duì)列阻塞的辦法[J];華南金融電腦;2003年06期

5 杜毅,楊金生,吳震華;Linux消息隊(duì)列分析及應(yīng)用[J];計(jì)算機(jī)工程;2004年S1期

6 王強(qiáng);在數(shù)據(jù)庫開發(fā)中巧用消息隊(duì)列[J];計(jì)算機(jī)與現(xiàn)代化;2005年11期

7 曹婧華;冉彥中;許志軍;;分布式消息隊(duì)列的設(shè)計(jì)與實(shí)現(xiàn)[J];河南科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年04期

8 JEFF PROSISE ,楊慧中;第二消息循環(huán)[J];個(gè)人電腦;1995年07期

9 沈華峰;;如何實(shí)現(xiàn)進(jìn)程通信的程序設(shè)計(jì)——消息隊(duì)列方法[J];上海微型計(jì)算機(jī);1998年16期

10 張逸凡;于志安;;高級(jí)消息隊(duì)列協(xié)議在大數(shù)據(jù)傳輸中問題及解決[J];電腦知識(shí)與技術(shù);2014年01期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前2條

1 張磊;陳犖;吳秋云;李軍;;基于消息隊(duì)列的分布式信息查詢技術(shù)的研究與實(shí)現(xiàn)[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

2 郭杰;;基于NoSQL的持久化消息隊(duì)列設(shè)計(jì)實(shí)現(xiàn)[A];全國冶金自動(dòng)化信息網(wǎng)2014年會(huì)論文集[C];2014年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 于翔;微軟公開M語言加快開放步伐[N];網(wǎng)絡(luò)世界;2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 苑洪亮;基于內(nèi)容的“發(fā)布/訂閱”若干關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2006年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉海濤;武警部隊(duì)(支隊(duì)級(jí))勤務(wù)管理系統(tǒng)設(shè)計(jì)與開發(fā)[D];西安工程大學(xué);2015年

2 孫駿;嵌入式消息隊(duì)列子系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2007年

3 張帆;基于消息隊(duì)列的網(wǎng)上書店系統(tǒng)[D];吉林大學(xué);2008年

4 李英芳;基于網(wǎng)絡(luò)報(bào)稅系統(tǒng)的消息隊(duì)列中間件的研究與設(shè)計(jì)[D];西安電子科技大學(xué);2006年

5 張磊;基于消息隊(duì)列的自治異構(gòu)信息查詢系統(tǒng)的研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2003年

6 宋二鳳;基于MB、MQ的訂閱發(fā)布的設(shè)計(jì)與實(shí)現(xiàn)[D];安徽理工大學(xué);2011年

7 李慈;基于XML-MOM分布式通訊與協(xié)調(diào)體系的研究[D];北京化工大學(xué);2007年

8 楊朝軍;基于消息隊(duì)列消息傳輸系統(tǒng)的設(shè)計(jì)與研究[D];第四軍醫(yī)大學(xué);2009年

9 李曉劍;消息隊(duì)列中間件技術(shù)及MSMQ應(yīng)用研究[D];武漢理工大學(xué);2002年

10 陳瑤;基于Node.js高并發(fā)web系統(tǒng)的研究與應(yīng)用[D];電子科技大學(xué);2014年

，

本文編號(hào)：1048971