本文選題：大數(shù)據(jù)流處理　切入點：流處理引擎　出處：《南京大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著大數(shù)據(jù)流處理技術(shù)的不斷成熟和廣泛運用,越來越多的大數(shù)據(jù)流處理平臺涌現(xiàn)了出來。大數(shù)據(jù)流處理能夠?qū)討B(tài)產(chǎn)生的數(shù)據(jù)進(jìn)行實時計算并及時反饋結(jié)果,在數(shù)據(jù)的有效時間內(nèi)挖掘其價值,因此成為了應(yīng)用于諸多場景的重要技術(shù)。Storm是目前在業(yè)界被廣泛使用的一個流處理平臺,但它也有一定的局限性。Intel最新開源的流處理引擎Gearpump解決了Storm的一些局限性,為用戶提供一個更加優(yōu)秀的流處理平臺。為了使用戶能夠以較低的成本體驗到Gearpump的優(yōu)良特性,我們設(shè)計并開發(fā)了基于Gearpump流處理引擎的Storm兼容性模塊,使Storm的應(yīng)用能夠直接運行在Gearpump平臺上。為了實現(xiàn)上述的Gearpump流處理引擎的Storm兼容性模塊,本文首先介紹了流處理平臺的相關(guān)背景及發(fā)展現(xiàn)狀,并對目前主流的流處理平臺Storm、 Samza、Spark等進(jìn)行了調(diào)研。緊接著介紹了本項目的關(guān)鍵技術(shù),并對兩個與本項目密切相關(guān)的流處理平臺Storm和Gearpump進(jìn)行了深入的研究和分析,提出了基于Gearpump流處理平臺搭建一個Storm兼容層的需求。基于之前的研究工作,分析了項目需求,重點闡述了提交應(yīng)用和拓?fù)鋱D轉(zhuǎn)換等功能需求和用例描述,并對系統(tǒng)的三個子模塊GearpumpNimbus子模塊、GearpumpStormClient子模塊和拓?fù)鋱D轉(zhuǎn)換子模塊進(jìn)行了詳細(xì)的設(shè)計。最后,給出了各個子模塊的具體實現(xiàn)細(xì)節(jié)。本文所實現(xiàn)的Gearpump的Storm兼容性模塊成功的將Storm應(yīng)用運行在Gearpump上,并且保證了應(yīng)用運行時的高性能,讓Storm用戶在Gearpump平臺上體驗到了其特點。
[Abstract]:With the continuous maturity and wide application of large data flow processing technology, more and more large data flow processing platforms have emerged. Large data stream processing can calculate the data generated dynamically in real time and feedback the results in time. Mining its value within the effective time of data has become an important technology used in many scenarios. Storm is currently widely used as a stream processing platform in the industry. But it also has some limitations. Intel's latest open source stream processing engine, Gearpump, solves some of the limitations of Storm and provides a better streaming platform for users. In order to enable users to experience the superior features of Gearpump at a lower cost, We have designed and developed a Storm compatibility module based on Gearpump stream processing engine, which enables the application of Storm to run directly on the Gearpump platform. In order to realize the Storm compatibility module of the Gearpump stream processing engine mentioned above, This paper first introduces the background and development status of the flow processing platform, and investigates the current mainstream stream processing platforms Storm, Samzaan Spark, etc. Then it introduces the key technologies of this project. In addition, two flow processing platforms, Storm and Gearpump, which are closely related to this project, are studied and analyzed, and the requirement of constructing a Storm compatible layer based on Gearpump flow processing platform is put forward. Based on the previous research work, the requirements of the project are analyzed. The functional requirements and use case description of submission application and topology diagram transformation are described in detail, and the design of three sub-modules of the system, GearpumpNimbus submodule, GearpumpStormStormClient module and topology transformation submodule, are given in detail. The implementation details of each sub-module are given. The Storm compatibility module of Gearpump implemented in this paper successfully runs the Storm application on Gearpump, and ensures the high performance of the application runtime, which enables Storm users to experience its characteristics on the Gearpump platform.
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊慧;丁志剛;鄭樹泉;;基于規(guī)則的消息處理引擎的設(shè)計與實現(xiàn)[J];計算機(jī)應(yīng)用與軟件;2013年10期

2 陸平;錢煜明;朱科支;;一種分布式復(fù)雜消息處理引擎的設(shè)計與實現(xiàn)[J];中興通訊技術(shù);2013年04期

3 ;開發(fā)人員升級至ASE 15.0的10大理由(三)[J];鐵路計算機(jī)應(yīng)用;2010年08期

4 李明鐸,郭金庚,趙昭靈;并行超流水IPv6轉(zhuǎn)發(fā)處理技術(shù)研究[J];計算機(jī)工程與應(yīng)用;2004年32期

5 王天培;利用MSMQ實現(xiàn)消息處理引擎[J];電腦知識與技術(shù);2005年05期

6 陳琛;;RFID復(fù)雜事件處理引擎[J];武漢商業(yè)服務(wù)學(xué)院學(xué)報;2012年02期

7 周亦敏;魏洪興;;可配置數(shù)據(jù)處理引擎OptimoDE技術(shù)的研究[J];計算機(jī)工程與應(yīng)用;2006年21期

8 王穎鑫;;以小搏大 ViewSonic N3250wb[J];數(shù)碼世界(B版);2008年01期

9 ;Tensilica全球發(fā)布四款視頻處理引擎[J];電子技術(shù);2007年01期

10 ;超越想像 富士秋季新技術(shù)發(fā)布[J];數(shù)字生活;2008年11期

相關(guān)重要報紙文章 前10條

1 本報記者 劉暉;圖像處理引擎的威力[N];計算機(jī)世界;2003年

2 張桂琛;摩托羅拉推出新型語音和數(shù)據(jù)處理引擎[N];通信產(chǎn)業(yè)報;2001年

3 王翔飛;激發(fā)SQL新魔力[N];中國計算機(jī)報;2007年

4 《網(wǎng)絡(luò)世界》評測實驗室 榮鈺 于洋;及時響應(yīng) 應(yīng)對挑戰(zhàn)[N];網(wǎng)絡(luò)世界;2005年

5 ;賦予寬帶網(wǎng)全線速能力[N];網(wǎng)絡(luò)世界;2002年

6 本報記者 周云;4K電視：超清可望又可及[N];中國電子報;2013年

7 記者 劉勇;數(shù)友相片動起來[N];中國電腦教育報;2008年

8 胡鈞;新一代IP業(yè)務(wù)網(wǎng)絡(luò)的核心處理引擎[N];通信產(chǎn)業(yè)報;2004年

9 ;上廣電應(yīng)確信InfiniteSwitch 8610保障靈活的運營[N];中國計算機(jī)報;2002年

10 ;飛思卡爾MPC8544E助力嵌入式應(yīng)用[N];網(wǎng)絡(luò)世界;2007年

相關(guān)博士學(xué)位論文 前1條

1 項天;復(fù)雜數(shù)據(jù)的現(xiàn)場處理關(guān)鍵技術(shù)研究及實現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2014年

相關(guān)碩士學(xué)位論文 前6條

1 孫克維;Gearpump流處理引擎的Storm兼容性模塊的設(shè)計與實現(xiàn)[D];南京大學(xué);2016年

2 李敏;基于分布式事件分發(fā)的復(fù)雜事件處理引擎的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2015年

3 湯玲麗;復(fù)雜事件處理引擎關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2012年

4 陳星;視頻格式轉(zhuǎn)換芯片圖像處理引擎的功能與時序驗證[D];天津大學(xué);2012年

5 劉述曦;面向流式處理的SQL查詢計劃生成技術(shù)研究[D];華中科技大學(xué);2012年

6 阮培源;網(wǎng)絡(luò)入侵檢測系統(tǒng)的數(shù)據(jù)包頭處理引擎的設(shè)計[D];華中科技大學(xué);2006年

，

本文編號：1597314