本文選題：Spark處理引擎 + 事件驅(qū)動(dòng)架構(gòu)�。� 參考：《北京郵電大學(xué)》2016年碩士論文

【摘要】：物聯(lián)網(wǎng)的快速發(fā)展給人們的生活帶來了極大的便利,同時(shí)也產(chǎn)生了大量蘊(yùn)含著潛在信息價(jià)值的感知數(shù)據(jù)。感知數(shù)據(jù)具有數(shù)據(jù)量大、速度快、實(shí)時(shí)產(chǎn)生、動(dòng)態(tài)變化等特點(diǎn)。如何更好地處理海量感知數(shù)據(jù)是當(dāng)今物聯(lián)網(wǎng)領(lǐng)域的研究熱點(diǎn)之一。事件驅(qū)動(dòng)架構(gòu)(Event Driven Architecture)具有松耦合、高度集成、主動(dòng)性和實(shí)時(shí)性等特點(diǎn),能夠較好地滿足物聯(lián)網(wǎng)應(yīng)用的需求。目前物聯(lián)網(wǎng)服務(wù)平臺(tái)需要一個(gè)高效,高可用性的數(shù)據(jù)實(shí)時(shí)處理子系統(tǒng)。因此,本文的工作重點(diǎn)是結(jié)合事件驅(qū)動(dòng)架構(gòu)和Spark數(shù)據(jù)處理引擎構(gòu)建一個(gè)松解耦、可拓展、高性能的數(shù)據(jù)實(shí)時(shí)處理平臺(tái),并設(shè)計(jì)實(shí)現(xiàn)圖形化界面簡(jiǎn)化數(shù)據(jù)處理建模操作。具體工作如下:首先,本文設(shè)計(jì)和實(shí)現(xiàn)了 一個(gè)數(shù)據(jù)接入模塊,該模塊從發(fā)布訂閱系統(tǒng)獲取事件并對(duì)其進(jìn)行預(yù)處理;其次,針對(duì)數(shù)據(jù)處理建模過于復(fù)雜的問題,本文設(shè)計(jì)了圖形化的數(shù)據(jù)處理建模模塊,讓用戶能夠直觀簡(jiǎn)便地進(jìn)行數(shù)據(jù)處理建模;再者,本文實(shí)現(xiàn)了平臺(tái)界面模塊,方便用戶進(jìn)行相關(guān)平臺(tái)配置以及查看數(shù)據(jù)結(jié)果;另外,平臺(tái)通過集成Spark引擎來提高計(jì)算速度;最后,本文對(duì)平臺(tái)進(jìn)行了相關(guān)測(cè)試,實(shí)驗(yàn)表明平臺(tái)能夠滿足預(yù)期需求。本數(shù)據(jù)實(shí)時(shí)處理平臺(tái)具有管理方便、數(shù)據(jù)處理建模簡(jiǎn)單、實(shí)時(shí)處理性能良好、基于事件驅(qū)動(dòng)架構(gòu)等特點(diǎn),能夠較好滿足物聯(lián)網(wǎng)服務(wù)平臺(tái)的需求。
[Abstract]:The rapid development of the Internet of things brings great convenience to people's life, but also produces a large number of perceptual data with potential information value. Perceptual data has the characteristics of large amount of data, fast speed, real-time generation and dynamic change. How to better deal with mass perceptual data is one of the research hotspots in the field of Internet of things. Event driven Architecture (EventDriven Architecture) has the characteristics of loose coupling, high integration, initiative and real-time, which can meet the needs of Internet of things applications. At present, the Internet of things service platform needs a high-efficiency, high-availability data real-time processing subsystem. Therefore, the emphasis of this paper is to construct a loosely decoupled, extensible and high-performance real-time data processing platform based on event-driven architecture and Spark data processing engine, and to design a graphical interface to simplify the modeling operation of data processing. The specific work is as follows: firstly, this paper designs and implements a data access module, which acquires events from publish / subscribe system and preprocesses them. Secondly, the modeling of data processing is too complicated. This paper designs a graphical modeling module for data processing, which enables users to model data processing intuitively and easily. Furthermore, the platform interface module is implemented in this paper to facilitate users to configure relevant platforms and view data results; in addition, The platform improves the computing speed by integrating Spark engine. Finally, the platform is tested in this paper, and the experimental results show that the platform can meet the expected requirements. The real-time data processing platform has the advantages of convenient management, simple data processing modeling, good real-time processing performance and event-driven architecture, which can better meet the needs of the Internet of things service platform.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.44;TN929.5;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王明中;謝劍英;陳應(yīng)麟;劉永東;;大宗數(shù)據(jù)實(shí)時(shí)處理優(yōu)化方法的研究及應(yīng)用[J];計(jì)算機(jī)應(yīng)用與軟件;2006年05期

2 邵學(xué)軍;計(jì)算機(jī)實(shí)時(shí)處理選票系統(tǒng)的票箱裝置[J];計(jì)算機(jī)應(yīng)用通訊;1982年01期

3 劉鍵;;分布式實(shí)時(shí)處理軟件研究的若干問題[J];計(jì)算機(jī)科學(xué);1990年03期

4 李德領(lǐng);馬潮;;嵌入式系統(tǒng)中短消息實(shí)時(shí)處理的實(shí)現(xiàn)[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2006年01期

5 杜光會(huì);;國內(nèi)外零售業(yè)軟件的異同[J];信息與電腦;1998年03期

6 彭慧,樊建榮;路橋收費(fèi)數(shù)據(jù)的實(shí)時(shí)處理[J];信息與控制;2001年04期

7 李在雄;無線尋呼信息的計(jì)算機(jī)實(shí)時(shí)處理[J];電子技術(shù)應(yīng)用;1996年12期

8 黃曉菁,彭東青,舒強(qiáng),雷國偉;圖像相關(guān)識(shí)別器的光信號(hào)計(jì)算機(jī)實(shí)時(shí)處理[J];儀器儀表學(xué)報(bào);2005年S1期

9 沈伯寧;單板微型計(jì)算機(jī)用于飛行數(shù)據(jù)實(shí)時(shí)處理[J];電子技術(shù)應(yīng)用;1984年03期

10 張承云,謝志文,謝菠蓀;多媒體計(jì)算機(jī)的音頻實(shí)時(shí)處理[J];電聲技術(shù);2000年01期

相關(guān)會(huì)議論文 前7條

1 呂維加;;肌電的計(jì)算機(jī)實(shí)時(shí)處理[A];第五屆全國運(yùn)動(dòng)生物力學(xué)學(xué)術(shù)會(huì)議論文摘要[C];1985年

2 黃曉菁;彭東青;舒強(qiáng);雷國偉;;圖像相關(guān)識(shí)別器的光信號(hào)計(jì)算機(jī)實(shí)時(shí)處理[A];第三屆全國信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2005年

3 陸惠民;陳革新;張紅桔;;MT多用脈圖自動(dòng)分析系統(tǒng)——醫(yī)理研究[A];中國中醫(yī)藥信息研究會(huì)第二屆理事大會(huì)暨學(xué)術(shù)交流會(huì)議論文匯編[C];2003年

4 焉德廣;龐福文;;抽取內(nèi)差器的實(shí)時(shí)處理結(jié)構(gòu)及其FPGA實(shí)現(xiàn)[A];中國航海學(xué)會(huì)通信導(dǎo)航專業(yè)委員會(huì)2004學(xué)術(shù)年會(huì)論文集[C];2004年

5 郭詠梅;毛士藝;李少洪;;SAR實(shí)時(shí)處理機(jī)中的IQ校正問題[A];第九屆全國信號(hào)處理學(xué)術(shù)年會(huì)（CCSP-99）論文集[C];1999年

6 湯小林;;實(shí)現(xiàn)在AutoCAD中對(duì)大地坐標(biāo)的實(shí)時(shí)處理[A];第七屆全國礦山測(cè)量學(xué)術(shù)會(huì)議論文集[C];2007年

7 余廷揚(yáng);覃飆;王建民;;基于階段事件驅(qū)動(dòng)架構(gòu)的TPC-C測(cè)試工具實(shí)現(xiàn)[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

相關(guān)重要報(bào)紙文章 前3條

1 李國敏;共贏安全大數(shù)據(jù)[N];科技日?qǐng)?bào);2013年

2 清風(fēng);SOA如何改變購電的方式[N];計(jì)算機(jī)世界;2007年

3 易水;計(jì)算機(jī)專業(yè)時(shí)文選讀（938）[N];計(jì)算機(jī)世界;2004年

相關(guān)博士學(xué)位論文 前1條

1 王俊;全數(shù)字式高分辨率SAR實(shí)時(shí)處理機(jī)研究[D];北京航空航天大學(xué);2001年

相關(guān)碩士學(xué)位論文 前10條

1 陳德沖;基于事件驅(qū)動(dòng)的智能大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)的研究設(shè)計(jì)和基本實(shí)現(xiàn)[D];北京郵電大學(xué);2016年

2 戴菲;基于Storm的實(shí)時(shí)計(jì)算系統(tǒng)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

3 劉Z阪，

本文編號(hào)：2115940