近幾年來,大數(shù)據(jù)已經(jīng)滲透到人類生活的方方面面。隨著移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展,我國大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展也進(jìn)入爆發(fā)期,大數(shù)據(jù)已經(jīng)上升為國家戰(zhàn)略。大數(shù)據(jù)處理系統(tǒng)也有了更多樣的業(yè)務(wù)需求,導(dǎo)致支撐大數(shù)據(jù)處理的各項(xiàng)技術(shù)逐步走向成熟。把不同的技術(shù)融合成一個(gè)大型的大數(shù)據(jù)處理系統(tǒng),這樣的系統(tǒng)架構(gòu)在實(shí)際生產(chǎn)中得到了廣泛應(yīng)用。但是其學(xué)習(xí)成本和維護(hù)成本非常高,同一個(gè)開發(fā)者很難維護(hù)和擴(kuò)展這么多復(fù)雜技術(shù)融合而成的系統(tǒng)。針對(duì)以上問題,結(jié)合課題組的項(xiàng)目,本文設(shè)計(jì)并實(shí)現(xiàn)了支持工作流的實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)。本文首先研究了mxGraph框架的組織結(jié)構(gòu)和底層實(shí)現(xiàn)原理,將其與Web技術(shù)結(jié)合,搭建了支持工作流的大數(shù)據(jù)管理平臺(tái)。在此基礎(chǔ)上,總結(jié)了大數(shù)據(jù)處理關(guān)鍵技術(shù)Flume、Kafka的相關(guān)配置和Spark Streaming的工作原理,部署了大數(shù)據(jù)處理系統(tǒng)。最后將可視化信息管理平臺(tái)與大數(shù)據(jù)處理系統(tǒng)結(jié)合在一起,實(shí)現(xiàn)了支持工作流的實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)。系統(tǒng)設(shè)計(jì)的核心功能體現(xiàn)在可以通過支持工作流的大數(shù)據(jù)管理平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)處理的可視化配置。將大數(shù)據(jù)處理系統(tǒng)的配置信息統(tǒng)一提取出來,交由大數(shù)據(jù)管理平臺(tái)統(tǒng)一配置管理。大數(shù)據(jù)管理平臺(tái)使用XML格式的數(shù)據(jù)... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１?ｍｘＧｒａｐｈ組件關(guān)系圖??７??

ｍｘＧｒａｐｈ是一系列以不同技術(shù)開發(fā)的工具庫，可以方便地與其它技術(shù)結(jié)合搭??建后臺(tái)管理系統(tǒng)，ｍｘＧｒａｐｈ可用于工作流設(shè)計(jì)［１Ｇ］。ｍｘＧｒａｐｈ的各個(gè)組件關(guān)系圖如??圖２－１所示。??作為一個(gè)開發(fā)庫，ｍｘＧｒａｐｈ沒有專門提供一個(gè)現(xiàn)成的可以使用的應(yīng)用程序，??盡管其中的許多例子都接近可以直接使用。ｍｘＧｒａｐｈ提供ｍｘＧｒａｐｈ樣式的所有??經(jīng)常所需要的繪畫功能，并且ｍｘＧｒａｐｈ自帶有許多例子，它們有助于解釋每種??技術(shù)是如何被放在一起組成一個(gè)基本的應(yīng)用程序，并展示這個(gè)工具庫的各項(xiàng)功能。??廣?Ｂａｃｋｅｎｄ?＾??Ｊａｖａ?．Ｎｅｔ?Ｐｈｐ??＾ｘ＾??Ｃｇｉ??＞?Ｗｅｂ?ｓｅｒｖｅｒ?１?＾??Ｈｔｍｉ?Ｘｍｌ?Ｊｓ?Ｃｓｓ?…??ｌ?ｘ?Ｊ??ＨＵｐ??廣?Ｗｅｂ?ｃｌｉｅｎｔ—，———＿——??—??——???———??、??Ｅｄｉｔｏｒ?Ｇｒａｐｈ?ｌｎｐｕＬｒＯｕｌｐｙｔ??Ｃｏｎｆ＾ｇｕｒａｌｉｏｎ?Ｖａｉｉｄａｌｉｏｎ?Ｃｏｓｔｏｍｉｚａｔｉｏｎ??Ｖ?Ｊ??圖２－１?ｍｘＧｒａｐｈ組件關(guān)系圖??７??

Ｈｕｍｅ運(yùn)行的獨(dú)立進(jìn)程，它的運(yùn)行依賴于配置文件，配置文件中包含每個(gè)源、通??道和接收器三個(gè)核心組件的屬性，屬性包括名稱、類型和一些其他實(shí)例化屬性。??通過這三個(gè)組件，就可以完成數(shù)據(jù)流的正常流轉(zhuǎn)，如圖２－３所示。??Ｓｉｎｋ??董疆〇??Ｃ?Ｃｈａｎｎｅｌ?）??Ａｇｅｎｔ?．…獨(dú)－??圖２－３?Ａｇｅｎｔ結(jié)構(gòu)示意圖??Ｓｏｕｒｃｅ是數(shù)據(jù)的收集端，負(fù)責(zé)將數(shù)據(jù)捕獲后進(jìn)行特殊的格式化，并將數(shù)據(jù)封??裝到事件（Ｅｖｅｎｔ）里，然后將事件推入Ｃｈａｎｎｅｌ中。Ｆｌｕｍｅ提供了很多內(nèi)置的??Ｓｏｕｒｃｅ，包括?Ｅｘｅｃ?Ｓｏｕｒｃｅ、Ａｖｒｏ?Ｓｏｕｒｃｅ、Ｔｈｒｉｆｔ?Ｓｏｕｒｃｅ?等，可以讓應(yīng)用程序同這??些內(nèi)置的Ｓｏｕｒｃｅ直接進(jìn)行數(shù)據(jù)交換。如果內(nèi)置的Ｓｏｕｒｃｅ無法滿足需要，Ｆｌｕｍｅ??還支持自定義Ｓｏｕｒｃｅ。常用的Ｓｏｕｒｃｅｓ類型如表２－１所示。??表２－１?Ｓｏｕｒｃｅｓ類型及說明??Ｓｏｕｒｃｅ類型?說明??Ａｖｒｏ?Ｓｏｕｒｃｅ?監(jiān)聽Ａｖｒｏ端口，接收外部Ａｖｒｏ?Ｃｌｉｅｎｔ數(shù)據(jù)流??１０??

【參考文獻(xiàn)】：
期刊論文
[1]XML在網(wǎng)頁設(shè)計(jì)中的應(yīng)用與研究[J]. 向澤林.  電子技術(shù)與軟件工程. 2019(02)
[2]基于Kafka的分布式能效管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 朱幼普,盧軍.  計(jì)算機(jī)與數(shù)字工程. 2018(12)
[3]基于Java的Mybaits生成持久層配置文件[J]. 管才路,葉剛,耿偉,王立河.  電子技術(shù)與軟件工程. 2018(22)
[4]A Scheduling Optimization Technique Based on Reuse in Spark to Defend Against APT Attack[J]. Jianchao Tang,Ming Xu,Shaojing Fu,Kai Huang.  Tsinghua Science and Technology. 2018(05)
[5]基于Spark Streaming的實(shí)時(shí)交通數(shù)據(jù)處理平臺(tái)[J]. 譚亮,周靜.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(10)
[6]Spark Streaming在實(shí)時(shí)計(jì)算中的應(yīng)用研究[J]. 謝艷晴.  電腦知識(shí)與技術(shù). 2018(25)
[7]大數(shù)據(jù)日志分析平臺(tái)應(yīng)用探索與實(shí)踐[J]. 胡沐創(chuàng).  金融科技時(shí)代. 2018(01)
[8]基于SpringMVC的圖片處理系統(tǒng)的研究與設(shè)計(jì)[J]. 王曉薇,張勇,李金振.  電子設(shè)計(jì)工程. 2017(24)
[9]基于Spark的分布式實(shí)時(shí)推薦系統(tǒng)[J]. 王佳嫻,王中杰.  系統(tǒng)仿真技術(shù). 2017(02)
[10]分布式流數(shù)據(jù)加載和查詢技術(shù)優(yōu)化[J]. 易佳,薛晨,王樹鵬.  計(jì)算機(jī)科學(xué). 2017(05)

碩士論文
[1]基于SparkStreaming的網(wǎng)絡(luò)資源管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 黃哲.南京郵電大學(xué) 2018
[2]基于Spark的數(shù)據(jù)實(shí)時(shí)分析處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 陳鵬.電子科技大學(xué) 2018
[3]物聯(lián)網(wǎng)資源模型輔助的組態(tài)系統(tǒng)的研究與實(shí)現(xiàn)[D]. 李啟波.北京郵電大學(xué) 2018
[4]基于Spark的網(wǎng)絡(luò)安全日志分析系統(tǒng)的研究與實(shí)現(xiàn)[D]. 李俊杰.江西師范大學(xué) 2017
[5]基于Spark技術(shù)的實(shí)時(shí)網(wǎng)絡(luò)流量異常檢測(cè)研究[D]. 周超.蘭州交通大學(xué) 2016
[6]基于hadoop的網(wǎng)站用戶行為分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 王電輕.中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院) 2016
[7]基于WEB的制造服務(wù)管理系統(tǒng)研究與開發(fā)[D]. 呂占東.電子科技大學(xué) 2014



本文編號(hào)：2991155