當(dāng)今時(shí)代是一個(gè)信息大爆炸的時(shí)代,生產(chǎn)生活中的每一個(gè)角落充滿各種各樣的信息,企事業(yè)單位在信息獲取上具有天然優(yōu)勢(shì),是各種各樣數(shù)據(jù)的擁有者。通過(guò)數(shù)據(jù)的高效共享,能夠最大限度的挖掘出數(shù)據(jù)的潛在價(jià)值,有助于企事業(yè)單位科學(xué)管理、創(chuàng)新經(jīng)營(yíng)、長(zhǎng)遠(yuǎn)規(guī)劃。然而現(xiàn)有的數(shù)據(jù)共享系統(tǒng)存在著各種各樣的弊端,要么技術(shù)老舊無(wú)法適應(yīng)大數(shù)據(jù)時(shí)代的數(shù)據(jù)共享需求,要么價(jià)格高昂性價(jià)比低下,因此,一款支持采集各種異構(gòu)數(shù)據(jù),海量數(shù)據(jù)高效共享,滿足流批一體化數(shù)據(jù)分析,且成本低廉的數(shù)據(jù)總線系統(tǒng)極為必要。本論文依托各種開源技術(shù)設(shè)計(jì)開發(fā)了一款基于Kafka的數(shù)據(jù)總線系統(tǒng)。對(duì)系統(tǒng)進(jìn)行了需求分析,詳細(xì)闡述了用戶對(duì)數(shù)據(jù)采集、實(shí)時(shí)計(jì)算、數(shù)據(jù)轉(zhuǎn)儲(chǔ)、總線元數(shù)據(jù)管理、運(yùn)維監(jiān)測(cè)的功能需求和性能需求,給出了功能模塊圖、系統(tǒng)架構(gòu)圖、數(shù)據(jù)流程圖,詳細(xì)闡述了系統(tǒng)具體設(shè)計(jì)與實(shí)現(xiàn),給出了核心算法與代碼,系統(tǒng)完成后通過(guò)黑盒測(cè)試的方法,對(duì)照需求設(shè)計(jì)測(cè)試驗(yàn)證了每一個(gè)模塊的功能與性能。系統(tǒng)采用微服務(wù)體系架構(gòu),在JVM開發(fā)平臺(tái)下,以Flume為數(shù)據(jù)采集組件,Kafka為數(shù)據(jù)管道,kettle為ETL工具,Spring Cloud為微服開發(fā)實(shí)施框架,使用JAVA代碼實(shí)現(xiàn)各個(gè)功能... 

【文章來(lái)源】：鄭州大學(xué)河南省 211工程院校

【文章頁(yè)數(shù)】：55 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Kettle新建Kafka輸入源

第4章系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)22打開Kettle設(shè)計(jì)工具新建一個(gè)轉(zhuǎn)換，在Input下選擇ApacheKafkaConsume：圖4-7Kettle新建Kafka輸入源在選中的組件里配置Topic、zookeeper、Group等配置信息:圖4-8Kettle配置Kafka相關(guān)信息Kettle提供了多達(dá)120多種的內(nèi)置數(shù)據(jù)處理，而且還可以方便的擴(kuò)展出更多，我們選

第4章系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)23擇一個(gè)字符串替換，用來(lái)把抽取中的某個(gè)數(shù)據(jù)定義為業(yè)務(wù)需求數(shù)據(jù)：圖4-9Kettle配置字符串替換處理數(shù)據(jù)處理完成后，根據(jù)業(yè)務(wù)需求選擇合適的輸出，加載到目標(biāo)系統(tǒng),這里我們選擇加到Excel文件：圖4-10Kettle配置Excel輸出只需簡(jiǎn)單拖拽，以及一些必須的配置就實(shí)現(xiàn)了一個(gè)完整的數(shù)據(jù)轉(zhuǎn)儲(chǔ)過(guò)程。總線系統(tǒng)通過(guò)可視化的操作方式為可以從Kafka數(shù)據(jù)管道整合清洗來(lái)自各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，生成業(yè)務(wù)方需要的大寬表，加載的對(duì)應(yīng)的業(yè)務(wù)系統(tǒng)，滿足業(yè)務(wù)系統(tǒng)的離線分

【參考文獻(xiàn)】：
期刊論文
[1]ETL和ESB架構(gòu)在企業(yè)信息化建設(shè)中的應(yīng)用[J]. 秦曉燕.  電子技術(shù)與軟件工程. 2019(22)
[2]一種基于微服務(wù)架構(gòu)的業(yè)務(wù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 洪華軍,吳建波,冷文浩.  計(jì)算機(jī)與數(shù)字工程. 2018(01)
[3]Spring Boot研究和應(yīng)用[J]. 王永和,張勁松,鄧安明,周智勛.  信息通信. 2016(10)
[4]微服務(wù)架構(gòu)和容器技術(shù)應(yīng)用[J]. 孫海洪.  金融電子化. 2016(05)
[5]基于KETTLE的數(shù)據(jù)集成研究[J]. 崔有文,周金海.  計(jì)算機(jī)技術(shù)與發(fā)展. 2015(04)
[6]基于NS3的分布式消息系統(tǒng)Kafka的仿真實(shí)現(xiàn)[J]. 馬浩然.  軟件. 2015(01)
[7]一種可擴(kuò)展的網(wǎng)絡(luò)用戶行為日志獲取方法[J]. 吳茜媛,鄭慶華,王萍.  軟件. 2014(10)
[8]消息中間件傳輸模式的改進(jìn)與實(shí)現(xiàn)[J]. 尚小東,田亮,荀智德,丁峰.  指揮信息系統(tǒng)與技術(shù). 2014(05)
[9]基于Apache Flume的分布式日志收集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 郝璇.  軟件導(dǎo)刊. 2014(07)
[10]大數(shù)據(jù)技術(shù)研究綜述[J]. 劉智慧,張泉靈.  浙江大學(xué)學(xué)報(bào)(工學(xué)版). 2014(06)

碩士論文
[1]面向工業(yè)大數(shù)據(jù)的數(shù)據(jù)采集系統(tǒng)[D]. 謝青松.華中科技大學(xué) 2016
[2]基于ZooKeeper的分布式處理框架的研究與實(shí)現(xiàn)[D]. 譚玉靖.北京郵電大學(xué) 2014
[3]基于ESB的高校數(shù)據(jù)交換平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 鄒偉平.南昌大學(xué) 2012



本文編號(hào)：3235170