現(xiàn)代企業(yè)中,數(shù)據(jù)的分析處理等工作往往需要大量的數(shù)據(jù)抽取、轉(zhuǎn)換和加載（Extract,Transform and Load,ETL）等工作,ETL是數(shù)據(jù)集成的一種主要解決方案。本論文來(lái)源于公司的實(shí)際研發(fā)項(xiàng)目,由于企業(yè)現(xiàn)有的ETL系統(tǒng)存在單機(jī)宕機(jī)和功能復(fù)雜的問(wèn)題,為解決ETL作業(yè)中的宕機(jī)和難以使用的問(wèn)題,本文設(shè)計(jì)實(shí)現(xiàn)一個(gè)ETL的數(shù)據(jù)集成系統(tǒng),將企業(yè)內(nèi)部各種應(yīng)用數(shù)據(jù)集成到一起,供數(shù)據(jù)分析使用;數(shù)據(jù)分析的結(jié)果,也通過(guò)本系統(tǒng)以接口的方式對(duì)外提供服務(wù)。在ETL數(shù)據(jù)處理的過(guò)程中,面臨著數(shù)據(jù)源多樣性、數(shù)據(jù)的不規(guī)范和任務(wù)執(zhí)行過(guò)程中的系統(tǒng)穩(wěn)定性等問(wèn)題,本文采用分布式架構(gòu)的設(shè)計(jì)理念,將系統(tǒng)分成三個(gè)基礎(chǔ)服務(wù);利用Spark平臺(tái)的大數(shù)據(jù)處理能力,Kafka的異步解耦能力及搜索引擎ES的數(shù)據(jù)查詢能力,對(duì)ETL作業(yè)過(guò)程進(jìn)行了異步解耦,優(yōu)化數(shù)據(jù)抽取方案,解決數(shù)據(jù)處理難題,實(shí)現(xiàn)了一個(gè)具有可擴(kuò)展性的分布式ETL數(shù)據(jù)集成平臺(tái)。其主要工作內(nèi)容如下:（1）需求分析與架構(gòu)設(shè)計(jì):對(duì)ETL作業(yè)作了需求分析,并進(jìn)行了分布式架構(gòu)設(shè)計(jì);考慮到服務(wù)生命周期的不一致,將系統(tǒng)解耦為三個(gè)基礎(chǔ)服務(wù),詳細(xì)闡述了解耦的原理及三個(gè)服務(wù)間的關(guān)系;（2）三大... 

【文章來(lái)源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：109 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

配置中心原理圖

可重試網(wǎng)關(guān)設(shè)計(jì)

消息中間件原理圖

【參考文獻(xiàn)】：
期刊論文
[1]關(guān)于企業(yè)信息系統(tǒng)災(zāi)備中心建設(shè)方案探討[J]. 周琦.  中國(guó)管理信息化. 2018(23)
[2]卡爾曼濾波在四軸飛行器導(dǎo)航中的應(yīng)用[J]. 徐華中,余飛,何家俊.  武漢理工大學(xué)學(xué)報(bào)(信息與管理工程版). 2012(03)
[3]基于DataStage的異構(gòu)數(shù)據(jù)轉(zhuǎn)換的研究與實(shí)現(xiàn)[J]. 蘇健偉.  中國(guó)新技術(shù)新產(chǎn)品. 2009(04)
[4]基于MAS的分布式ETL模型[J]. 徐艷華,郭朝珍.  鄭州大學(xué)學(xué)報(bào)(理學(xué)版). 2007(04)



本文編號(hào)：3324476