隨著企業(yè)業(yè)務(wù)線的不斷擴(kuò)張,各個(gè)事業(yè)部以及產(chǎn)品線之間的數(shù)據(jù)共享變?yōu)閱栴},導(dǎo)致企業(yè)的數(shù)據(jù)過于分散和冗余,各個(gè)部門之間的數(shù)據(jù)互聯(lián)與合作變得尤為困難,同時(shí)由于業(yè)務(wù)的擴(kuò)大,各個(gè)事業(yè)部產(chǎn)品的用戶數(shù)據(jù)變得非常龐大,使得其對(duì)各個(gè)產(chǎn)品原本孤立存儲(chǔ)的數(shù)據(jù)資源進(jìn)行整合匯總并且通過數(shù)據(jù)分析給用戶提供更優(yōu)質(zhì)的產(chǎn)品服務(wù)與體驗(yàn)愿望逐漸提高,同時(shí)也為了解決企業(yè)各個(gè)事業(yè)部重復(fù)研發(fā)造成資源浪費(fèi)、資源利用率低下等問題,公司大數(shù)據(jù)部門研發(fā)了集數(shù)據(jù)導(dǎo)入、數(shù)據(jù)管理、數(shù)據(jù)開發(fā)、任務(wù)調(diào)度等于一體的一站式大數(shù)據(jù)智能云研發(fā)平臺(tái)。本文介紹了數(shù)據(jù)開發(fā)平臺(tái)的發(fā)展現(xiàn)狀、一站式數(shù)據(jù)開發(fā)平臺(tái)對(duì)于企業(yè)的重要意義、平臺(tái)開發(fā)中使用的相關(guān)技術(shù)、平臺(tái)的整體架構(gòu)設(shè)計(jì)以及各個(gè)子模塊系統(tǒng)的實(shí)現(xiàn)細(xì)節(jié)。本平臺(tái)在數(shù)據(jù)集成模塊底層采用開源數(shù)據(jù)同步框架DataX,實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步,使得數(shù)據(jù)同步任務(wù)變得簡(jiǎn)單可控。數(shù)據(jù)開發(fā)模塊使用Airflow調(diào)度框架,來實(shí)現(xiàn)對(duì)不同數(shù)據(jù)開發(fā)任務(wù)的任務(wù)調(diào)度,數(shù)據(jù)查詢模塊以及數(shù)據(jù)開發(fā)模塊的編輯器功能是基于Monaco Editor開源庫,用于實(shí)現(xiàn)SQL、Python、Hive腳本任務(wù)編寫的功能。同時(shí)數(shù)據(jù)開發(fā)模塊基于Jointjs實(shí)現(xiàn)以DAG... 

【文章來源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：116 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１?ＤａｔａＸ架構(gòu)??Ｆｉｇｕｒｅ?２－１?ＤａｔａＸ?Ａｒｃｈｉｔｅｃｔｕｒｅ??

圖２－２?Ｓｐａｒｋ架構(gòu)??Ｆｉｇｕｒｅ?２－２?Ｓｐａｒｋ?Ａｒｃｈｉｔｅｃｔｕｒｅ??

圖３－１功能劃分圖??Ｆｉｇｕｒｅ?３－１?Ｆｕｎｃｔｉｏｎａｌ?Ｄｉｖｉｓｉｏｎ?Ｄｉａｇｒａｍ??

【參考文獻(xiàn)】：
期刊論文
[1]計(jì)算機(jī)數(shù)據(jù)庫軟件設(shè)計(jì)原則與實(shí)踐[J]. 李晶.  計(jì)算機(jī)產(chǎn)品與流通. 2019(03)
[2]基于模型的敏捷軟件架構(gòu)設(shè)計(jì)方法[J]. 蔣丹,劉永吉.  電子技術(shù)與軟件工程. 2019(04)
[3]大數(shù)據(jù)分析對(duì)企業(yè)決策的影響[J]. 姚望.  中國(guó)商論. 2019(02)
[4]基于大數(shù)據(jù)和云計(jì)算平臺(tái)應(yīng)用[J]. 胡雯.  中國(guó)新通信. 2019(02)
[5]大數(shù)據(jù)對(duì)現(xiàn)代企業(yè)管理決策的影響分析[J]. 霍永佳.  經(jīng)濟(jì)師. 2018(10)
[6]基于Datax的數(shù)據(jù)同步方案研究[J]. 陳宇收.  電腦編程技巧與維護(hù). 2018(09)
[7]面向企業(yè)級(jí)web應(yīng)用的前后端分離開發(fā)模式及實(shí)踐[J]. 杜艷美,黃曉芳.  西南科技大學(xué)學(xué)報(bào). 2018(02)
[8]基于Vue.js構(gòu)建單頁面GIS應(yīng)用的方法研究[J]. 鄧雯婷.  科技創(chuàng)新與應(yīng)用. 2018(14)
[9]網(wǎng)站前端模塊化開發(fā)策略研究[J]. 肖慧明.  數(shù)字技術(shù)與應(yīng)用. 2018(03)
[10]基于JSON的離線數(shù)據(jù)同步策略及應(yīng)用[J]. 穆鑫鑫,蔣同海,程力,馬玉鵬.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(12)

碩士論文
[1]基于XML的法院數(shù)據(jù)同步系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 常春.內(nèi)蒙古大學(xué) 2018
[2]基于問題框架方法的軟件非功能性需求分析的研究[D]. 吳淑慧.安徽大學(xué) 2018
[3]基于Hadoop和Django的大數(shù)據(jù)可視化分析Web系統(tǒng)[D]. 吳義.東華大學(xué) 2016



本文編號(hào)：3252438