隨著大數(shù)據(jù)概念的不斷深入人心,越來越多的企業(yè)開始重視并積累大量的業(yè)務數(shù)據(jù),基于數(shù)據(jù)決策的需求與市場正在快速成長。然而,因為數(shù)據(jù)分析人才的缺乏和海量數(shù)據(jù)分析對技術(shù)專業(yè)性的高要求,企業(yè)難以快速獲得切實有效的數(shù)據(jù)分析能力,亟需能夠降低數(shù)據(jù)分析實施難度、支持分析建模人員簡易且迅捷編排數(shù)據(jù)分析流程的工具,實現(xiàn)為企業(yè)賦能。因此,本文從易用性和通用性角度出發(fā),設計和實現(xiàn)配置式的數(shù)據(jù)分析流程編排系統(tǒng),力求使用戶不必關注數(shù)據(jù)分析運行的底層實施細節(jié),可將精力集中在業(yè)務數(shù)據(jù)分析的設計上。為此,本文采用B/S架構(gòu),使用SSM形成系統(tǒng)開發(fā)框架,并使用React等技術(shù)支撐前端實現(xiàn),基于Airflow編排引擎和MySQL數(shù)據(jù)庫系統(tǒng)實現(xiàn)任務調(diào)度和數(shù)據(jù)存儲,設計實現(xiàn)了本文系統(tǒng)。系統(tǒng)主要由6個核心模塊構(gòu)成。數(shù)據(jù)導入模塊用于與業(yè)務數(shù)據(jù)庫的連接;數(shù)據(jù)預處理模塊提供經(jīng)典的數(shù)據(jù)處理方法;程序編輯模塊支持用戶自主編寫Python腳本或SQL語句實現(xiàn)的數(shù)據(jù)分析算法;模型調(diào)用模塊用于對接本文作者所在項目組的算法集市平臺,實現(xiàn)對算法模型的調(diào)用;服務發(fā)布模塊運用Docker容器技術(shù)實現(xiàn)分析流程啟停和隔離,并實時反饋運行情況;服務調(diào)度模塊為... 

【文章來源】：大連理工大學遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：93 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 課題背景及意義
    1.2 國內(nèi)外發(fā)展現(xiàn)狀
    1.3 本文的組織結(jié)構(gòu)
2 相關技術(shù)介紹
    2.1 SSM開發(fā)框架
    2.2 Airflow編排引擎
    2.3 數(shù)據(jù)庫技術(shù)
    2.4 前端技術(shù)
        2.4.1 React
        2.4.2 D3.js
    2.5 容器技術(shù)
        2.5.1 Docker
        2.5.2 Kubernetes
3 系統(tǒng)需求分析
    3.1 系統(tǒng)總體架構(gòu)
    3.2 系統(tǒng)用例分析
    3.3 系統(tǒng)數(shù)據(jù)流分析
    3.4 非功能需求
4 系統(tǒng)設計
    4.1 系統(tǒng)架構(gòu)設計
    4.2 功能模塊設計
        4.2.1 數(shù)據(jù)導入模塊
        4.2.2 數(shù)據(jù)預處理模塊
        4.2.3 程序編輯模塊
        4.2.4 模型調(diào)用模塊
        4.2.5 服務發(fā)布模塊
        4.2.6 服務調(diào)度模塊
        4.2.7 項目管理模塊
    4.3 數(shù)據(jù)庫設計
        4.3.1 數(shù)據(jù)庫模型設計
        4.3.2 主要數(shù)據(jù)表設計
5 系統(tǒng)實現(xiàn)
    5.1 數(shù)據(jù)導入
    5.2 數(shù)據(jù)預處理
    5.3 程序編輯
    5.4 模型調(diào)用
    5.5 服務發(fā)布
    5.6 服務調(diào)度
    5.7 項目管理
6 系統(tǒng)測試
    6.1 測試指標
    6.2 功能測試
    6.3 性能測試
結(jié)論
參考文獻
附錄 A 系統(tǒng)界面
附錄 B 前端核心代碼
致謝


【參考文獻】：
期刊論文
[1]基于Sugiyama的流程圖自動生成算法[J]. 梁白鷗.  計算機應用. 2019(12)
[2]云計算中任務調(diào)度研究的調(diào)查[J]. 馬小晉,饒國賓,許華虎.  計算機科學. 2019(03)
[3]開源云上的Kubernetes彈性調(diào)度[J]. 張可穎,彭麗蘋,呂曉丹,呂尚青.  計算機技術(shù)與發(fā)展. 2019(02)
[4]微服務組合方法研究進展[J]. 辛園園,李俊暉,李陣.  無線通信技術(shù). 2018(03)
[5]淺談機器學習研究現(xiàn)狀與發(fā)展趨勢[J]. 陳勇濤,郭曉穎,陶慧杰.  中國新通信. 2018(08)
[6]一種基于微服務架構(gòu)的業(yè)務系統(tǒng)設計與實現(xiàn)[J]. 洪華軍,吳建波,冷文浩.  計算機與數(shù)字工程. 2018(01)
[7]可編程模糊測試技術(shù)[J]. 楊梅芳,霍瑋,鄒燕燕,尹嘉偉,劉寶旭,龔曉銳,賈曉啟,鄒維.  軟件學報. 2018(05)
[8]一種基于Docker的數(shù)據(jù)中心云平臺實現(xiàn)方法及系統(tǒng)[J]. 彭勇,謝劍,童遙,申光.  中興通訊技術(shù). 2017(02)
[9]An Open IoT Framework Based on Microservices Architecture[J]. Long Sun,Yan Li,Raheel Ahmed Memon.  中國通信. 2017(02)
[10]SSM框架在Web應用開發(fā)中的設計與實現(xiàn)[J]. 李洋.  計算機技術(shù)與發(fā)展. 2016(12)

碩士論文
[1]可視化頁面編輯平臺的設計與實現(xiàn)[D]. 李隆隆.南京大學 2018



本文編號：3292159