在做數(shù)據(jù)分析處理時,一個作業(yè)往往不能達到我們的業(yè)務(wù)目的,執(zhí)行過程中通常會涉及多個作業(yè)任務(wù),這些作業(yè)按照邏輯執(zhí)行關(guān)系連接,存在著相互依賴關(guān)系。若當(dāng)前系統(tǒng)每天都會因交易的進行,新增大量數(shù)據(jù),而業(yè)務(wù)部門要求每天進行一次統(tǒng)計處理,那么需要以天為周期執(zhí)行上述流程。在這種情況下,分析團隊必須進行系統(tǒng)性的作業(yè)管理,為了簡化作業(yè)調(diào)度工作,減輕工作量,同時實現(xiàn)分析任務(wù)工作流的自動化管理,星環(huán)公司在大數(shù)據(jù)平臺的基礎(chǔ)上發(fā)布了工作流管理工具,Transwarp Workflow。本文描述的Transwarp Workflow系統(tǒng)是一種用于實現(xiàn)工作流調(diào)度DAG設(shè)計與管理的圖形化工具,它支持Shell、SQL以及自定義Java任務(wù)等任務(wù)類型。用戶設(shè)定好任務(wù)執(zhí)行的邏輯執(zhí)行順序之后,它可以自動運行工作流上的離線批處理任務(wù)。本項目后端的主要編程語言是Java,整體基于微服務(wù)的方式,通過Spring Boot框架進行了快速的搭建,通過Spring的面向切面編程和依賴注入實現(xiàn)模塊間低耦合以及高可擴展性,使用SpringMVC框架設(shè)計后端服務(wù),提供RESTful接口,前后端通過RESTful接口進行通信,采用MyBatis持久...

【文章頁數(shù)】：83 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．１?ＭｙＢａｔｉｓ整體架構(gòu)設(shè)計圖??如圖２．１所示，ＭｙＢａｔｉｓ從架構(gòu)層面可以被分為三層，分別是基礎(chǔ)支撐層、??數(shù)據(jù)處理層和ＡＰＩ接口層［榮艷冬，２０１５］

１??圖２．１?ＭｙＢａｔｉｓ整體架構(gòu)設(shè)計圖??如圖２．１所示，ＭｙＢａｔｉｓ從架構(gòu)層面可以被分為三層，分別是基礎(chǔ)支撐層、??數(shù)據(jù)處理層和ＡＰＩ接口層［榮艷冬，２０１５］。??（１）基礎(chǔ)支撐層：基礎(chǔ)支撐層負(fù)責(zé)對數(shù)據(jù)處理層提供最基礎(chǔ)的功能支撐，將??加載配置文件、連接管理、事務(wù)管理....

圖３．１?Ｗｏｒｋｆｌｏｗ調(diào)度系統(tǒng)用例圖??３．２功能性需求分析??根據(jù)圖３．１的系統(tǒng)用例圖，具體分析Ｔｒａｎｓｗａｒｐ?Ｗｏｒｋｆｌｏｗ系統(tǒng)的功能需求，??

圖３．１?Ｗｏｒｋｆｌｏｗ調(diào)度系統(tǒng)用例圖??３．２功能性需求分析??根據(jù)圖３．１的系統(tǒng)用例圖，具體分析Ｔｒａｎｓｗａｒｐ?Ｗｏｒｋｆｌｏｗ系統(tǒng)的功能需求，??比較重要的具體有以下幾種，其余不進行詳細(xì)描述：??（１）．全局配置功能??系統(tǒng)有一些可以進行修改的全局配置，需要提供配置功....

圖３．２統(tǒng)計分析功能用例圖??１６??Ｉ??

直觀展示結(jié)果。??理功能??通知主要為已發(fā)布工作流執(zhí)行成功或失敗時進行通知，志顯示以及實時狀態(tài)頁面，可添加郵件或短信業(yè)務(wù)，在全配置好發(fā)送協(xié)議和收件箱即可在任務(wù)結(jié)束時發(fā)送表格化執(zhí)與收集信息。??執(zhí)行節(jié)點需要可選，具體到子任務(wù)級別。在執(zhí)行狀態(tài)變工作流，在首頁訪問服務(wù)器時及時進行最新通....

圖３．３任務(wù)調(diào)度功能用例圖??任務(wù)調(diào)度功能的用例圖如圖３．３所示

?Ｉ??圖３．３任務(wù)調(diào)度功能用例圖??任務(wù)調(diào)度功能的用例圖如圖３．３所示。任務(wù)調(diào)度功能是工作流管理系統(tǒng)的核??心，需求分析得出任務(wù)調(diào)度主要有以下四種情況：（１）上線工作流后系統(tǒng)進行定時??調(diào)度，包括因依賴某工作流而觸發(fā)的工作流。（２）設(shè)計完工作流后進行調(diào)試，一??些任務(wù)類型需要直....

本文編號：4007406