數(shù)據(jù)倉庫任務(wù)調(diào)度管理平臺可以應(yīng)用在大數(shù)據(jù)項目建設(shè)上,面對大數(shù)據(jù)業(yè)務(wù)應(yīng)用的日益提高,數(shù)據(jù)科學(xué)與大數(shù)據(jù)的應(yīng)用增加,異構(gòu)系統(tǒng)逐漸增多,響應(yīng)頻率逐步提升,管理水平的要求也隨之改進(jìn)。越來越大的壓力作用到數(shù)據(jù)基礎(chǔ)平臺上,對這些數(shù)據(jù)基礎(chǔ)平臺提出了新的挑戰(zhàn)!因此,提出了數(shù)據(jù)倉庫任務(wù)調(diào)度管理平臺的設(shè)計與實現(xiàn)。數(shù)據(jù)倉庫任務(wù)調(diào)度管理平臺搭建到操作系統(tǒng)、Java虛擬機(jī)、db2數(shù)據(jù)庫管理系統(tǒng)中,不會直接與系統(tǒng)硬件出現(xiàn)接口交互,利用基礎(chǔ)系統(tǒng)進(jìn)行硬件的加載與處理,本平臺沒有直接設(shè)置硬件接口。平臺屬于Web應(yīng)用程序,平臺中完成編碼的技術(shù)利用了配置文件、Java代碼、JSP頁面、Sq1語句。平臺設(shè)計了前臺WEB子系統(tǒng)和后臺調(diào)度引擎子系統(tǒng)兩部分。前臺WEB子系統(tǒng)應(yīng)用模塊中的基本調(diào)度、日常管理、日常監(jiān)控、系統(tǒng)管理在JavaEE技術(shù)框架下進(jìn)行開發(fā)。后臺調(diào)度引擎子系統(tǒng)借助三層模式,涵蓋Server端、Agent端、作業(yè)封裝以及公共組件四大部分。數(shù)據(jù)倉庫任務(wù)調(diào)度管理平臺可完成數(shù)據(jù)倉庫的基本調(diào)度、日常管理、日常監(jiān)控、系統(tǒng)管理。其中,基本調(diào)度模塊包括系統(tǒng)維護(hù)、作業(yè)組維護(hù)、作業(yè)維護(hù)、作業(yè)參數(shù)維護(hù)、批量維護(hù)五大功能。日常管理模塊包括節(jié)點...

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

系統(tǒng)表結(jié)構(gòu)一致可實現(xiàn)ODS圖3數(shù)據(jù)整合管理實現(xiàn)臨時數(shù)據(jù)層與源

L）獲�。‥）轉(zhuǎn)換（T）數(shù)據(jù)區(qū)臨時數(shù)據(jù)區(qū)ETL控制數(shù)據(jù)數(shù)據(jù)源確認(rèn)、映射數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量檢查DWAutomation任務(wù)調(diào)度與控制接口數(shù)據(jù)OLAPCube數(shù)據(jù)流流程控制專用數(shù)據(jù)層語義層模型（SDM）針對某個分析應(yīng)用或者某些用戶設(shè)計可以是視圖公共指標(biāo)數(shù)據(jù)層語義層模型（....

圖２－２基本調(diào)度核心流程??基本調(diào)度的過程為：進(jìn)行系統(tǒng)維護(hù)，登記作業(yè)組信息，對作業(yè)組信息進(jìn)行覆??蓋，判斷覆蓋是否結(jié)束

大業(yè)務(wù)的建設(shè)；后臺調(diào)度引擎子系統(tǒng)提出了?Ｓｅｒｖｅｒ端、Ａｇｅｎｔ端、作業(yè)封裝以及??公共組件四大部分。??前臺ＷＥＢ子系統(tǒng)的功能包圖，如圖２－１所示。??！□??〇???基本調(diào)度?日常管理??＾?７１??＼?／??＼?／??＼?／??＼?／??＼?１?／??數(shù)據(jù)倉庫任務(wù)調(diào)度管理....

圖２－３作業(yè)組執(zhí)行計劃表流程圖??重做作業(yè)組流程是在當(dāng)作業(yè)組內(nèi)沒有正在執(zhí)行的作業(yè)時，重新執(zhí)行作業(yè)組內(nèi)??的所有作業(yè)

業(yè)組添加到執(zhí)行計劃表中輸入：作業(yè)組ＩＤ或者作業(yè)組名稱。輸出：生成作業(yè)組??的執(zhí)行計劃表。??日常作業(yè)監(jiān)控流程，如圖２＿３所示。???Ｉ???將作業(yè)執(zhí)行計劃??表中執(zhí)行成功的??計劃導(dǎo)入歷史表??：?ｉ??Ｉ?！???ｉ???ｉ???查找當(dāng)天數(shù)據(jù)到?查找數(shù)據(jù)與作業(yè)??數(shù)計劃表?關(guān)系....

圖２－４重做作業(yè)組流程圖??重做失敗作業(yè)組流程用于重新執(zhí)行作業(yè)組內(nèi)的所有失敗的作業(yè)

有失敗的作業(yè)。輸入：作業(yè)組ｒｏ或者作業(yè)組名稱輸出：修改作業(yè)組中所有作業(yè)??的狀態(tài)。??重做失敗作業(yè)組流程，如圖２－５所示。??８??

本文編號：3919958