發(fā)布時(shí)間：2017-08-21 01:29

  本文關(guān)鍵詞：異構(gòu)調(diào)度環(huán)境下ETL工作流監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 數(shù)據(jù)倉(cāng)庫(kù) 分布式ETL Oozie 調(diào)度監(jiān)控

【摘要】：本文提出一種分布式ETL在異構(gòu)調(diào)度環(huán)境下的工作流統(tǒng)一監(jiān)控方法。通過(guò)對(duì)異構(gòu)調(diào)度系統(tǒng)元數(shù)據(jù)的提取和抽象,采用增量抽取和跟蹤監(jiān)控對(duì)象的方式,通過(guò)網(wǎng)絡(luò)消息傳送將監(jiān)控對(duì)象加載到監(jiān)控?cái)?shù)據(jù)中心并統(tǒng)一管理,實(shí)現(xiàn)了分布式ETL工作流在異構(gòu)調(diào)度環(huán)境下的的全局監(jiān)控,提高了數(shù)據(jù)恢復(fù)能力和倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量。
【作者單位】： 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室;東信北郵信息技術(shù)有限公司;
【關(guān)鍵詞】： 數(shù)據(jù)倉(cāng)庫(kù) 分布式ETL Oozie 調(diào)度監(jiān)控
【基金】：國(guó)家杰出青年科學(xué)基金(No.60525110) 國(guó)家973計(jì)劃項(xiàng)目(No.2007CB307100,2007CB307103) 國(guó)家自然科學(xué)基金(No.61072057,60902051) 中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金(BUPT2009RC0505) 國(guó)家科技重大專項(xiàng)(No.2011ZX03002-001-01,2001ZX03002-002-01)
【分類號(hào)】：TP311.13;TP277
【正文快照】： 隨著計(jì)算能力和網(wǎng)絡(luò)存儲(chǔ)能力的不斷提高,傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理能力已經(jīng)無(wú)法滿足大數(shù)據(jù)的服務(wù)需求。數(shù)據(jù)倉(cāng)庫(kù)作為一種大數(shù)據(jù)平臺(tái)基礎(chǔ)和關(guān)鍵組成部分,被廣泛應(yīng)用在數(shù)據(jù)挖掘和分析領(lǐng)域。數(shù)據(jù)倉(cāng)庫(kù)在整個(gè)大數(shù)據(jù)生態(tài)系統(tǒng)中通常承擔(dān)數(shù)據(jù)源的角色,所以數(shù)據(jù)倉(cāng)庫(kù)的質(zhì)量直接影響著整

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 唐亮;;ETL技術(shù)在地稅數(shù)據(jù)集中項(xiàng)目中的應(yīng)用探討[J];電腦知識(shí)與技術(shù);2012年21期

2 閆小爽;李忠華;李璐;鄒超群;;開(kāi)源ETL軟件在智能化集成系統(tǒng)中的應(yīng)用[J];智能建筑;2009年04期

3 管麗娟;;數(shù)據(jù)ETL研究與展望[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年06期

4 戴浩;楊波;;ETL中的數(shù)據(jù)增量抽取機(jī)制研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2009年23期

5 周宏廣,周繼承,彭銀橋,龍思銳;數(shù)據(jù)ETL工具通用框架設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用;2003年12期

6 劉映輝;晏妮;;基于ETL技術(shù)的商業(yè)銀行自動(dòng)對(duì)賬系統(tǒng)[J];中國(guó)金融電腦;2009年04期

7 劉誠(chéng)文;;為ETL選一個(gè)操作系統(tǒng)?[J];軟件世界;2007年21期

8 孫偉,張忠能;ETL架構(gòu)研究[J];微型電腦應(yīng)用;2005年03期

9 周茂偉;鄧蘇;黃宏斌;;基于元數(shù)據(jù)的ETL工具設(shè)計(jì)與實(shí)現(xiàn)[J];科學(xué)技術(shù)與工程;2006年21期

10 許威;;同步/異步ETL架構(gòu)的比較[J];中國(guó)金融電腦;2007年04期

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 廖志穎;開(kāi)源形式引領(lǐng)ETL軟件未來(lái)[N];通信產(chǎn)業(yè)報(bào);2007年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前6條

1 張曜;山西郵政綜合信息管理系統(tǒng)中ETL的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2010年

2 毛天明;一種ETL應(yīng)用的自動(dòng)化開(kāi)發(fā)及部署框架[D];浙江大學(xué);2011年

3 周洪林;面向Hadoop平臺(tái)的ETL語(yǔ)言編譯器的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2012年

4 陳翔;基于ETL的個(gè)人征信系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)[D];中國(guó)海洋大學(xué);2009年

5 劉心光;基于MapReduce作業(yè)拆分組合機(jī)制的并行ETL組件實(shí)現(xiàn)[D];北京郵電大學(xué);2014年

6 岳安;基于企業(yè)標(biāo)準(zhǔn)審批流程系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

，

本文編號(hào)：710066