本文關(guān)鍵詞：異構(gòu)調(diào)度環(huán)境下ETL工作流監(jiān)控系統(tǒng)的設計與實現(xiàn)

  更多相關(guān)文章： 數(shù)據(jù)倉庫 分布式ETL Oozie 調(diào)度監(jiān)控

【摘要】：本文提出一種分布式ETL在異構(gòu)調(diào)度環(huán)境下的工作流統(tǒng)一監(jiān)控方法。通過對異構(gòu)調(diào)度系統(tǒng)元數(shù)據(jù)的提取和抽象,采用增量抽取和跟蹤監(jiān)控對象的方式,通過網(wǎng)絡消息傳送將監(jiān)控對象加載到監(jiān)控數(shù)據(jù)中心并統(tǒng)一管理,實現(xiàn)了分布式ETL工作流在異構(gòu)調(diào)度環(huán)境下的的全局監(jiān)控,提高了數(shù)據(jù)恢復能力和倉庫的數(shù)據(jù)質(zhì)量。
【作者單位】： 北京郵電大學網(wǎng)絡與交換技術(shù)國家重點實驗室;東信北郵信息技術(shù)有限公司;
【關(guān)鍵詞】： 數(shù)據(jù)倉庫 分布式ETL Oozie 調(diào)度監(jiān)控
【基金】：國家杰出青年科學基金(No.60525110) 國家973計劃項目(No.2007CB307100,2007CB307103) 國家自然科學基金(No.61072057,60902051) 中央高�；究蒲袠I(yè)務費專項資金(BUPT2009RC0505) 國家科技重大專項(No.2011ZX03002-001-01,2001ZX03002-002-01)
【分類號】：TP311.13;TP277
【正文快照】： 隨著計算能力和網(wǎng)絡存儲能力的不斷提高,傳統(tǒng)的數(shù)據(jù)存儲和數(shù)據(jù)處理能力已經(jīng)無法滿足大數(shù)據(jù)的服務需求。數(shù)據(jù)倉庫作為一種大數(shù)據(jù)平臺基礎(chǔ)和關(guān)鍵組成部分,被廣泛應用在數(shù)據(jù)挖掘和分析領(lǐng)域。數(shù)據(jù)倉庫在整個大數(shù)據(jù)生態(tài)系統(tǒng)中通常承擔數(shù)據(jù)源的角色,所以數(shù)據(jù)倉庫的質(zhì)量直接影響著整

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 唐亮;;ETL技術(shù)在地稅數(shù)據(jù)集中項目中的應用探討[J];電腦知識與技術(shù);2012年21期

2 閆小爽;李忠華;李璐;鄒超群;;開源ETL軟件在智能化集成系統(tǒng)中的應用[J];智能建筑;2009年04期

3 管麗娟;;數(shù)據(jù)ETL研究與展望[J];電腦知識與技術(shù)(學術(shù)交流);2007年06期

4 戴浩;楊波;;ETL中的數(shù)據(jù)增量抽取機制研究[J];計算機工程與設計;2009年23期

5 周宏廣,周繼承,彭銀橋,龍思銳;數(shù)據(jù)ETL工具通用框架設計[J];計算機應用;2003年12期

6 劉映輝;晏妮;;基于ETL技術(shù)的商業(yè)銀行自動對賬系統(tǒng)[J];中國金融電腦;2009年04期

7 劉誠文;;為ETL選一個操作系統(tǒng)?[J];軟件世界;2007年21期

8 孫偉,張忠能;ETL架構(gòu)研究[J];微型電腦應用;2005年03期

9 周茂偉;鄧蘇;黃宏斌;;基于元數(shù)據(jù)的ETL工具設計與實現(xiàn)[J];科學技術(shù)與工程;2006年21期

10 許威;;同步/異步ETL架構(gòu)的比較[J];中國金融電腦;2007年04期

中國重要報紙全文數(shù)據(jù)庫 前1條

1 廖志穎;開源形式引領(lǐng)ETL軟件未來[N];通信產(chǎn)業(yè)報;2007年

中國碩士學位論文全文數(shù)據(jù)庫 前6條

1 張曜;山西郵政綜合信息管理系統(tǒng)中ETL的設計與實現(xiàn)[D];北京郵電大學;2010年

2 毛天明;一種ETL應用的自動化開發(fā)及部署框架[D];浙江大學;2011年

3 周洪林;面向Hadoop平臺的ETL語言編譯器的設計與實現(xiàn)[D];復旦大學;2012年

4 陳翔;基于ETL的個人征信系統(tǒng)設計與開發(fā)[D];中國海洋大學;2009年

5 劉心光;基于MapReduce作業(yè)拆分組合機制的并行ETL組件實現(xiàn)[D];北京郵電大學;2014年

6 岳安;基于企業(yè)標準審批流程系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2014年

，

本文編號：710066