【摘要】：在互聯(lián)網(wǎng)技術(shù)高速發(fā)展的背景下,隨著信息化在各行業(yè)內(nèi)部深入建設(shè),數(shù)據(jù)所扮演的角色變得越來越重要。數(shù)據(jù)所蘊含的價值也需要被深度挖掘和共享。需要將分散的異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一集成,形成一套統(tǒng)一管理的數(shù)據(jù)共享平臺。通過將各個分散應(yīng)用下的數(shù)據(jù)進(jìn)行集成,能夠?qū)崿F(xiàn)數(shù)據(jù)之間的價值共享。ETL(Extract-Transform-Load)是一種支撐數(shù)據(jù)集成相關(guān)業(yè)務(wù)很好的解決方案,成為近年來的研究熱點。基于科技管理數(shù)據(jù)集成業(yè)務(wù)背景下,論文研究了基于ETL的科技管理數(shù)據(jù)集成技術(shù)�？萍脊芾頂�(shù)據(jù)分布在各個階段,不同階段的數(shù)據(jù)由不同的部門進(jìn)行維護,存儲格式及語義上存在著很大的差別,為了規(guī)范數(shù)據(jù)存儲,簡化數(shù)據(jù)推送,需要對科技管理數(shù)據(jù)進(jìn)行統(tǒng)一全流程存儲。但在科技管理數(shù)據(jù)集成過程中遇到了以下問題:1、科技管理數(shù)據(jù)復(fù)雜多樣,數(shù)據(jù)集成過程中的數(shù)據(jù)質(zhì)量難以保障,常常會造成數(shù)據(jù)缺失、存儲格式不一致等現(xiàn)象發(fā)生,因此需提供有效的技術(shù)方案來保障科技管理數(shù)據(jù)集成后的數(shù)據(jù)質(zhì)量。2、在保障數(shù)據(jù)質(zhì)量的基礎(chǔ)上,現(xiàn)有的ETL任務(wù)腳本調(diào)度方案效率較低、核心業(yè)務(wù)數(shù)據(jù)更新慢,難以適應(yīng)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)集成需求。因此需選擇合理的任務(wù)調(diào)度方案來對ETL任務(wù)腳本進(jìn)行有效的調(diào)度,以提高資源利用率、數(shù)據(jù)集成效率。為了解決上述問題,首先,本文設(shè)計了一套科技管理數(shù)據(jù)倉庫架構(gòu),通過層次結(jié)構(gòu),能夠清晰的描繪數(shù)據(jù)的流向及數(shù)據(jù)應(yīng)用場景,并且可以規(guī)范統(tǒng)一存儲科技管理數(shù)據(jù)。其次,在傳統(tǒng)數(shù)據(jù)集成模型的基礎(chǔ)上設(shè)計了基于元模型控制的數(shù)據(jù)集成模型,并提出了相應(yīng)的元數(shù)據(jù)描述和映射規(guī)則來輔助數(shù)據(jù)集成。通過抽取、轉(zhuǎn)換、加載元模型與映射規(guī)則的結(jié)合,完善了數(shù)據(jù)集成模型,并開發(fā)了相應(yīng)的元數(shù)據(jù)管理工具和映射解析器。并將數(shù)據(jù)質(zhì)量保障的方法嵌入到數(shù)據(jù)集成腳本中。經(jīng)過實驗驗證分析,此模型和相應(yīng)的映射算法能夠有效的保障數(shù)據(jù)集成后的數(shù)據(jù)質(zhì)量。然后,設(shè)計了分布式ETL任務(wù)調(diào)度框架和一體化調(diào)度算法。該框架分為ETL任務(wù)預(yù)處理、ETL任務(wù)調(diào)度分配、ETL任務(wù)執(zhí)行三個階段。一體化調(diào)度算法是三個階段算法的概括描述。經(jīng)過實驗驗證分析,該框架和算法能夠完善ETL任務(wù)調(diào)度分配與執(zhí)行過程,提高了分布式環(huán)境資源利用率,提升了數(shù)據(jù)集成效率。最后,本文還實現(xiàn)了一套面向科技管理數(shù)據(jù)的ETL任務(wù)構(gòu)建與調(diào)度系統(tǒng),將本文所涉及的模型框架和算法應(yīng)用到該系統(tǒng)下。目前系統(tǒng)已經(jīng)過多輪測試,并己在國家某部委的科技管理系統(tǒng)中進(jìn)行應(yīng)用與驗證,己承擔(dān)了多批量的數(shù)據(jù)集成業(yè)務(wù)。能夠高效穩(wěn)定的完成數(shù)據(jù)集成工作。
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP311.13
【圖文】：

逡逑圖２－３中間件模式模型架構(gòu)圖逡逑２．３．３數(shù)據(jù)倉庫模式模型逡逑數(shù)據(jù)倉庫［３５］是近年來在數(shù)據(jù)領(lǐng)域最常見的一個名詞與技術(shù)，倉庫通常描述為逡逑存放東西的載體，在數(shù)據(jù)領(lǐng)域，就是具體統(tǒng)一存儲數(shù)據(jù)的倉庫。但數(shù)據(jù)倉庫也有逡逑別于數(shù)據(jù)庫，數(shù)據(jù)倉庫具有面向主題的、集成的、非易失性的、與時間關(guān)聯(lián)的特逡逑征，能夠為企業(yè)、部門提供決策支持的數(shù)據(jù)集合。模型架構(gòu)如圖２－４所示。數(shù)據(jù)逡逑倉庫模型是具有多層次的架構(gòu)模型，通常包含數(shù)據(jù)采集、數(shù)據(jù)加工處理、數(shù)據(jù)存逡逑儲、數(shù)據(jù)分析等，數(shù)據(jù)倉庫模式是對分散的異構(gòu)數(shù)據(jù)源進(jìn)行集成統(tǒng)一存儲，從而逡逑提供一份高質(zhì)量、高標(biāo)準(zhǔn)的數(shù)據(jù)集合，以供企業(yè)、部門分析決策。逡逑■—■邋１邐、逡逑數(shù)據(jù)源入逡逑：１邋據(jù)Ｉｆ逡逑數(shù)據(jù)源邋NB逡逑＾邐逡逑圖２－４數(shù)據(jù)倉庫模式模型架構(gòu)圖逡逑２．４元數(shù)據(jù)逡逑元數(shù)據(jù)（Ｍｅｔａｄａｔａ）是描述數(shù)據(jù)的數(shù)據(jù)（ｄａｔａ邋ａｂｏｕｔ邋ｄａｔａ）％

存放東西的載體，在數(shù)據(jù)領(lǐng)域，就是具體統(tǒng)一存儲數(shù)據(jù)的倉庫。但數(shù)據(jù)倉庫也有逡逑別于數(shù)據(jù)庫，數(shù)據(jù)倉庫具有面向主題的、集成的、非易失性的、與時間關(guān)聯(lián)的特逡逑征，能夠為企業(yè)、部門提供決策支持的數(shù)據(jù)集合。模型架構(gòu)如圖２－４所示。數(shù)據(jù)逡逑倉庫模型是具有多層次的架構(gòu)模型，通常包含數(shù)據(jù)采集、數(shù)據(jù)加工處理、數(shù)據(jù)存逡逑儲、數(shù)據(jù)分析等，數(shù)據(jù)倉庫模式是對分散的異構(gòu)數(shù)據(jù)源進(jìn)行集成統(tǒng)一存儲，從而逡逑提供一份高質(zhì)量、高標(biāo)準(zhǔn)的數(shù)據(jù)集合，以供企業(yè)、部門分析決策。逡逑■—■邋１邐、逡逑數(shù)據(jù)源入逡逑：１邋據(jù)Ｉｆ逡逑數(shù)據(jù)源邋NB逡逑＾邐逡逑圖２－４數(shù)據(jù)倉庫模式模型架構(gòu)圖逡逑２．４元數(shù)據(jù)逡逑元數(shù)據(jù)（Ｍｅｔａｄａｔａ）是描述數(shù)據(jù)的數(shù)據(jù)（ｄａｔａ邋ａｂｏｕｔ邋ｄａｔａ）％，或者說是用于提逡逑供某種數(shù)據(jù)信息資源的結(jié)構(gòu)化數(shù)據(jù)（ｓｔｒｕｃｔｕｒｅｄ邋ｄａｔａ）。逡逑８逡逑

集成的需求，作業(yè)則是由轉(zhuǎn)換組成。Ｋｅｔｔｌｅ也具有相應(yīng)的組件以滿足大數(shù)據(jù)環(huán)境逡逑下的數(shù)據(jù)集成遷移需求。Ｋｅｔｔｌｅ的開發(fā)部署架構(gòu)主要包括開發(fā)環(huán)境、作業(yè)存儲、逡逑生產(chǎn)環(huán)境三大類。架構(gòu)如圖２－５所示。Ｋｅｔｔｌｅ的開發(fā)環(huán)境是由Ｓｐｏｏｎ進(jìn)行轉(zhuǎn)換和逡逑作業(yè)腳本的開發(fā)。并將作業(yè)腳本存儲到資源庫或者文件庫中。由Ｋｉｔｃｈｅｎ、Ｐａｎ逡逑進(jìn)行作業(yè)腳本的任務(wù)調(diào)度，該調(diào)度可應(yīng)用于操作系統(tǒng)級的調(diào)度，并可由Ｃａｒｔｅ創(chuàng)逡逑建虛擬服務(wù)器來構(gòu)建分布式運行環(huán)境，用于轉(zhuǎn)換或作業(yè)的遠(yuǎn)程執(zhí)行。逡逑１３逡逑

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 謝子秋;唐錦輝;李剛;夏海朋;周宇;孫熹;柳燕杰;蔣海泥;;醫(yī)療質(zhì)量管理系統(tǒng)全數(shù)據(jù)集成[J];中國數(shù)字醫(yī)學(xué);2017年05期

2 華昒;;數(shù)據(jù)集成:二、數(shù)據(jù)集成101[J];中國儀器儀表;2016年10期

3 吳鈺峰;;云計算數(shù)據(jù)集成與服務(wù)系統(tǒng)的構(gòu)建[J];數(shù)碼世界;2016年12期

4 韓蕊;;大數(shù)據(jù)呼喚數(shù)據(jù)集成新思維[J];互聯(lián)網(wǎng)周刊;2013年22期

5 褚鴻君;;數(shù)據(jù)聯(lián)邦促進(jìn)企業(yè)數(shù)據(jù)集成[J];軟件世界;2008年01期

6 周冰;;調(diào)查顯示:數(shù)據(jù)集成獲中國企業(yè)認(rèn)同[J];信息化縱橫;2008年08期

7 董峰;李晉宏;;企業(yè)數(shù)據(jù)集成綜述[J];中國金屬通報;2008年42期

8 陳默;;Sybase推出新款軟件[J];計算機與網(wǎng)絡(luò);1998年06期

9 王拓，王偉;CIMS的數(shù)據(jù)集成[J];計算機研究與發(fā)展;1994年01期

10 ;數(shù)據(jù)集成將成大數(shù)據(jù)新浪潮[J];中小學(xué)信息技術(shù)教育;2013年11期

相關(guān)會議論文 前10條

1 路輝;;基于數(shù)據(jù)集成與共享構(gòu)建系統(tǒng)[A];物聯(lián)網(wǎng)與電力新技術(shù)——2014年云南電力技術(shù)論壇論文集[C];2014年

2 許國艷;王志堅;;基于主動服務(wù)的領(lǐng)域數(shù)據(jù)集成研究[A];2008年全國開放式分布與并行計算機學(xué)術(shù)會議論文集(上冊)[C];2008年

3 李宗華;肖道綱;彭明軍;;數(shù)字武漢空間基礎(chǔ)數(shù)據(jù)集成建庫及應(yīng)用[A];堅持科學(xué)發(fā)展觀 推進(jìn)自主創(chuàng)新 促進(jìn)國家創(chuàng)新型城市建設(shè)——武漢市第二屆學(xué)術(shù)年會論文集[C];2006年

4 喬慧捷;趙海軍;紀(jì)力強;;生物多樣性數(shù)據(jù)集成模式初探[A];第五屆全國生物多樣性保護與持續(xù)利用研討會論文摘要集[C];2002年

5 李宗華;彭明軍;;規(guī)劃國土資源管理空間數(shù)據(jù)集成應(yīng)用與運行機制探討[A];2004城市規(guī)劃年會論文集（下）[C];2004年

6 曾惠蘭;曾松峰;廖斌;;柔性數(shù)據(jù)集成助推堅強智能電網(wǎng)[A];2009電力行業(yè)信息化年會論文集[C];2009年

7 葉群峰;;基于SOA的企業(yè)數(shù)據(jù)集成交換的研究與實踐[A];中國煙草學(xué)會2014年學(xué)術(shù)年會入選論文摘要匯編[C];2014年

8 蔡彪;廖聞劍;彭艷兵;;Deep Web數(shù)據(jù)集成和關(guān)鍵技術(shù)綜述[A];2009年研究生學(xué)術(shù)交流會通信與信息技術(shù)論文集[C];2009年

9 劉躍軍;艾鴻;劉國華;;數(shù)據(jù)集成中的XML查詢重寫[A];2005年全國理論計算機科學(xué)學(xué)術(shù)年會論文集[C];2005年

10 陸新建;王建新;田雙昌;;新一代流程工業(yè)生產(chǎn)實時數(shù)據(jù)集成方案[A];2009中國過程系統(tǒng)工程年會暨中國mes年會論文集[C];2009年

相關(guān)重要報紙文章 前10條

1 Ronald van Loon;大數(shù)據(jù)的未來掌控于數(shù)據(jù)集成[N];中國信息化周報;2017年

2 佚名;現(xiàn)代數(shù)據(jù)集成很重要[N];中國信息化周報;2017年

3 本報記者 王若曦;數(shù)據(jù)集成分析 能源互補協(xié)調(diào)[N];中國電力報;2017年

4 浙江義烏市局(分公司) 陳兵來;數(shù)據(jù)集成讓決策更科學(xué)[N];東方煙草報;2014年

5 呂梁市煤炭設(shè)計研究院 張萍;淺析數(shù)據(jù)集成環(huán)境下煤炭企業(yè)管理信息系統(tǒng)的構(gòu)建[N];呂梁日報;2012年

6 陳友梅;數(shù)據(jù)集成 永中Office之本[N];中國計算機報;2002年

7 本報記者 于翔;數(shù)據(jù)集成開啟云征程[N];網(wǎng)絡(luò)世界;2010年

8 于翔;集成即服務(wù)：面向云的數(shù)據(jù)集成[N];網(wǎng)絡(luò)世界;2009年

9 通訊員 張一龍　本報記者 祁文運;標(biāo)準(zhǔn)線牽引標(biāo)準(zhǔn)化建設(shè)[N];國家電網(wǎng)報;2008年

10 ;SaaS需要數(shù)據(jù)集成[N];網(wǎng)絡(luò)世界;2007年

相關(guān)博士學(xué)位論文 前10條

1 劉強;基于云計算的BIM數(shù)據(jù)集成與管理技術(shù)研究[D];清華大學(xué);2017年

2 吳月超;面向智能水電站的監(jiān)測數(shù)據(jù)集成及運行分析研究與實踐[D];華中科技大學(xué);2018年

3 陳義;面向數(shù)據(jù)集成的數(shù)據(jù)復(fù)制和查詢優(yōu)化[D];中國科學(xué)院研究生院（軟件研究所）;2004年

4 曹順良;生物學(xué)數(shù)據(jù)集成若干關(guān)鍵問題研究[D];復(fù)旦大學(xué);2005年

5 孟永勝;裝備制造業(yè)產(chǎn)品制造數(shù)據(jù)集成管理研究與應(yīng)用[D];大連理工大學(xué);2006年

6 王學(xué)軍;基于GIS的石油勘探開發(fā)數(shù)據(jù)集成管理技術(shù)研究[D];中國地質(zhì)大學(xué)(北京);2017年

7 鄂新華;面向服務(wù)的數(shù)據(jù)集成若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2015年

8 姜朔;數(shù)據(jù)空間中數(shù)據(jù)集成若干關(guān)鍵問題研究[D];東華大學(xué);2014年

9 董永權(quán);Deep Web數(shù)據(jù)集成關(guān)鍵問題研究[D];山東大學(xué);2010年

10 李雁妮;深網(wǎng)數(shù)據(jù)集成與挖掘關(guān)鍵問題的建模及算法研究[D];西安電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 徐晨陽;基于ETL的科技管理數(shù)據(jù)集成技術(shù)研究[D];北方工業(yè)大學(xué);2019年

2 徐強;GIS領(lǐng)域多源異構(gòu)數(shù)據(jù)集成的普適性處理框架研究[D];陜西師范大學(xué);2018年

3 任岱榕;非法集資數(shù)據(jù)集成與共享平臺的設(shè)計與實現(xiàn)[D];北京交通大學(xué);2018年

4 吳岳臻;基于金稅三期數(shù)據(jù)集成的稅務(wù)動態(tài)監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D];山東大學(xué);2018年

5 張建國;基于Spark的流數(shù)據(jù)集成分類方法研究及應(yīng)用[D];齊魯工業(yè)大學(xué);2018年

6 李渴;基于BIM的道路數(shù)據(jù)集成與開發(fā)[D];東南大學(xué);2018年

7 劉寒嘯;易天數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)集成和數(shù)據(jù)分析模塊的設(shè)計與實現(xiàn)[D];南京大學(xué);2018年

8 張福麟;面向異構(gòu)大數(shù)據(jù)集成的實體識別技術(shù)研究[D];北京郵電大學(xué);2018年

9 李磊;基于ETL的數(shù)據(jù)集成及交換系統(tǒng)的實現(xiàn)與優(yōu)化[D];北方工業(yè)大學(xué);2018年

10 李磊;人員數(shù)據(jù)集成管理平臺的設(shè)計與實現(xiàn)[D];北京交通大學(xué);2017年

本文編號：2754180