近幾十年來,隨著科學技術(shù)與信息化的迅猛發(fā)展,人類在學習、工作、生活中積累的數(shù)據(jù)量十分龐大,對于數(shù)據(jù)的采集、存儲和傳播的需求量也日益劇增。但在獲取數(shù)據(jù)時,由于這些數(shù)據(jù)在格式、內(nèi)容、質(zhì)量上存在著巨大差異,數(shù)據(jù)的流動與共享存在著巨大的困難,為了讓更多的人可以更加方便地獲取數(shù)據(jù),減少他們在采集數(shù)據(jù)時花費的時間、經(jīng)濟、體力成本,實現(xiàn)數(shù)據(jù)共享就十分重要。本文提出的基于ETL的數(shù)據(jù)集成平臺就是用設計ETL流程的方式將數(shù)據(jù)根據(jù)用戶需求進行抽取、轉(zhuǎn)換和加載以達到數(shù)據(jù)共享的目的。傳統(tǒng)的數(shù)據(jù)集成系統(tǒng)通常都存在不易用、操作門檻高、沒有工作流特性、不能進行靈活地調(diào)度、部署、監(jiān)控和其他管理功能的缺點。本文提出的數(shù)據(jù)集成系統(tǒng)旨在解決傳統(tǒng)數(shù)據(jù)集成系統(tǒng)存在的主要問題。首先,針對易用性及操作門檻高的問題,本系統(tǒng)采用TWaver框架用流程圖式的圖形化工具,用拖、拉、拽的方法快速、靈活地設計ETL過程。再者,針對工作流問題,本系統(tǒng)通過設計任務與作業(yè)來實現(xiàn)ETL過程的工作流特性,任務包括一個完整的ETL過程,而作業(yè)由一個或多個任務組成,通過執(zhí)行作業(yè)來控制任務執(zhí)行的先后順序。然后,針對ETL過程的調(diào)度問題,本文著重介紹了使用Qu... 

【文章來源】：西安電子科技大學陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：91 頁

【學位級別】：碩士

【部分圖文】：

任務設計測試圖

第五章 基于 ETL 的數(shù)據(jù)集成平臺的測試57圖5.2任務列表測試圖5.2.2 作業(yè)管理模塊測試作業(yè)管理模塊主要是用戶根據(jù)自己需求設計、調(diào)度作業(yè)并對作業(yè)進行管理，任務管理模塊測試用例如表 5.4 所示。表5.4 作業(yè)管理模塊測試用例用例編號 002用例名稱 作業(yè)管理模塊測試用例用例描述 用戶可以通過作業(yè)管理來進行作業(yè)的增加、執(zhí)行、刪除和修改。用例入口 用戶登錄客戶端用例場景 測試步驟 預期結(jié)果是否與實際結(jié)果一致作業(yè)管理界面 用戶點擊作業(yè)管理頁面顯示該用戶下所有作業(yè)信息是添加作業(yè)用戶點擊“+新增”，輸入作業(yè)信息，設計作業(yè)內(nèi)容，點擊“保存”顯示“添加作業(yè)成功”是修改作業(yè)用戶選擇某個作業(yè)，點擊“編輯”，修改作業(yè)信息，點擊“保存”顯示“編輯作業(yè)成功”是運行作業(yè)用戶選擇某個作業(yè)，點擊“下發(fā)”，選擇執(zhí)行器，點擊“提交”顯示“下發(fā)作業(yè)成功”是刪除作業(yè) 用戶選擇某個作業(yè)，點擊“刪除”顯示“作業(yè)刪除成功”是

西安電子科技大學碩士學位論文按照表 5.4 的測試用例對作業(yè)管理模塊進行測試，作業(yè)管理模塊測試結(jié)果與預期結(jié)果基本一致，說明該模塊的功能正常。作業(yè)管理模塊的作業(yè)列表測試圖如圖 5.3 所示，作業(yè)設計測試圖如圖 5.4 所示，高級調(diào)度作業(yè)測試圖如圖 5.5 所示。

【參考文獻】：
期刊論文
[1]PBS:一種面向集群環(huán)境的ETL調(diào)度算法[J]. 韓文彪,李暉,陳梅,戴震宇.  計算機與數(shù)字工程. 2017(05)
[2]移動客戶端APP系統(tǒng)時間用戶體驗研究[J]. 劉森,何菁欽,李誕新.  現(xiàn)代商業(yè). 2016(28)
[3]黑盒測試用例設計方法研究[J]. 劉春玲,雷海紅.  現(xiàn)代電子技術(shù). 2012(20)
[4]基于ETL技術(shù)的電網(wǎng)運行全景建模[J]. 梁壽愚,周華鋒,李矛.  南方電網(wǎng)技術(shù). 2012(04)
[5]數(shù)據(jù)ETL研究綜述[J]. 徐俊剛,裴瑩.  計算機科學. 2011(04)
[6]Quartz調(diào)度器與Web程序整合的研究和應用[J]. 胡利強,周冬初,王偉.  計算機與現(xiàn)代化. 2010(08)
[7]我國科學數(shù)據(jù)共享管理的發(fā)展與現(xiàn)狀[J]. 郭明航,李軍超,田均良.  西安建筑科技大學學報(社會科學版). 2009(04)
[8]ETL系統(tǒng)的設計和實現(xiàn)技術(shù)研究[J]. 何晨鋼.  計算機應用與軟件. 2009(04)
[9]常用作業(yè)調(diào)度算法的分析與評價[J]. 江志華,齊文靜.  樂山師范學院學報. 2008(12)
[10]性能測試工具LoadRunner介紹[J]. 郝煒.  電腦知識與技術(shù). 2008(17)

碩士論文
[1]基于ETL的企業(yè)數(shù)據(jù)交換平臺的設計與實現(xiàn)[D]. 張春亮.哈爾濱工業(yè)大學 2016
[2]數(shù)據(jù)倉庫之ETL并行調(diào)度研發(fā)[D]. 張智敏.吉林大學 2015
[3]ETL技術(shù)在實現(xiàn)數(shù)據(jù)分析系統(tǒng)中的應用研究[D]. 薛娟.東華大學 2011
[4]面向?qū)ο筌浖䴗y試技術(shù)研究[D]. 劉佳.西南交通大學 2009
[5]基于XML的異構(gòu)數(shù)據(jù)庫集成中間件系統(tǒng)研究及其在電子政務中的應用[D]. 張凱.南昌大學 2007
[6]數(shù)據(jù)集成平臺中ETL的研究與設計[D]. 武劍.華北電力大學（北京） 2007



本文編號：3076311