隨著信息技術(shù)的快速發(fā)展,各種行業(yè)應(yīng)用中對(duì)多源異構(gòu)數(shù)據(jù)的處理量飛速增長(zhǎng),如何對(duì)其進(jìn)行高效的整合是是數(shù)據(jù)應(yīng)用中的核心問(wèn)題。然而,現(xiàn)有的數(shù)據(jù)整合工具在擴(kuò)展性、性能、功能等方面存在不足,難以應(yīng)對(duì)當(dāng)下不斷變化的數(shù)據(jù)整合需求。為此,本文基于Disruptor隊(duì)列技術(shù)設(shè)計(jì)與實(shí)現(xiàn)了一個(gè)易擴(kuò)展的高效ETL系統(tǒng)。首先本文研究并設(shè)計(jì)了一種基于插件式理念的“Framework + Plugin”ETL系統(tǒng)架構(gòu),并完成了系統(tǒng)功能模塊和任務(wù)執(zhí)行流程的設(shè)計(jì)。該架構(gòu)具有良好的可擴(kuò)展性,可針對(duì)不同的數(shù)據(jù)源提供具體的適配,從而能較好地解決數(shù)據(jù)的多源異構(gòu)問(wèn)題。然后,本文對(duì)ETL系統(tǒng)的性能優(yōu)化展開(kāi)了進(jìn)一步的研究。首先,通過(guò)對(duì)“生產(chǎn)者--消費(fèi)者”模型中數(shù)據(jù)緩沖區(qū)的實(shí)現(xiàn)方法進(jìn)行了探索與驗(yàn)證,找到了傳統(tǒng)ETL工具中基于阻塞隊(duì)列技術(shù)的緩沖區(qū)性能問(wèn)題所在,并基于Disruptor對(duì)數(shù)據(jù)緩沖區(qū)進(jìn)行了性能優(yōu)化,通過(guò)性能測(cè)試對(duì)Disruptor在性能方面的改進(jìn)進(jìn)行了驗(yàn)證。其次,采取了多線程并發(fā)的調(diào)度策略進(jìn)行了 ETL工作流的設(shè)計(jì)。接下來(lái),本文以傳統(tǒng)ETL工具的實(shí)時(shí)抽取功能為基礎(chǔ),分析了其問(wèn)題所在并設(shè)計(jì)了相關(guān)優(yōu)化策略,設(shè)計(jì)并實(shí)現(xiàn)了一種可以進(jìn)行動(dòng)...

【文章頁(yè)數(shù)】：71 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．?１課題項(xiàng)目背景??該平臺(tái)主要由“管理門(mén)戶系統(tǒng)”、“分布式集群監(jiān)控與管理系統(tǒng)”和“數(shù)據(jù)采??集與存儲(chǔ)系統(tǒng)”三部分組成，旨在整合大數(shù)據(jù)環(huán)境下的資源監(jiān)控與管理、集群配??

的問(wèn)題進(jìn)行研究與優(yōu)化，最終實(shí)現(xiàn)一種高效可靠且具有實(shí)用意義的ＥＴＬ系統(tǒng)。??本課題來(lái)源于某國(guó)企智慧交通大數(shù)據(jù)平臺(tái)項(xiàng)目，是整體平臺(tái)下的一個(gè)子系統(tǒng)??模塊，平臺(tái)整體架構(gòu)如圖１．１所示。??????％??／?＇?／?‘?“?ｗ：ｒ％?．＇廠?：：＇?３??．??．職：?一??ＨＯＰＳ分布....

圖２．?１簡(jiǎn)單ＥＴＬ體系結(jié)構(gòu)??

專門(mén)化的工具，它的任務(wù)是處理數(shù)據(jù)倉(cāng)庫(kù)的同構(gòu)性、數(shù)據(jù)清洗及裝載的問(wèn)題ｔ３３：！”。??Ｓｉｍｉｔｓｉｓ?Ａ則將ＥＴＬ工具定義為“一組負(fù)責(zé)從多個(gè)不同種類和形式的數(shù)據(jù)源中抽??取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗、定制，進(jìn)而將其裝入到數(shù)據(jù)倉(cāng)庫(kù)中的軟件［３４］”。圖２．１??是一個(gè)簡(jiǎn)單的ＥＴＬ體系結(jié)構(gòu)....

圖２．?２基本生產(chǎn)者一消費(fèi)者模型??其一個(gè)為生產(chǎn)者，負(fù)責(zé)生產(chǎn)數(shù)據(jù)，并把生產(chǎn)好的數(shù)據(jù)放入這塊公共緩沖區(qū)??

生產(chǎn)者一消費(fèi)者（Ｐｒｏｄｕｃｅｒ－Ｃｏｎｓｕｍｅｒ）問(wèn)題，也稱作有界緩沖（Ｂｏｕｎｄｅｄ－Ｂｕｆｆｅｒ）??問(wèn)題，是五大經(jīng)典多線程同步問(wèn)題之一。即，有兩個(gè)線程共享一塊固定大小的公??共緩沖區(qū)。圖２．２就是基本的生產(chǎn)者一消費(fèi)者模型。??圖２．?２基本生產(chǎn)者一消費(fèi)者模型??其中一個(gè)為....

圖２．３簡(jiǎn)單的插件式結(jié)構(gòu)??

主要核心模塊，一般會(huì)讓開(kāi)發(fā)者預(yù)先設(shè)計(jì)并實(shí)現(xiàn)好，對(duì)外提供相應(yīng)的接口以供插??件進(jìn)行對(duì)接和擴(kuò)展。后者是功能補(bǔ)充模塊，可以通過(guò)低耦合的“拔插”形式為系??統(tǒng)添加新的功能。圖２．３就是一個(gè)簡(jiǎn)單的插件式結(jié)構(gòu)。??插件１?｜插件２?｜｜插件３?Ｉ??Ｊ?Ｖ?Ｊ?ｙ??插件接ｍ?插件接ｃｉ２?....

本文編號(hào)：4015108