發(fā)布時(shí)間：2017-12-17 09:18

  本文關(guān)鍵詞：銀行資產(chǎn)負(fù)債管理數(shù)據(jù)的分布式ETL設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： Hadoop 分布式ETL Map Reduce 銀行資產(chǎn)負(fù)債管理數(shù)據(jù)

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來,數(shù)據(jù)量的激增,為數(shù)據(jù)分析提供了基礎(chǔ),促進(jìn)了以數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、數(shù)據(jù)挖掘技術(shù)為基礎(chǔ)的商業(yè)智能的蓬勃發(fā)展。在銀行資產(chǎn)負(fù)債管理過程中積累了一定量的數(shù)據(jù)時(shí),基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù),對(duì)數(shù)據(jù)進(jìn)行挖掘,能夠從中發(fā)現(xiàn)很多有價(jià)值的信息以輔助銀行管理層的決策。然而,隨著銀行業(yè)務(wù)數(shù)據(jù)量的激增,ETL實(shí)施作為銀行數(shù)據(jù)倉(cāng)庫(kù)開發(fā)過程中最關(guān)鍵的部分之一,已經(jīng)無法滿足銀行資產(chǎn)負(fù)債管理過程中大數(shù)據(jù)量處理的需求。因此,本文針對(duì)現(xiàn)有的銀行資產(chǎn)負(fù)債管理數(shù)據(jù)ETL過程中數(shù)據(jù)處理效率比較低以及對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理支持不足的問題,研究銀行資產(chǎn)負(fù)債管理數(shù)據(jù)的分布式ETL。本文通過分析銀行資產(chǎn)管理中ETL實(shí)施過程中數(shù)據(jù)來源,梳理和分析信用卡業(yè)務(wù)和其他業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)處理需求以及相關(guān)功能需求,設(shè)計(jì)分布式ETL的總體框架以及數(shù)據(jù)抽取、轉(zhuǎn)換和加載功能,運(yùn)用Map Reduce技術(shù)和My SQL數(shù)據(jù)庫(kù),在Hadoop平臺(tái)上設(shè)計(jì)與實(shí)現(xiàn)了銀行資產(chǎn)負(fù)債管理數(shù)據(jù)的分布式ETL。從而解決Map-Reduce技術(shù)、分布式ETL和My SQL等關(guān)鍵技術(shù)在銀行資產(chǎn)負(fù)債管理數(shù)據(jù)中的應(yīng)用。通過性能測(cè)試并對(duì)測(cè)試進(jìn)行分析,測(cè)試結(jié)果表明分布式ETL明顯優(yōu)于一般ETL的性能,本文所設(shè)計(jì)和實(shí)現(xiàn)的銀行資產(chǎn)負(fù)債管理數(shù)據(jù)的分布式ETL具有良好的性能,可以一定程度上滿足銀行資產(chǎn)負(fù)債管理過程中大數(shù)據(jù)量處理的需求。
【學(xué)位授予單位】：湖南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：F830.42;TP311.13

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王彥博;;大數(shù)據(jù)時(shí)代商業(yè)銀行數(shù)據(jù)挖掘攻略[J];金融電子化;2014年01期

2 孫莉;何剛;李繼云;;基于Hadoop平臺(tái)的事實(shí)并行處理算法[J];計(jì)算機(jī)工程;2014年03期

3 李晨翔;何剛;孫莉;;基于Hadoop平臺(tái)的分布式ETL系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];福建電腦;2013年11期

4 劉豹;;一種分布式ETL工具的設(shè)計(jì)與實(shí)現(xiàn)[J];軟件;2013年10期

5 尹芳;馮敏;諸云強(qiáng);劉睿;;基于開源Hadoop的矢量空間數(shù)據(jù)分布式處理研究[J];計(jì)算機(jī)工程與應(yīng)用;2013年16期

6 宋杰;郝文寧;陳剛;靳大尉;趙水寧;;基于MapReduce的分布式ETL體系結(jié)構(gòu)研究[J];計(jì)算機(jī)科學(xué);2013年06期

7 聶瑞;盧建軍;衛(wèi)晨;;基于Hadoop平臺(tái)的OLAP煤炭銷售數(shù)據(jù)分析系統(tǒng)[J];工礦自動(dòng)化;2012年11期

8 段松青;吳斌;于樂;王柏;;PDM:基于Hadoop的并行數(shù)據(jù)分析系統(tǒng)[J];湖南大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年10期

9 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

10 張亮;夏秀峰;;分布式ETL負(fù)載均衡策略研究[J];計(jì)算機(jī)與現(xiàn)代化;2011年09期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前7條

1 李儉;基于數(shù)據(jù)倉(cāng)庫(kù)的商業(yè)銀行資產(chǎn)負(fù)債管理軟件設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2014年

2 何剛;基于Hadoop平臺(tái)的分布式ETL研究與實(shí)現(xiàn)[D];東華大學(xué);2014年

3 王曉偉;面向大數(shù)據(jù)的ETL設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

4 王欣;基于分布式ETL的電子政務(wù)決策系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)[D];復(fù)旦大學(xué);2012年

5 賈文娟;基于hive分布式計(jì)算與數(shù)據(jù)挖掘的關(guān)聯(lián)性營(yíng)銷的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2011年

6 翟永東;Hadoop分布式文件系統(tǒng)（HDFS）可靠性的研究與優(yōu)化[D];華中科技大學(xué);2011年

7 朱珠;基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D];北京郵電大學(xué);2008年

，

本文編號(hào)：1299579