本文關(guān)鍵詞：面向海量金融數(shù)據(jù)并行加載技術(shù)研究與實(shí)現(xiàn)

  更多相關(guān)文章： 海量金融數(shù)據(jù) 數(shù)據(jù)加載 并行加載 任務(wù)調(diào)度

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,金融、通信、教育等行業(yè)對(duì)信息化的需求不斷地增加。在國(guó)內(nèi),信息化發(fā)展已經(jīng)有幾十年,金融行業(yè)更是成為信息化程度最高的行業(yè)。隨著用戶(hù)的增長(zhǎng)和業(yè)務(wù)的更新,金融行業(yè)數(shù)據(jù)庫(kù)的數(shù)據(jù)量也不斷地增長(zhǎng),其數(shù)據(jù)量高達(dá)幾百TB甚至PB級(jí)。通常,金融企業(yè)需要大型數(shù)據(jù)庫(kù)系統(tǒng)來(lái)存儲(chǔ)和管理海量金融數(shù)據(jù)。同時(shí)由于業(yè)務(wù)需求,不同金融系統(tǒng)間需要大量的數(shù)據(jù)共享,因此不同系統(tǒng)間需要大量的數(shù)據(jù)遷移和加載。海量金融數(shù)據(jù)的存儲(chǔ)和加載,給金融系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。本文主要針對(duì)海量金融數(shù)據(jù)的數(shù)據(jù)加載問(wèn)題展開(kāi)研究,并以一個(gè)實(shí)際金融系統(tǒng)作為研究對(duì)象,結(jié)合其底層數(shù)據(jù)存儲(chǔ)架構(gòu)及數(shù)據(jù)加載特點(diǎn),設(shè)計(jì)和實(shí)現(xiàn)適用于該系統(tǒng)的海量數(shù)據(jù)加載方法。主要貢獻(xiàn)如下：1.基于交通銀行歷史庫(kù)系統(tǒng),我們分析了歷史庫(kù)系統(tǒng)的海量數(shù)據(jù)存儲(chǔ)和加載實(shí)現(xiàn),其底層數(shù)據(jù)存儲(chǔ)采用分布式數(shù)據(jù)庫(kù)Ocean Base來(lái)解決海量數(shù)據(jù)存儲(chǔ)的問(wèn)題。通過(guò)分析歷史庫(kù)的數(shù)據(jù)加載特點(diǎn),我們發(fā)現(xiàn)新存儲(chǔ)架構(gòu)下的歷史庫(kù)系統(tǒng)面臨海量數(shù)據(jù)加載問(wèn)題。為此,我們提出了兩種解決思路。2.針對(duì)OceanBase數(shù)據(jù)加載的實(shí)現(xiàn),我們?cè)O(shè)計(jì)和實(shí)現(xiàn)了兩種加載方法：基于SQL INSERT的數(shù)據(jù)加載和直接更新內(nèi)存表的數(shù)據(jù)加載。前者是一種常見(jiàn)的數(shù)據(jù)導(dǎo)入技術(shù),主要通過(guò)并發(fā)執(zhí)行插入SQL來(lái)實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入。后者則根據(jù)OceanBase特有的存儲(chǔ)架構(gòu),將數(shù)據(jù)加載問(wèn)題轉(zhuǎn)化為B+樹(shù)的并發(fā)插入問(wèn)題。這種加載方法只適用于OceanBase。相比于前者,該方法可以減少網(wǎng)絡(luò)傳輸和事務(wù)處理量,從而提高加載效率。實(shí)驗(yàn)表明該加載方法較好地解決OceanBase數(shù)據(jù)加載問(wèn)題。3.根據(jù)歷史庫(kù)系統(tǒng)的數(shù)據(jù)加載特點(diǎn),為了提高整體的數(shù)據(jù)加載效率,我們提出一種多任務(wù)并行加載的方法。該方法將所有加載任務(wù)切分到多個(gè)加載服務(wù)器上,充分利用加載服務(wù)器和數(shù)據(jù)庫(kù)系統(tǒng)的資源,使得加載任務(wù)并行運(yùn)行于不同加載服務(wù)器上。4.為了獲取更好的并行加載效率,我們提出了兩種任務(wù)調(diào)度策略：基于表級(jí)任務(wù)調(diào)度和基于細(xì)粒度的兩階段任務(wù)調(diào)度。這兩種調(diào)度策略分別基于不同的劃分粒度,被應(yīng)用于多任務(wù)并行加載過(guò)程中,使盡可能多的加載任務(wù)并行執(zhí)行。實(shí)驗(yàn)表明,兩階段調(diào)度策略可以更充分地利用加載服務(wù)器資源,獲取更好的加載效率。
【關(guān)鍵詞】：海量金融數(shù)據(jù) 數(shù)據(jù)加載 并行加載 任務(wù)調(diào)度
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP311.13;TP333
【目錄】：

• 摘要6-8
• Abstract8-14
• 第一章 緒論14-18
• 1.1 研究背景14-15
• 1.2 研究現(xiàn)狀15-16
• 1.3 本文工作16-17
• 1.4 本文結(jié)構(gòu)17-18
• 第二章 基本概念和相關(guān)技術(shù)18-28
• 2.1 批量數(shù)據(jù)加載技術(shù)18-20
• 2.2 并行任務(wù)調(diào)度技術(shù)20-24
• 2.2.1 任務(wù)調(diào)度模型21-22
• 2.2.2 相關(guān)任務(wù)調(diào)度策略22
• 2.2.3 靜態(tài)任務(wù)調(diào)度技術(shù)和算法22-24
• 2.3 分布式數(shù)據(jù)庫(kù)OceanBase架構(gòu)24-26
• 2.4 本章小結(jié)26-28
• 第三章 問(wèn)題描述28-36
• 3.1 交通銀行歷史庫(kù)系統(tǒng)概述28-29
• 3.2 歷史庫(kù)的數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)29-31
• 3.3 歷史庫(kù)的數(shù)據(jù)加載實(shí)現(xiàn)31-34
• 3.4 本章小結(jié)34-36
• 第四章 OceanBase數(shù)據(jù)加載技術(shù)實(shí)現(xiàn)36-54
• 4.1 ChunkServer旁路數(shù)據(jù)導(dǎo)入36-39
• 4.1.1 基本思想36-37
• 4.1.2 ChunkServer旁路導(dǎo)入實(shí)現(xiàn)37-39
• 4.2 基于SQL INSERT加載技術(shù)39-42
• 4.2.1 基本思想39-41
• 4.2.2 詳細(xì)設(shè)計(jì)41-42
• 4.3 直接更新內(nèi)存表加載技術(shù)42-47
• 4.3.1 基本思想42-43
• 4.3.2 詳細(xì)設(shè)計(jì)43-47
• 4.4 實(shí)驗(yàn)準(zhǔn)備與結(jié)果分析47-53
• 4.4.1 實(shí)驗(yàn)準(zhǔn)備47-48
• 4.4.2 實(shí)驗(yàn)結(jié)果與分析48-53
• 4.5 本章小結(jié)53-54
• 第五章 多任務(wù)并行加載設(shè)計(jì)與實(shí)現(xiàn)54-72
• 5.1 多任務(wù)并行調(diào)度加載設(shè)計(jì)54-57
• 5.1.1 可行性分析54-55
• 5.1.2 多任務(wù)并行調(diào)度加載設(shè)計(jì)55-56
• 5.1.3 任務(wù)并行度56-57
• 5.2 任務(wù)模型及任務(wù)劃分57-60
• 5.2.1 任務(wù)模型57-59
• 5.2.2 劃分粒度59-60
• 5.3 多任務(wù)并行調(diào)度實(shí)現(xiàn)60-66
• 5.3.1 任務(wù)管理61
• 5.3.2 任務(wù)調(diào)度61-66
• 5.4 實(shí)驗(yàn)準(zhǔn)備與結(jié)果66-71
• 5.4.1 實(shí)驗(yàn)準(zhǔn)備66-67
• 5.4.2 實(shí)驗(yàn)結(jié)果與分析67-71
• 5.5 本章小結(jié)71-72
• 第六章 總結(jié)72-74
• 參考文獻(xiàn)74-82
• 致謝82-84
• 攻讀碩士學(xué)位期間發(fā)表論文和科研情況84

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王光;;幾何操作的數(shù)據(jù)并行復(fù)現(xiàn)(英文)[J];西安文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年04期

2 史英超;張發(fā)存;段敬紅;;面向嵌入式應(yīng)用的數(shù)據(jù)并行語(yǔ)言設(shè)計(jì)[J];計(jì)算機(jī)工程與應(yīng)用;2011年04期

3 陳斯愈,黃林鵬,孫永強(qiáng);一個(gè)數(shù)據(jù)并行語(yǔ)言的設(shè)計(jì)及其實(shí)現(xiàn)[J];計(jì)算機(jī)工程;1997年03期

4 韓天舒;胡銘曾;李曉明;方濱興;;數(shù)據(jù)并行語(yǔ)言中的擴(kuò)展結(jié)構(gòu)[J];計(jì)算機(jī)科學(xué);1998年03期

5 劉振英,方濱興,張毅;數(shù)據(jù)并行語(yǔ)言中的任務(wù)并行[J];計(jì)算機(jī)工程與應(yīng)用;1999年10期

6 李向宏,王丁,王鑫;數(shù)據(jù)并行問(wèn)題的性能分析及優(yōu)化[J];信息技術(shù);2002年03期

7 王玨;胡長(zhǎng)軍;;數(shù)據(jù)并行中通信表內(nèi)元素關(guān)系定理的證明[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年S1期

8 余華山,胡長(zhǎng)軍,黃其軍,丁文魁,許卓群;一個(gè)用于數(shù)據(jù)并行語(yǔ)言計(jì)算劃分的時(shí)序優(yōu)化模型(英文)[J];軟件學(xué)報(bào);2001年10期

9 桂兵祥;何健;;基于高性能云的分布式數(shù)據(jù)并行處理機(jī)制[J];武漢工業(yè)學(xué)院學(xué)報(bào);2010年01期

10 何連躍,沈志宇,趙克佳;數(shù)據(jù)并行語(yǔ)言編譯系統(tǒng)的并行循環(huán)迭代分布算法[J];計(jì)算機(jī)工程與設(shè)計(jì);1999年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 陳慶奎;那麗春;;一個(gè)支持?jǐn)?shù)據(jù)并行型計(jì)算的網(wǎng)格模型[A];2005通信理論與技術(shù)新進(jìn)展——第十屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2005年

2 崔同云;陳慶奎;;一個(gè)網(wǎng)格并行計(jì)算實(shí)現(xiàn)方法[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集（上）[C];2006年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 肖天;數(shù)據(jù)并行程序正確性分析與網(wǎng)絡(luò)流量?jī)?yōu)化[D];清華大學(xué);2014年

2 王耀華;數(shù)據(jù)并行處理器中指令流出的協(xié)同性研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 趙滿(mǎn);地震數(shù)據(jù)并行訪問(wèn)策略的研究[D];東北石油大學(xué);2013年

2 王馨梅;數(shù)據(jù)并行計(jì)算仿真的研究與實(shí)現(xiàn)[D];西安理工大學(xué);2004年

3 梁玲玲;數(shù)據(jù)并行交換的長(zhǎng)事務(wù)分配與調(diào)度模型[D];長(zhǎng)春理工大學(xué);2011年

4 朱斯圢;海量氣象數(shù)據(jù)并行可視化框架[D];浙江大學(xué);2013年

5 秦宜州;實(shí)時(shí)監(jiān)控系統(tǒng)中基于多核并發(fā)的并行技術(shù)應(yīng)用研究[D];東北大學(xué);2012年

6 張?jiān)?分布式XML數(shù)據(jù)并行更新及發(fā)布方法的研究[D];重慶大學(xué);2007年

7 王仲剛;基于云計(jì)算的海量高鐵噪聲數(shù)據(jù)并行處理方法研究[D];西南交通大學(xué);2013年

8 歐陽(yáng)柳;地理柵格數(shù)據(jù)并行訪問(wèn)技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

9 楊帆;OpenProbe地震體數(shù)據(jù)并行渲染機(jī)制及實(shí)現(xiàn)[D];吉林大學(xué);2015年

10 劉美飛;基于USB接口的多串口數(shù)據(jù)并行接收方法研究[D];西安工業(yè)大學(xué);2012年

，

本文編號(hào)：1110708