本文關(guān)鍵詞：面向海量金融數(shù)據(jù)并行加載技術(shù)研究與實現(xiàn)

  更多相關(guān)文章： 海量金融數(shù)據(jù) 數(shù)據(jù)加載 并行加載 任務(wù)調(diào)度

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,金融、通信、教育等行業(yè)對信息化的需求不斷地增加。在國內(nèi),信息化發(fā)展已經(jīng)有幾十年,金融行業(yè)更是成為信息化程度最高的行業(yè)。隨著用戶的增長和業(yè)務(wù)的更新,金融行業(yè)數(shù)據(jù)庫的數(shù)據(jù)量也不斷地增長,其數(shù)據(jù)量高達(dá)幾百TB甚至PB級。通常,金融企業(yè)需要大型數(shù)據(jù)庫系統(tǒng)來存儲和管理海量金融數(shù)據(jù)。同時由于業(yè)務(wù)需求,不同金融系統(tǒng)間需要大量的數(shù)據(jù)共享,因此不同系統(tǒng)間需要大量的數(shù)據(jù)遷移和加載。海量金融數(shù)據(jù)的存儲和加載,給金融系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。本文主要針對海量金融數(shù)據(jù)的數(shù)據(jù)加載問題展開研究,并以一個實際金融系統(tǒng)作為研究對象,結(jié)合其底層數(shù)據(jù)存儲架構(gòu)及數(shù)據(jù)加載特點,設(shè)計和實現(xiàn)適用于該系統(tǒng)的海量數(shù)據(jù)加載方法。主要貢獻(xiàn)如下：1.基于交通銀行歷史庫系統(tǒng),我們分析了歷史庫系統(tǒng)的海量數(shù)據(jù)存儲和加載實現(xiàn),其底層數(shù)據(jù)存儲采用分布式數(shù)據(jù)庫Ocean Base來解決海量數(shù)據(jù)存儲的問題。通過分析歷史庫的數(shù)據(jù)加載特點,我們發(fā)現(xiàn)新存儲架構(gòu)下的歷史庫系統(tǒng)面臨海量數(shù)據(jù)加載問題。為此,我們提出了兩種解決思路。2.針對OceanBase數(shù)據(jù)加載的實現(xiàn),我們設(shè)計和實現(xiàn)了兩種加載方法：基于SQL INSERT的數(shù)據(jù)加載和直接更新內(nèi)存表的數(shù)據(jù)加載。前者是一種常見的數(shù)據(jù)導(dǎo)入技術(shù),主要通過并發(fā)執(zhí)行插入SQL來實現(xiàn)數(shù)據(jù)導(dǎo)入。后者則根據(jù)OceanBase特有的存儲架構(gòu),將數(shù)據(jù)加載問題轉(zhuǎn)化為B+樹的并發(fā)插入問題。這種加載方法只適用于OceanBase。相比于前者,該方法可以減少網(wǎng)絡(luò)傳輸和事務(wù)處理量,從而提高加載效率。實驗表明該加載方法較好地解決OceanBase數(shù)據(jù)加載問題。3.根據(jù)歷史庫系統(tǒng)的數(shù)據(jù)加載特點,為了提高整體的數(shù)據(jù)加載效率,我們提出一種多任務(wù)并行加載的方法。該方法將所有加載任務(wù)切分到多個加載服務(wù)器上,充分利用加載服務(wù)器和數(shù)據(jù)庫系統(tǒng)的資源,使得加載任務(wù)并行運行于不同加載服務(wù)器上。4.為了獲取更好的并行加載效率,我們提出了兩種任務(wù)調(diào)度策略：基于表級任務(wù)調(diào)度和基于細(xì)粒度的兩階段任務(wù)調(diào)度。這兩種調(diào)度策略分別基于不同的劃分粒度,被應(yīng)用于多任務(wù)并行加載過程中,使盡可能多的加載任務(wù)并行執(zhí)行。實驗表明,兩階段調(diào)度策略可以更充分地利用加載服務(wù)器資源,獲取更好的加載效率。
【關(guān)鍵詞】：海量金融數(shù)據(jù) 數(shù)據(jù)加載 并行加載 任務(wù)調(diào)度
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP311.13;TP333
【目錄】：

• 摘要6-8
• Abstract8-14
• 第一章 緒論14-18
• 1.1 研究背景14-15
• 1.2 研究現(xiàn)狀15-16
• 1.3 本文工作16-17
• 1.4 本文結(jié)構(gòu)17-18
• 第二章 基本概念和相關(guān)技術(shù)18-28
• 2.1 批量數(shù)據(jù)加載技術(shù)18-20
• 2.2 并行任務(wù)調(diào)度技術(shù)20-24
• 2.2.1 任務(wù)調(diào)度模型21-22
• 2.2.2 相關(guān)任務(wù)調(diào)度策略22
• 2.2.3 靜態(tài)任務(wù)調(diào)度技術(shù)和算法22-24
• 2.3 分布式數(shù)據(jù)庫OceanBase架構(gòu)24-26
• 2.4 本章小結(jié)26-28
• 第三章 問題描述28-36
• 3.1 交通銀行歷史庫系統(tǒng)概述28-29
• 3.2 歷史庫的數(shù)據(jù)存儲實現(xiàn)29-31
• 3.3 歷史庫的數(shù)據(jù)加載實現(xiàn)31-34
• 3.4 本章小結(jié)34-36
• 第四章 OceanBase數(shù)據(jù)加載技術(shù)實現(xiàn)36-54
• 4.1 ChunkServer旁路數(shù)據(jù)導(dǎo)入36-39
• 4.1.1 基本思想36-37
• 4.1.2 ChunkServer旁路導(dǎo)入實現(xiàn)37-39
• 4.2 基于SQL INSERT加載技術(shù)39-42
• 4.2.1 基本思想39-41
• 4.2.2 詳細(xì)設(shè)計41-42
• 4.3 直接更新內(nèi)存表加載技術(shù)42-47
• 4.3.1 基本思想42-43
• 4.3.2 詳細(xì)設(shè)計43-47
• 4.4 實驗準(zhǔn)備與結(jié)果分析47-53
• 4.4.1 實驗準(zhǔn)備47-48
• 4.4.2 實驗結(jié)果與分析48-53
• 4.5 本章小結(jié)53-54
• 第五章 多任務(wù)并行加載設(shè)計與實現(xiàn)54-72
• 5.1 多任務(wù)并行調(diào)度加載設(shè)計54-57
• 5.1.1 可行性分析54-55
• 5.1.2 多任務(wù)并行調(diào)度加載設(shè)計55-56
• 5.1.3 任務(wù)并行度56-57
• 5.2 任務(wù)模型及任務(wù)劃分57-60
• 5.2.1 任務(wù)模型57-59
• 5.2.2 劃分粒度59-60
• 5.3 多任務(wù)并行調(diào)度實現(xiàn)60-66
• 5.3.1 任務(wù)管理61
• 5.3.2 任務(wù)調(diào)度61-66
• 5.4 實驗準(zhǔn)備與結(jié)果66-71
• 5.4.1 實驗準(zhǔn)備66-67
• 5.4.2 實驗結(jié)果與分析67-71
• 5.5 本章小結(jié)71-72
• 第六章 總結(jié)72-74
• 參考文獻(xiàn)74-82
• 致謝82-84
• 攻讀碩士學(xué)位期間發(fā)表論文和科研情況84

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 王光;;幾何操作的數(shù)據(jù)并行復(fù)現(xiàn)(英文)[J];西安文理學(xué)院學(xué)報(自然科學(xué)版);2009年04期

2 史英超;張發(fā)存;段敬紅;;面向嵌入式應(yīng)用的數(shù)據(jù)并行語言設(shè)計[J];計算機工程與應(yīng)用;2011年04期

3 陳斯愈,黃林鵬,孫永強;一個數(shù)據(jù)并行語言的設(shè)計及其實現(xiàn)[J];計算機工程;1997年03期

4 韓天舒;胡銘曾;李曉明;方濱興;;數(shù)據(jù)并行語言中的擴展結(jié)構(gòu)[J];計算機科學(xué);1998年03期

5 劉振英,方濱興,張毅;數(shù)據(jù)并行語言中的任務(wù)并行[J];計算機工程與應(yīng)用;1999年10期

6 李向宏,王丁,王鑫;數(shù)據(jù)并行問題的性能分析及優(yōu)化[J];信息技術(shù);2002年03期

7 王玨;胡長軍;;數(shù)據(jù)并行中通信表內(nèi)元素關(guān)系定理的證明[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2006年S1期

8 余華山,胡長軍,黃其軍,丁文魁,許卓群;一個用于數(shù)據(jù)并行語言計算劃分的時序優(yōu)化模型(英文)[J];軟件學(xué)報;2001年10期

9 桂兵祥;何健;;基于高性能云的分布式數(shù)據(jù)并行處理機制[J];武漢工業(yè)學(xué)院學(xué)報;2010年01期

10 何連躍,沈志宇,趙克佳;數(shù)據(jù)并行語言編譯系統(tǒng)的并行循環(huán)迭代分布算法[J];計算機工程與設(shè)計;1999年03期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 陳慶奎;那麗春;;一個支持?jǐn)?shù)據(jù)并行型計算的網(wǎng)格模型[A];2005通信理論與技術(shù)新進(jìn)展——第十屆全國青年通信學(xué)術(shù)會議論文集[C];2005年

2 崔同云;陳慶奎;;一個網(wǎng)格并行計算實現(xiàn)方法[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會——通信與信息技術(shù)會議論文集（上）[C];2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 肖天;數(shù)據(jù)并行程序正確性分析與網(wǎng)絡(luò)流量優(yōu)化[D];清華大學(xué);2014年

2 王耀華;數(shù)據(jù)并行處理器中指令流出的協(xié)同性研究[D];國防科學(xué)技術(shù)大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 趙滿;地震數(shù)據(jù)并行訪問策略的研究[D];東北石油大學(xué);2013年

2 王馨梅;數(shù)據(jù)并行計算仿真的研究與實現(xiàn)[D];西安理工大學(xué);2004年

3 梁玲玲;數(shù)據(jù)并行交換的長事務(wù)分配與調(diào)度模型[D];長春理工大學(xué);2011年

4 朱斯圢;海量氣象數(shù)據(jù)并行可視化框架[D];浙江大學(xué);2013年

5 秦宜州;實時監(jiān)控系統(tǒng)中基于多核并發(fā)的并行技術(shù)應(yīng)用研究[D];東北大學(xué);2012年

6 張元平;分布式XML數(shù)據(jù)并行更新及發(fā)布方法的研究[D];重慶大學(xué);2007年

7 王仲剛;基于云計算的海量高鐵噪聲數(shù)據(jù)并行處理方法研究[D];西南交通大學(xué);2013年

8 歐陽柳;地理柵格數(shù)據(jù)并行訪問技術(shù)研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2012年

9 楊帆;OpenProbe地震體數(shù)據(jù)并行渲染機制及實現(xiàn)[D];吉林大學(xué);2015年

10 劉美飛;基于USB接口的多串口數(shù)據(jù)并行接收方法研究[D];西安工業(yè)大學(xué);2012年

，

本文編號：1110708