本文關(guān)鍵詞：作業(yè)數(shù)據(jù)向井下數(shù)據(jù)中心遷移技術(shù)研究

  更多相關(guān)文章： 數(shù)據(jù)遷移 增量數(shù)據(jù) 多策略數(shù)據(jù)遷移 數(shù)據(jù)中心

【摘要】：目前許多大型企業(yè)都在建設(shè)自己的數(shù)據(jù)中心,數(shù)據(jù)中心可以有效整合數(shù)據(jù),減少信息孤島。本文以中石油井下數(shù)據(jù)中心為背景,重點(diǎn)研究了大慶油田井下作業(yè)分公司主營業(yè)務(wù)、數(shù)據(jù)中心數(shù)據(jù)模型,構(gòu)建了數(shù)據(jù)映射元模型和遷移元模型,實(shí)現(xiàn)了一個滿足企業(yè)需求的數(shù)據(jù)遷移系統(tǒng)。 本文主要完成了以下幾個工作：首先從鉆井、修井、壓裂及油田維護(hù)四個方面對井下作業(yè)分公司作業(yè)數(shù)據(jù)模型做了介紹,并研究了井下作業(yè)分公司數(shù)據(jù)中心體系結(jié)構(gòu),從開發(fā)井壓裂、探井壓裂、修井、酸化、補(bǔ)孔完井、堵水和生產(chǎn)管理等七個職能域,對井下作業(yè)分公司數(shù)據(jù)中心數(shù)據(jù)模型字典以及數(shù)據(jù)模型進(jìn)行了研究。 其次,建立了一個多策略數(shù)據(jù)遷移系統(tǒng)框架結(jié)構(gòu),遷移策略上采用了歷史數(shù)據(jù)遷移、實(shí)時數(shù)據(jù)遷移和即時數(shù)據(jù)遷移,這幾種策略通過元數(shù)據(jù)驅(qū)動的ETL各功能模塊能很好完成了歷史數(shù)據(jù)和實(shí)時數(shù)據(jù)的遷移任務(wù)。 再次,采用元數(shù)據(jù)以及元數(shù)據(jù)驅(qū)動理論與技術(shù),建立了一個數(shù)據(jù)遷移模型的框架結(jié)構(gòu),然后圍繞此框架來進(jìn)行擴(kuò)展,建立了數(shù)據(jù)遷移基礎(chǔ)元數(shù)據(jù)模型、數(shù)據(jù)遷移驅(qū)動元模型,數(shù)據(jù)遷移基礎(chǔ)元模型用于存儲基礎(chǔ)映射模式元數(shù)據(jù)定制的元數(shù)據(jù)；數(shù)據(jù)遷移驅(qū)動元模型位于基礎(chǔ)元模型下一層,用于存儲映射模式元數(shù)據(jù)。 對于增量數(shù)據(jù)的數(shù)據(jù)遷移問題,使用了一種基于MD5的影子表法的算法,首先對傳統(tǒng)的ETL增量抽取的方法進(jìn)行了總結(jié),闡述了觸發(fā)器,時間戳,全表對比,和日志對比(主要指同步CDC)幾種方法的實(shí)現(xiàn)原理和缺點(diǎn),最終確定了全表對比的方法。 最后,上述的研究成果,在大慶油田井下作業(yè)分公司數(shù)據(jù)中心中,得到了應(yīng)用與驗(yàn)證,證明以上的所提出的數(shù)據(jù)遷移體系模型是可行的、實(shí)用的,滿足了井下作業(yè)數(shù)據(jù)向數(shù)據(jù)中心遷移的需求。
【關(guān)鍵詞】：數(shù)據(jù)遷移 增量數(shù)據(jù) 多策略數(shù)據(jù)遷移 數(shù)據(jù)中心
【學(xué)位授予單位】：東北石油大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP308
【目錄】：

• 摘要4-5
• ABSTRACT5-6
• 創(chuàng)新點(diǎn)摘要6-7
• 目錄7-9
• 第一章 緒論9-13
• 1.1 研究背景9
• 1.2 數(shù)據(jù)遷移發(fā)展現(xiàn)狀9-12
• 1.2.1 數(shù)據(jù)遷移方法10
• 1.2.2 數(shù)據(jù)遷移的策略10
• 1.2.3 數(shù)據(jù)遷移技術(shù)10-11
• 1.2.4 元數(shù)據(jù)研究現(xiàn)狀11-12
• 1.2.5 研究目標(biāo)和主要研究內(nèi)容12
• 1.3 論文的組織結(jié)構(gòu)12-13
• 第二章 井下作業(yè)數(shù)據(jù)庫與數(shù)據(jù)中心數(shù)據(jù)庫13-41
• 2.1 作業(yè)數(shù)據(jù)模型開發(fā)背景介紹13-18
• 2.1.1 作業(yè)數(shù)據(jù)系統(tǒng)功能13-14
• 2.1.2 井下作業(yè)數(shù)據(jù)數(shù)據(jù)模型14-18
• 2.2 井下作業(yè)數(shù)據(jù)中心18-20
• 2.2.1 井下作業(yè)數(shù)據(jù)中心體系結(jié)構(gòu)18-19
• 2.2.2 井下作業(yè)與壓裂相關(guān)的數(shù)據(jù)模型19-20
• 2.3 井下作業(yè)數(shù)據(jù)中心專業(yè)主題數(shù)據(jù)模型及業(yè)務(wù)數(shù)據(jù)遷移流程20-40
• 2.3.1 基本實(shí)體一公共數(shù)據(jù)模型20-21
• 2.3.2 作業(yè)階段21-22
• 2.3.3 井設(shè)計具體關(guān)系圖22-23
• 2.3.4 成本估算與授權(quán)23-25
• 2.3.5 井筒設(shè)備25-26
• 2.3.6 井口設(shè)備26-27
• 2.3.7 鉆機(jī)設(shè)備27
• 2.3.8 鉆具組合27-28
• 2.3.9 生產(chǎn)設(shè)備故障28-29
• 2.3.10 井斜測量29
• 2.3.11 固井作業(yè)29-30
• 2.3.12 射孔作業(yè)30
• 2.3.13 增產(chǎn)措施30-31
• 2.3.14 各作業(yè)業(yè)務(wù)數(shù)據(jù)遷移的詳細(xì)流程31-40
• 2.3.14.1 大修中的鉆井業(yè)務(wù)數(shù)據(jù)遷移數(shù)據(jù)流程31-34
• 2.3.14.2 修井業(yè)務(wù)數(shù)據(jù)遷移數(shù)據(jù)流程34-36
• 2.3.14.3 油田維護(hù)業(yè)務(wù)數(shù)據(jù)遷移數(shù)據(jù)流程36-38
• 2.3.14.4 增產(chǎn)措施業(yè)務(wù)數(shù)據(jù)遷移數(shù)據(jù)流程38-40
• 2.4 本章小結(jié)40-41
• 第三章 多種遷移策略數(shù)據(jù)遷移體系結(jié)構(gòu)及元模型設(shè)計41-51
• 3.1 油田作業(yè)數(shù)據(jù)遷移系統(tǒng)框架體系模型設(shè)計41-42
• 3.2 多策略數(shù)據(jù)遷移系統(tǒng)框架結(jié)構(gòu)42-44
• 3.3 數(shù)據(jù)映射元模型和遷移元模型設(shè)計44-50
• 3.3.1 數(shù)據(jù)映射44-49
• 3.3.2 數(shù)據(jù)遷移元模型設(shè)計49-50
• 3.4 本章小結(jié)50-51
• 第四章 一種基于MD5的影子表法的研究51-55
• 4.1 基于MD5影子表法的研究(增量抽取的實(shí)現(xiàn))51-52
• 4.1.1 MD5介紹51
• 4.1.2 增量抽取的基本方法51-52
• 4.2 性能分析52-53
• 4.3 性能測試與結(jié)果分析53-54
• 4.4 本章小結(jié)54-55
• 第五章 應(yīng)用系統(tǒng)設(shè)計與實(shí)現(xiàn)55-66
• 5.1 應(yīng)用背景55
• 5.2 應(yīng)用系統(tǒng)設(shè)計55-59
• 5.2.1 應(yīng)用平臺設(shè)計55-56
• 5.2.2 硬件平臺設(shè)計56-57
• 5.2.3 安全體系設(shè)計57-58
• 5.2.4 功能模塊設(shè)計58-59
• 5.2.5 主要技術(shù)經(jīng)濟(jì)考核指標(biāo)59
• 5.3 系統(tǒng)實(shí)現(xiàn)59-65
• 5.3.1 手動數(shù)據(jù)歸檔詳細(xì)設(shè)計59-62
• 5.3.2 歸檔日志查看模塊設(shè)計62-65
• 5.3.3 歸檔正確性檢查模塊設(shè)計65
• 5.4 本章小結(jié)65-66
• 結(jié)論66-68
• 參考文獻(xiàn)68-71
• 致謝71-72
• 詳細(xì)摘要72-84

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 袁滿,文必龍,張林,王東;Epicentre數(shù)據(jù)模型應(yīng)用標(biāo)準(zhǔn)及其實(shí)現(xiàn)[J];大慶石油學(xué)院學(xué)報;1998年03期

2 黃強(qiáng);王薇;張曉梅;李敏;;基于JSON和IoC的AJAX-RMI插件[J];計算機(jī)工程;2009年19期

，

本文編號：987885