隨著石油勘探和開發(fā)工作的不斷發(fā)展,油田所產(chǎn)生的數(shù)據(jù)已呈現(xiàn)爆炸式增長,石油企業(yè)積累了大量油藏數(shù)據(jù)。因此,油田管理的信息化和智能化顯得尤為重要。面對油藏數(shù)據(jù)規(guī)模龐大、數(shù)據(jù)形式多樣、數(shù)據(jù)結構復雜等挑戰(zhàn),傳統(tǒng)的數(shù)據(jù)分析方法很難滿足石油企業(yè)的實踐需求。近年來,由于以Hadoop和Spark為代表的大數(shù)據(jù)技術能夠快速、有效處理和分析海量數(shù)據(jù),因此其非常適合應用于油藏大數(shù)據(jù)分析。本文以Hadoop和Spark等大數(shù)據(jù)技術為基礎,面向油藏數(shù)據(jù)處理和分析展開了系統(tǒng)研究,主要研究工作和成果如下:（1）設計了基于大數(shù)據(jù)技術的油藏數(shù)據(jù)分析系統(tǒng)的總體架構。該架構分為五個層次功能模塊,分別為:數(shù)據(jù)采集層、數(shù)據(jù)接入層、數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層和應用服務層。根據(jù)油藏數(shù)據(jù)特點和實踐需求,對所提系統(tǒng)架構的各個功能模塊進行了詳細設計。（2）設計了基于HBase數(shù)據(jù)庫的油藏數(shù)據(jù)分布式存儲方案。針對油藏數(shù)據(jù)具有異構性、多樣性以及數(shù)據(jù)源多等特點,本文利用Hadoop數(shù)據(jù)庫HBase設計了油藏數(shù)據(jù)的分布式存儲總體架構,設計了油藏數(shù)據(jù)表和HBase表,解決了油藏數(shù)據(jù)的分布式存儲問題,并引用協(xié)處理器Coprocessor實現(xiàn)了 HB... 

【文章來源】：揚州大學江蘇省

【文章頁數(shù)】：72 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
    1.2 研究現(xiàn)狀
    1.3 研究內(nèi)容
    1.4 論文結構
第二章 相關理論和關鍵技術介紹
    2.1 引言
    2.2 大數(shù)據(jù)平臺與開發(fā)工具
        2.2.1 Hadoop平臺
        2.2.2 Spark計算引擎
        2.2.3 Hadoop分布式文件系統(tǒng)概述
        2.2.4 HBase分布式數(shù)據(jù)庫
    2.3 油藏數(shù)據(jù)分析概述
    2.4 數(shù)據(jù)挖掘算法簡介
    2.5 本章小結
第三章 需求分析與系統(tǒng)總體架構設計
    3.1 引言
    3.2 油藏數(shù)據(jù)特點
    3.3 油藏數(shù)據(jù)處理功能性需求
        3.3.1 油藏數(shù)據(jù)的導入與存儲
        3.3.2 油藏數(shù)據(jù)分析
        3.3.3 分析結果推送入庫
    3.4 非功能性需求
    3.5 總體架構與層次功能模塊
        3.5.1 總體架構
        3.5.2 層次功能模塊
    3.6 本章小結
第四章 油藏數(shù)據(jù)分布式存儲的設計與實現(xiàn)
    4.1 引言
    4.2 油藏數(shù)據(jù)分布式存儲總體架構
    4.3 油藏數(shù)據(jù)接入模塊
    4.4 油藏數(shù)據(jù)存儲模塊
        4.4.1 油藏數(shù)據(jù)表設計
        4.4.2 HBase表設計
        4.4.3 協(xié)處理器Coprocessor實現(xiàn)二級索引
    4.5 本章小結
第五章 基于C4.5決策樹的地層分類算法
    5.1 引言
    5.2 C4.5決策樹算法
    5.3 基于油藏數(shù)據(jù)的決策樹模型構建
        5.3.1 油藏數(shù)據(jù)特征提取
        5.3.2 基于油藏數(shù)據(jù)的C4.5決策樹生成算法
        5.3.3 基于油藏數(shù)據(jù)的C4.5算法構造決策樹
    5.4 基于Spark的C4.5決策樹地層分類的實現(xiàn)
    5.5 實驗結果與分析
        5.5.1 實驗環(huán)境
        5.5.2 實驗結果
    5.6 本章小結
第六章 基于大數(shù)據(jù)技術的油藏數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)
    6.1 引言
    6.2 系統(tǒng)研發(fā)環(huán)境
        6.2.1 硬件配置
        6.2.2 軟件環(huán)境
    6.3 系統(tǒng)實現(xiàn)
        6.3.1 系統(tǒng)總體框架
        6.3.2 油藏數(shù)據(jù)監(jiān)控模塊
        6.3.3 油藏數(shù)據(jù)存儲模塊
        6.3.4 員工信息管理模塊
        6.3.5 油藏數(shù)據(jù)分析模塊
        6.3.6 油藏數(shù)據(jù)出庫備份
    6.4 系統(tǒng)功能測試
        6.4.1 等價類劃分
        6.4.2 系統(tǒng)測試用例
    6.5 本章小結
第七章 總結與展望
    7.1 研究總結
    7.2 研究展望
參考文獻
附錄
致謝
攻讀學位期間發(fā)表的學術論文與參加的研究工作


【參考文獻】：
期刊論文
[1]基于微服務的石油大數(shù)據(jù)挖掘平臺[J]. 郭燚,張衛(wèi)山,徐亮,翟佳.  計算機與現(xiàn)代化. 2019(05)
[2]大數(shù)據(jù)背景下的石化企業(yè)客戶資源管理方案研究[J]. 任曄.  當代石油石化. 2019(04)
[3]大數(shù)據(jù)在石油行業(yè)中的應用探究[J]. 趙志剛.  信息系統(tǒng)工程. 2019(03)
[4]一種基于現(xiàn)代數(shù)據(jù)挖掘技術的智慧油田控制分層模型[J]. 胡佳妮.  現(xiàn)代鹽化工. 2019(01)
[5]油藏數(shù)值模擬模型降階方法研究及應用[J]. 侯天宏,喻高明.  遼寧化工. 2018(11)
[6]決策樹C4.5算法的改進與分析[J]. 安葳鵬,尚家澤.  計算機工程與應用. 2019(12)
[7]基于Spark的油田應用日志行為分析系統(tǒng)[J]. 陳雷鳴,張偉光,李翛然,李寧寧.  計算機系統(tǒng)應用. 2018(09)
[8]數(shù)據(jù)相關性研究在判斷某區(qū)水驅優(yōu)勢的應用[J]. 常濤濤,陳麗輝,寇偉龍.  石化技術. 2018(08)
[9]油氣田建設中智能化技術的使用效果[J]. 王曉東.  化工管理. 2018(21)
[10]基于CART模型的不純度函數(shù)在不同數(shù)據(jù)類型中的分類[J]. 曹桃云.  統(tǒng)計與決策. 2018(10)

博士論文
[1]基于油田多源數(shù)據(jù)分析的油藏管理研究[D]. 張偉.長安大學 2013

碩士論文
[1]基于石油鉆井大數(shù)據(jù)技術的鉆進優(yōu)化控制的研究[D]. 李維校.西安石油大學 2018
[2]智能井井下監(jiān)測數(shù)據(jù)處理方法與應用研究[D]. 張嬌.西安石油大學 2017
[3]基于Storm的實時交通信息管理系統(tǒng)的設計與實現(xiàn)[D]. 李申申.揚州大學 2017
[4]基于Hadoop的鉆井工程實時數(shù)據(jù)分析研究[D]. 王建軍.西安石油大學 2016
[5]基于大數(shù)據(jù)的鉆井物料信息多維分析研究[D]. 李欣.西安石油大學 2016
[6]基于Hadoop的海量城市交通流數(shù)據(jù)分布式存儲與分析研究[D]. 朱劉江.揚州大學 2015
[7]基于Spark的數(shù)據(jù)處理分析系統(tǒng)的設計與實現(xiàn)[D]. 李爽.北京交通大學 2015
[8]基于HBase的大規(guī)模數(shù)據(jù)存儲解決方案的設計和實現(xiàn)[D]. 馬翠云.山東大學 2015
[9]基于Hadoop的數(shù)據(jù)遷移與存儲的研究[D]. 劉云飛.北京郵電大學 2015
[10]基于Spark的機器學習平臺設計與實現(xiàn)[D]. 唐振坤.廈門大學 2014



本文編號：3057758