隨著石油勘探和開(kāi)發(fā)工作的不斷發(fā)展,油田所產(chǎn)生的數(shù)據(jù)已呈現(xiàn)爆炸式增長(zhǎng),石油企業(yè)積累了大量油藏?cái)?shù)據(jù)。因此,油田管理的信息化和智能化顯得尤為重要。面對(duì)油藏?cái)?shù)據(jù)規(guī)模龐大、數(shù)據(jù)形式多樣、數(shù)據(jù)結(jié)構(gòu)復(fù)雜等挑戰(zhàn),傳統(tǒng)的數(shù)據(jù)分析方法很難滿足石油企業(yè)的實(shí)踐需求。近年來(lái),由于以Hadoop和Spark為代表的大數(shù)據(jù)技術(shù)能夠快速、有效處理和分析海量數(shù)據(jù),因此其非常適合應(yīng)用于油藏大數(shù)據(jù)分析。本文以Hadoop和Spark等大數(shù)據(jù)技術(shù)為基礎(chǔ),面向油藏?cái)?shù)據(jù)處理和分析展開(kāi)了系統(tǒng)研究,主要研究工作和成果如下:（1）設(shè)計(jì)了基于大數(shù)據(jù)技術(shù)的油藏?cái)?shù)據(jù)分析系統(tǒng)的總體架構(gòu)。該架構(gòu)分為五個(gè)層次功能模塊,分別為:數(shù)據(jù)采集層、數(shù)據(jù)接入層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)挖掘分析層和應(yīng)用服務(wù)層。根據(jù)油藏?cái)?shù)據(jù)特點(diǎn)和實(shí)踐需求,對(duì)所提系統(tǒng)架構(gòu)的各個(gè)功能模塊進(jìn)行了詳細(xì)設(shè)計(jì)。（2）設(shè)計(jì)了基于HBase數(shù)據(jù)庫(kù)的油藏?cái)?shù)據(jù)分布式存儲(chǔ)方案。針對(duì)油藏?cái)?shù)據(jù)具有異構(gòu)性、多樣性以及數(shù)據(jù)源多等特點(diǎn),本文利用Hadoop數(shù)據(jù)庫(kù)HBase設(shè)計(jì)了油藏?cái)?shù)據(jù)的分布式存儲(chǔ)總體架構(gòu),設(shè)計(jì)了油藏?cái)?shù)據(jù)表和HBase表,解決了油藏?cái)?shù)據(jù)的分布式存儲(chǔ)問(wèn)題,并引用協(xié)處理器Coprocessor實(shí)現(xiàn)了 HB... 

【文章來(lái)源】：揚(yáng)州大學(xué)江蘇省

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
    1.2 研究現(xiàn)狀
    1.3 研究?jī)?nèi)容
    1.4 論文結(jié)構(gòu)
第二章 相關(guān)理論和關(guān)鍵技術(shù)介紹
    2.1 引言
    2.2 大數(shù)據(jù)平臺(tái)與開(kāi)發(fā)工具
        2.2.1 Hadoop平臺(tái)
        2.2.2 Spark計(jì)算引擎
        2.2.3 Hadoop分布式文件系統(tǒng)概述
        2.2.4 HBase分布式數(shù)據(jù)庫(kù)
    2.3 油藏?cái)?shù)據(jù)分析概述
    2.4 數(shù)據(jù)挖掘算法簡(jiǎn)介
    2.5 本章小結(jié)
第三章 需求分析與系統(tǒng)總體架構(gòu)設(shè)計(jì)
    3.1 引言
    3.2 油藏?cái)?shù)據(jù)特點(diǎn)
    3.3 油藏?cái)?shù)據(jù)處理功能性需求
        3.3.1 油藏?cái)?shù)據(jù)的導(dǎo)入與存儲(chǔ)
        3.3.2 油藏?cái)?shù)據(jù)分析
        3.3.3 分析結(jié)果推送入庫(kù)
    3.4 非功能性需求
    3.5 總體架構(gòu)與層次功能模塊
        3.5.1 總體架構(gòu)
        3.5.2 層次功能模塊
    3.6 本章小結(jié)
第四章 油藏?cái)?shù)據(jù)分布式存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)
    4.1 引言
    4.2 油藏?cái)?shù)據(jù)分布式存儲(chǔ)總體架構(gòu)
    4.3 油藏?cái)?shù)據(jù)接入模塊
    4.4 油藏?cái)?shù)據(jù)存儲(chǔ)模塊
        4.4.1 油藏?cái)?shù)據(jù)表設(shè)計(jì)
        4.4.2 HBase表設(shè)計(jì)
        4.4.3 協(xié)處理器Coprocessor實(shí)現(xiàn)二級(jí)索引
    4.5 本章小結(jié)
第五章 基于C4.5決策樹(shù)的地層分類算法
    5.1 引言
    5.2 C4.5決策樹(shù)算法
    5.3 基于油藏?cái)?shù)據(jù)的決策樹(shù)模型構(gòu)建
        5.3.1 油藏?cái)?shù)據(jù)特征提取
        5.3.2 基于油藏?cái)?shù)據(jù)的C4.5決策樹(shù)生成算法
        5.3.3 基于油藏?cái)?shù)據(jù)的C4.5算法構(gòu)造決策樹(shù)
    5.4 基于Spark的C4.5決策樹(shù)地層分類的實(shí)現(xiàn)
    5.5 實(shí)驗(yàn)結(jié)果與分析
        5.5.1 實(shí)驗(yàn)環(huán)境
        5.5.2 實(shí)驗(yàn)結(jié)果
    5.6 本章小結(jié)
第六章 基于大數(shù)據(jù)技術(shù)的油藏?cái)?shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
    6.1 引言
    6.2 系統(tǒng)研發(fā)環(huán)境
        6.2.1 硬件配置
        6.2.2 軟件環(huán)境
    6.3 系統(tǒng)實(shí)現(xiàn)
        6.3.1 系統(tǒng)總體框架
        6.3.2 油藏?cái)?shù)據(jù)監(jiān)控模塊
        6.3.3 油藏?cái)?shù)據(jù)存儲(chǔ)模塊
        6.3.4 員工信息管理模塊
        6.3.5 油藏?cái)?shù)據(jù)分析模塊
        6.3.6 油藏?cái)?shù)據(jù)出庫(kù)備份
    6.4 系統(tǒng)功能測(cè)試
        6.4.1 等價(jià)類劃分
        6.4.2 系統(tǒng)測(cè)試用例
    6.5 本章小結(jié)
第七章 總結(jié)與展望
    7.1 研究總結(jié)
    7.2 研究展望
參考文獻(xiàn)
附錄
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與參加的研究工作


【參考文獻(xiàn)】：
期刊論文
[1]基于微服務(wù)的石油大數(shù)據(jù)挖掘平臺(tái)[J]. 郭燚,張衛(wèi)山,徐亮,翟佳.  計(jì)算機(jī)與現(xiàn)代化. 2019(05)
[2]大數(shù)據(jù)背景下的石化企業(yè)客戶資源管理方案研究[J]. 任曄.  當(dāng)代石油石化. 2019(04)
[3]大數(shù)據(jù)在石油行業(yè)中的應(yīng)用探究[J]. 趙志剛.  信息系統(tǒng)工程. 2019(03)
[4]一種基于現(xiàn)代數(shù)據(jù)挖掘技術(shù)的智慧油田控制分層模型[J]. 胡佳妮.  現(xiàn)代鹽化工. 2019(01)
[5]油藏?cái)?shù)值模擬模型降階方法研究及應(yīng)用[J]. 侯天宏,喻高明.  遼寧化工. 2018(11)
[6]決策樹(shù)C4.5算法的改進(jìn)與分析[J]. 安葳鵬,尚家澤.  計(jì)算機(jī)工程與應(yīng)用. 2019(12)
[7]基于Spark的油田應(yīng)用日志行為分析系統(tǒng)[J]. 陳雷鳴,張偉光,李翛然,李寧寧.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(09)
[8]數(shù)據(jù)相關(guān)性研究在判斷某區(qū)水驅(qū)優(yōu)勢(shì)的應(yīng)用[J]. 常濤濤,陳麗輝,寇偉龍.  石化技術(shù). 2018(08)
[9]油氣田建設(shè)中智能化技術(shù)的使用效果[J]. 王曉東.  化工管理. 2018(21)
[10]基于CART模型的不純度函數(shù)在不同數(shù)據(jù)類型中的分類[J]. 曹桃云.  統(tǒng)計(jì)與決策. 2018(10)

博士論文
[1]基于油田多源數(shù)據(jù)分析的油藏管理研究[D]. 張偉.長(zhǎng)安大學(xué) 2013

碩士論文
[1]基于石油鉆井大數(shù)據(jù)技術(shù)的鉆進(jìn)優(yōu)化控制的研究[D]. 李維校.西安石油大學(xué) 2018
[2]智能井井下監(jiān)測(cè)數(shù)據(jù)處理方法與應(yīng)用研究[D]. 張嬌.西安石油大學(xué) 2017
[3]基于Storm的實(shí)時(shí)交通信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李申申.揚(yáng)州大學(xué) 2017
[4]基于Hadoop的鉆井工程實(shí)時(shí)數(shù)據(jù)分析研究[D]. 王建軍.西安石油大學(xué) 2016
[5]基于大數(shù)據(jù)的鉆井物料信息多維分析研究[D]. 李欣.西安石油大學(xué) 2016
[6]基于Hadoop的海量城市交通流數(shù)據(jù)分布式存儲(chǔ)與分析研究[D]. 朱劉江.揚(yáng)州大學(xué) 2015
[7]基于Spark的數(shù)據(jù)處理分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李爽.北京交通大學(xué) 2015
[8]基于HBase的大規(guī)模數(shù)據(jù)存儲(chǔ)解決方案的設(shè)計(jì)和實(shí)現(xiàn)[D]. 馬翠云.山東大學(xué) 2015
[9]基于Hadoop的數(shù)據(jù)遷移與存儲(chǔ)的研究[D]. 劉云飛.北京郵電大學(xué) 2015
[10]基于Spark的機(jī)器學(xué)習(xí)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 唐振坤.廈門大學(xué) 2014



本文編號(hào)：3057758