隨著數(shù)字化時(shí)代的來臨,石油鉆井行業(yè)信息化建設(shè)快速發(fā)展,與鉆井生產(chǎn)管理信息相關(guān)的數(shù)據(jù)呈指數(shù)級增長趨勢,傳統(tǒng)的鉆井信息存儲和查詢系統(tǒng)已難以滿足海量鉆井?dāng)?shù)據(jù)存儲和查詢的統(tǒng)計(jì)分析需求。本文采用大數(shù)據(jù)的理論和方法,研究構(gòu)建基于大數(shù)據(jù)的石油鉆井信息優(yōu)化查詢系統(tǒng),以進(jìn)一步提高大數(shù)據(jù)環(huán)境下石油鉆井信息的及時(shí)性和有效性。第一,分析探討了傳統(tǒng)關(guān)系型數(shù)據(jù)庫分布式查詢、Apache20Hadoop20Hive分布式查詢和NoSQL數(shù)據(jù)庫分布式查詢目前存在的局限性和不足。指出面對大數(shù)據(jù)環(huán)境下,數(shù)據(jù)來源廣、數(shù)據(jù)量大、數(shù)據(jù)類型繁多等現(xiàn)狀,傳統(tǒng)數(shù)據(jù)庫查詢系統(tǒng)缺乏有效的處理手段,Apache20Hadoop20Hive分布式查詢操作則往往伴隨著一些冗余且耗時(shí)的操作,而NoSQL數(shù)據(jù)庫分布式查詢的開發(fā)和維護(hù)工作過量大。第二,設(shè)計(jì)構(gòu)建了一個(gè)基于大數(shù)據(jù)的石油鉆井信息查詢系統(tǒng)的總體框架。運(yùn)用大數(shù)據(jù)理論方法,結(jié)合傳統(tǒng)查詢系統(tǒng)體系結(jié)構(gòu),設(shè)計(jì)構(gòu)建一個(gè)基于大數(shù)據(jù)的,支持實(shí)時(shí)、并行、交互式查詢的石油鉆井信息查詢系統(tǒng)體系結(jié)構(gòu)和軟件平臺。第三,研究提出了大數(shù)據(jù)環(huán)境下鉆井?dāng)?shù)據(jù)索引算法和Top-k優(yōu)化查詢算法。通過對Apache20Kylin、... 

【文章來源】：西安石油大學(xué)陜西省

【文章頁數(shù)】：56 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景
    1.2 數(shù)據(jù)信息查詢技術(shù)國內(nèi)外研究現(xiàn)狀
    1.3 研究的目的與意義
    1.4 論文組織結(jié)構(gòu)
第二章 基于大數(shù)據(jù)的石油鉆井信息優(yōu)化查詢系統(tǒng)體系架構(gòu)
    2.1 相關(guān)理論技術(shù)概述
        2.1.1 Hadoop分布式計(jì)算平臺
        2.1.2 數(shù)據(jù)倉庫工具Hive介紹
        2.1.3 數(shù)據(jù)庫HBase簡介
        2.1.4 Kylin引擎介紹
    2.2 分布式查詢分析引擎
        2.2.1 數(shù)據(jù)查詢的發(fā)展
        2.2.2 大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢技術(shù)
    2.3 傳統(tǒng)的石油鉆井信息查詢系統(tǒng)體系結(jié)構(gòu)概述
        2.3.1 傳統(tǒng)的關(guān)系型數(shù)據(jù)庫查詢流程概述
        2.3.2 傳統(tǒng)的關(guān)系型數(shù)據(jù)庫查詢問題
    2.4 基于大數(shù)據(jù)的石油鉆井信息優(yōu)化查詢系統(tǒng)的總體結(jié)構(gòu)
        2.4.1 系統(tǒng)總體結(jié)構(gòu)
        2.4.2 系統(tǒng)的特點(diǎn)
    2.5 本章小結(jié)
第三章 基于大數(shù)據(jù)的石油鉆井信息優(yōu)化查詢系統(tǒng)分析與設(shè)計(jì)
    3.1 系統(tǒng)分析
        3.1.1 系統(tǒng)需求分析
        3.1.2 石油鉆井?dāng)?shù)據(jù)分析
    3.2 石油鉆井?dāng)?shù)據(jù)存儲模型設(shè)計(jì)
        3.2.1 數(shù)據(jù)倉庫主題確定
        3.2.2 事實(shí)表和維表設(shè)計(jì)
        3.2.3 數(shù)據(jù)倉庫數(shù)據(jù)模型設(shè)計(jì)
        3.2.4 數(shù)據(jù)字典
    3.3 數(shù)據(jù)抽取、轉(zhuǎn)換和加載
        3.3.1 數(shù)據(jù)抽取
        3.3.2 數(shù)據(jù)轉(zhuǎn)換
        3.3.3 數(shù)據(jù)加載
    3.4 基于MapReduce的 Top-k查詢算法的優(yōu)化
        3.4.1 Top-k算法簡介
        3.4.2 Top-k查詢算法的優(yōu)化
    3.5 本章小結(jié)
第四章 基于大數(shù)據(jù)的石油鉆井信息優(yōu)化查詢系統(tǒng)的實(shí)現(xiàn)與應(yīng)用
    4.1 數(shù)據(jù)庫HBase優(yōu)化
        4.1.1 數(shù)據(jù)庫HBase存儲優(yōu)化
        4.1.2 關(guān)鍵字Row Key設(shè)計(jì)優(yōu)化
        4.1.3 HBase環(huán)境配置優(yōu)化
        4.1.4 鉆井?dāng)?shù)據(jù)索引算法研究
        4.1.5 參數(shù)優(yōu)化
    4.2 Kylin查詢方法優(yōu)化
        4.2.1 邏輯層的優(yōu)化
        4.2.2 存儲層的優(yōu)化
    4.3 系統(tǒng)實(shí)現(xiàn)
        4.3.1 系統(tǒng)測試環(huán)境準(zhǔn)備
        4.3.2 Hadoop集群部署
        4.3.3 查詢結(jié)果展示
    4.4 查詢性能的比較
    4.5 本章小結(jié)
第五章 總結(jié)與展望
    5.1 論文工作總結(jié)
    5.2 展望
致謝
參考文獻(xiàn)
攻讀學(xué)位期間參加科研情況及獲得的學(xué)術(shù)成果



本文編號：3176215