【摘要】：在石油勘探行業(yè)中,伴隨著物聯(lián)網(wǎng)技術(shù)的不斷應(yīng)用,油氣開發(fā)環(huán)境和業(yè)務(wù)環(huán)境中產(chǎn)生了海量的數(shù)據(jù)。收集數(shù)據(jù)成本的逐漸降低和收集數(shù)據(jù)意識(shí)的不斷提高,使油田上積累了海量、多維度的油氣生產(chǎn)和管理數(shù)據(jù)。然而“海量的生產(chǎn)數(shù)據(jù)”與“匱乏的油田認(rèn)知”逐漸成為油田行業(yè)發(fā)展的瓶頸。油氣生產(chǎn)非結(jié)構(gòu)化數(shù)據(jù)量龐大、類型眾多,主要包含各種沒有固定格式的基本業(yè)務(wù)數(shù)據(jù)體、生產(chǎn)成果文檔、生產(chǎn)報(bào)表及“四化”(模塊化建設(shè)、標(biāo)準(zhǔn)化設(shè)計(jì)、信息化提升、標(biāo)準(zhǔn)化采購(gòu))建設(shè)等數(shù)據(jù),數(shù)據(jù)量在6TB~8TB。當(dāng)前油氣生產(chǎn)數(shù)據(jù)量的與日俱增,大大超出了傳統(tǒng)數(shù)據(jù)庫的存儲(chǔ)范圍,常規(guī)的數(shù)據(jù)庫(如:My SQL、SQL Server、DB2等)存儲(chǔ)和數(shù)據(jù)處理方法遇到了瓶頸。Hadoop作為一種新興的分布式數(shù)據(jù)存儲(chǔ)和計(jì)算框架,具有高可靠性、高擴(kuò)展性、高效性和高容錯(cuò)性的特點(diǎn),為存儲(chǔ)和處理海量油氣生產(chǎn)數(shù)據(jù)提供了新的思路。因此,本文將Hadoop技術(shù)應(yīng)用于油氣生產(chǎn)物聯(lián)網(wǎng)中,設(shè)計(jì)并部署了Hadoop油氣生產(chǎn)數(shù)據(jù)存儲(chǔ)平臺(tái),并基于歷史生產(chǎn)數(shù)據(jù)改進(jìn)了油氣產(chǎn)量預(yù)測(cè)模型,具體工作重點(diǎn)如下:首先,對(duì)Hadoop研究現(xiàn)狀和技術(shù)優(yōu)勢(shì)進(jìn)行分析歸納,明確油氣生產(chǎn)數(shù)據(jù)在存儲(chǔ)方面遇到的困難,從而確定將Hadoop技術(shù)應(yīng)用到油氣生產(chǎn)中用于可靠存儲(chǔ)、高效查詢和數(shù)據(jù)挖掘分析。其次,針對(duì)油田現(xiàn)場(chǎng)生產(chǎn)數(shù)據(jù)具有數(shù)據(jù)結(jié)構(gòu)復(fù)雜,數(shù)據(jù)規(guī)模龐大,數(shù)據(jù)間關(guān)聯(lián)性大等特點(diǎn),結(jié)合Hadoop技術(shù),本文設(shè)計(jì)了一種基于Hadoop技術(shù)的油氣生產(chǎn)數(shù)據(jù)存儲(chǔ)平臺(tái),實(shí)現(xiàn)了不同種類數(shù)據(jù)在Hadoop平臺(tái)和傳統(tǒng)數(shù)據(jù)庫中共享交互,有利于在日后生產(chǎn)中對(duì)數(shù)據(jù)做深入的分析和挖掘。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)設(shè)計(jì),利用基于HDFS的HBase作為存儲(chǔ)數(shù)據(jù)庫;對(duì)于結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)設(shè)計(jì),采用了Oracle數(shù)據(jù)庫作為離線數(shù)據(jù)倉(cāng)庫,提供離線的歷史數(shù)據(jù)分析。而對(duì)于需要被實(shí)時(shí)查詢的生產(chǎn)數(shù)據(jù),則通過Redis內(nèi)存數(shù)據(jù)庫完成。在理論設(shè)計(jì)的基礎(chǔ)上,實(shí)現(xiàn)了Hadoop油氣生產(chǎn)數(shù)據(jù)存儲(chǔ)平臺(tái)的部署,并且對(duì)平臺(tái)的性能進(jìn)行測(cè)試,說明將Hadoop技術(shù)應(yīng)用到油氣生產(chǎn)物聯(lián)網(wǎng)中是高效的、可行的。最后,針對(duì)國(guó)內(nèi)許多油田已經(jīng)進(jìn)入產(chǎn)量遞減階段的問題,通過基于Hadoop平臺(tái)存儲(chǔ)的歷史生產(chǎn)數(shù)據(jù),在雙曲遞減跟指數(shù)遞減模型的基礎(chǔ)上提出了一種最優(yōu)加權(quán)組合法產(chǎn)量預(yù)測(cè)模型,通過三種模型的預(yù)測(cè)結(jié)果和實(shí)際產(chǎn)量進(jìn)行對(duì)比,得出最優(yōu)加權(quán)組合預(yù)測(cè)模型的預(yù)測(cè)結(jié)果最逼近實(shí)際產(chǎn)量,具有極好的預(yù)測(cè)效果,可以考慮在廣大油田試點(diǎn)運(yùn)行。
【學(xué)位授予單位】：蘭州理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TE938;TP391.44;TN929.5
【圖文】：

根據(jù)文件的元數(shù)據(jù)信息，客戶端直接訪獲取完整文件。的數(shù)據(jù)管理可以看出，文件被切分為多個(gè)數(shù)據(jù)塊，多個(gè)數(shù)據(jù)上，除了最后一個(gè)，每個(gè)數(shù)據(jù)塊默認(rèn)大小都是 128認(rèn)塊的大小。份容錯(cuò)性使得 HDFS 會(huì)對(duì) DataNode 節(jié)點(diǎn)上的所有數(shù) HDFS 時(shí)可以指定。在 Hadoop 系統(tǒng)中，HDFS 數(shù)de 定期的向 NameNode 發(fā)送“心跳”數(shù)據(jù)，NameN確認(rèn)每個(gè) DataNode 節(jié)點(diǎn)的健康狀態(tài)�！靶奶卑l(fā) NameNode 在 10 分鐘內(nèi)沒有收到 DataNode 發(fā)送 DataNode 視為宕機(jī)處理，同時(shí)在其他 DataNode FS 數(shù)據(jù)塊副本結(jié)構(gòu)如圖 2.2 所示：NameNode 管理數(shù)據(jù)庫的復(fù)制數(shù)據(jù)塊副本結(jié)構(gòu)

2. 瀏覽器訪問 HDFS通過地址 http://hadoop:50070/訪問 HDFS 的 Web 頁面，并可以查看 NameNDateNode 的詳細(xì)信息。3 MapReduce 并行計(jì)算框架MapReduce 是適合海量數(shù)據(jù)并行計(jì)算的框架模型，該模型簡(jiǎn)單易于編程良好的拓展性和容錯(cuò)性。MapReduce 框架也類似于 HDFS 中的主從式架構(gòu)唯一的 Master 節(jié)點(diǎn) JobTracker 和多個(gè) Slave 節(jié)點(diǎn) TaskTracker，JobTracker 務(wù)管理者負(fù)責(zé)調(diào)度所有的作業(yè)程序，TaskTracker 則是負(fù)責(zé)執(zhí)行 JobTracker MapReduce 程序。MapReduce 框架對(duì)數(shù)據(jù)處理的過程如圖 2.3 所示[52]：數(shù)據(jù)輸入Map任務(wù)創(chuàng)建目錄 hadoop fs -mkdir 目錄地址上傳文件 hadoop fs -put 文件地址查看文件內(nèi)容 hadoop fs -more 文件地址顯示目錄所示文件 hadoop fs -ls 目錄地址

MapReduce(集群資源管理&數(shù)據(jù)處理)HDFS（冗余，可靠存儲(chǔ)）Hadoop1.XHadoop2.XMapReduce（數(shù)據(jù)處理）Others（數(shù)據(jù)處理）YARN（集群資源管理）HDFS（冗余，可靠存儲(chǔ)）圖 2.5 Hadoop 兩代平臺(tái)框架對(duì)比is 內(nèi)存數(shù)據(jù)庫s 是一個(gè) Key-Value 形式存儲(chǔ)的內(nèi)存數(shù)據(jù)庫，它支持多種數(shù)據(jù)類s、Lists、Sets、Sorted Sets 和 Hashes，對(duì)應(yīng)的入庫/出庫操為sadd/smove、zadd/zrem。Redis 還支持差集、并集、交集等所有的數(shù)據(jù)加載到內(nèi)存中，官方提供的數(shù)據(jù)表明，在一個(gè)普通Redis 讀寫速度分別達(dá)到 81000/s 和 110000/s，由此見 Redis 讀Redis 數(shù)據(jù)庫處理流程如圖 2.6 所示。

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳軍;滕衛(wèi)衛(wèi);哈麗扎提·鐵木爾;張新政;楊磊;;無線傳感技術(shù)在油氣生產(chǎn)物聯(lián)網(wǎng)中的應(yīng)用與發(fā)展[J];中國(guó)管理信息化;2015年18期

2 劉新海;;阿里巴巴集團(tuán)的大數(shù)據(jù)戰(zhàn)略與征信實(shí)踐[J];征信;2014年10期

3 黃明燕;蔡祖銳;;云計(jì)算教育應(yīng)用研究綜述[J];軟件導(dǎo)刊(教育技術(shù));2014年01期

4 李建華;薛廣民;陳冰;;油氣生產(chǎn)物聯(lián)網(wǎng)技術(shù)在油氣生產(chǎn)中的應(yīng)用[J];自動(dòng)化博覽;2013年11期

5 王浩;;云存儲(chǔ)與網(wǎng)絡(luò)相互影響的研究[J];計(jì)算機(jī)工程;2013年10期

6 牛祿青;;大數(shù)據(jù)時(shí)代來臨[J];新經(jīng)濟(jì)導(dǎo)刊;2013年Z1期

7 楊炳忻;;香山科學(xué)會(huì)議第420-424次學(xué)術(shù)討論會(huì)簡(jiǎn)述[J];中國(guó)基礎(chǔ)科學(xué);2012年04期

8 韋雪瓊;楊曄;史超;;大數(shù)據(jù)發(fā)展下的金融市場(chǎng)新生態(tài)[J];時(shí)代金融;2012年21期

9 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

10 向小軍;高陽;商琳;楊育彬;;基于Hadoop平臺(tái)的海量文本分類的并行化[J];計(jì)算機(jī)科學(xué);2011年10期

相關(guān)碩士學(xué)位論文 前9條

1 趙嘉;基于Hadoop的煤炭企業(yè)數(shù)據(jù)共享平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];西安科技大學(xué);2015年

2 張傳文;基于大數(shù)據(jù)的區(qū)域醫(yī)療信息共享體系研究[D];華南理工大學(xué);2015年

3 荊超;基于MapReduce分布式信令分析研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

4 黃鐘元;Hadoop平臺(tái)下的關(guān)系數(shù)據(jù)庫查詢與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2011年

5 余正祥;基于hadoop平臺(tái)作業(yè)調(diào)度算法的研究[D];云南大學(xué);2011年

6 馬超;基于云計(jì)算的海量旅行數(shù)據(jù)分析[D];北京郵電大學(xué);2011年

7 黃曉云;基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)研究[D];大連海事大學(xué);2010年

8 李云桃;基于Hadoop的海量數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2009年

9 朱珠;基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D];北京郵電大學(xué);2008年

本文編號(hào)：2769234