【摘要】：在石油勘探行業(yè)中,伴隨著物聯(lián)網(wǎng)技術(shù)的不斷應(yīng)用,油氣開發(fā)環(huán)境和業(yè)務(wù)環(huán)境中產(chǎn)生了海量的數(shù)據(jù)。收集數(shù)據(jù)成本的逐漸降低和收集數(shù)據(jù)意識的不斷提高,使油田上積累了海量、多維度的油氣生產(chǎn)和管理數(shù)據(jù)。然而“海量的生產(chǎn)數(shù)據(jù)”與“匱乏的油田認(rèn)知”逐漸成為油田行業(yè)發(fā)展的瓶頸。油氣生產(chǎn)非結(jié)構(gòu)化數(shù)據(jù)量龐大、類型眾多,主要包含各種沒有固定格式的基本業(yè)務(wù)數(shù)據(jù)體、生產(chǎn)成果文檔、生產(chǎn)報表及“四化”(模塊化建設(shè)、標(biāo)準(zhǔn)化設(shè)計、信息化提升、標(biāo)準(zhǔn)化采購)建設(shè)等數(shù)據(jù),數(shù)據(jù)量在6TB~8TB。當(dāng)前油氣生產(chǎn)數(shù)據(jù)量的與日俱增,大大超出了傳統(tǒng)數(shù)據(jù)庫的存儲范圍,常規(guī)的數(shù)據(jù)庫(如:My SQL、SQL Server、DB2等)存儲和數(shù)據(jù)處理方法遇到了瓶頸。Hadoop作為一種新興的分布式數(shù)據(jù)存儲和計算框架,具有高可靠性、高擴(kuò)展性、高效性和高容錯性的特點,為存儲和處理海量油氣生產(chǎn)數(shù)據(jù)提供了新的思路。因此,本文將Hadoop技術(shù)應(yīng)用于油氣生產(chǎn)物聯(lián)網(wǎng)中,設(shè)計并部署了Hadoop油氣生產(chǎn)數(shù)據(jù)存儲平臺,并基于歷史生產(chǎn)數(shù)據(jù)改進(jìn)了油氣產(chǎn)量預(yù)測模型,具體工作重點如下:首先,對Hadoop研究現(xiàn)狀和技術(shù)優(yōu)勢進(jìn)行分析歸納,明確油氣生產(chǎn)數(shù)據(jù)在存儲方面遇到的困難,從而確定將Hadoop技術(shù)應(yīng)用到油氣生產(chǎn)中用于可靠存儲、高效查詢和數(shù)據(jù)挖掘分析。其次,針對油田現(xiàn)場生產(chǎn)數(shù)據(jù)具有數(shù)據(jù)結(jié)構(gòu)復(fù)雜,數(shù)據(jù)規(guī)模龐大,數(shù)據(jù)間關(guān)聯(lián)性大等特點,結(jié)合Hadoop技術(shù),本文設(shè)計了一種基于Hadoop技術(shù)的油氣生產(chǎn)數(shù)據(jù)存儲平臺,實現(xiàn)了不同種類數(shù)據(jù)在Hadoop平臺和傳統(tǒng)數(shù)據(jù)庫中共享交互,有利于在日后生產(chǎn)中對數(shù)據(jù)做深入的分析和挖掘。對于非結(jié)構(gòu)化數(shù)據(jù)的存儲設(shè)計,利用基于HDFS的HBase作為存儲數(shù)據(jù)庫;對于結(jié)構(gòu)化數(shù)據(jù)的存儲設(shè)計,采用了Oracle數(shù)據(jù)庫作為離線數(shù)據(jù)倉庫,提供離線的歷史數(shù)據(jù)分析。而對于需要被實時查詢的生產(chǎn)數(shù)據(jù),則通過Redis內(nèi)存數(shù)據(jù)庫完成。在理論設(shè)計的基礎(chǔ)上,實現(xiàn)了Hadoop油氣生產(chǎn)數(shù)據(jù)存儲平臺的部署,并且對平臺的性能進(jìn)行測試,說明將Hadoop技術(shù)應(yīng)用到油氣生產(chǎn)物聯(lián)網(wǎng)中是高效的、可行的。最后,針對國內(nèi)許多油田已經(jīng)進(jìn)入產(chǎn)量遞減階段的問題,通過基于Hadoop平臺存儲的歷史生產(chǎn)數(shù)據(jù),在雙曲遞減跟指數(shù)遞減模型的基礎(chǔ)上提出了一種最優(yōu)加權(quán)組合法產(chǎn)量預(yù)測模型,通過三種模型的預(yù)測結(jié)果和實際產(chǎn)量進(jìn)行對比,得出最優(yōu)加權(quán)組合預(yù)測模型的預(yù)測結(jié)果最逼近實際產(chǎn)量,具有極好的預(yù)測效果,可以考慮在廣大油田試點運行。
【學(xué)位授予單位】：蘭州理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TE938;TP391.44;TN929.5
【圖文】：

根據(jù)文件的元數(shù)據(jù)信息，客戶端直接訪獲取完整文件。的數(shù)據(jù)管理可以看出，文件被切分為多個數(shù)據(jù)塊，多個數(shù)據(jù)上，除了最后一個，每個數(shù)據(jù)塊默認(rèn)大小都是 128認(rèn)塊的大小。份容錯性使得 HDFS 會對 DataNode 節(jié)點上的所有數(shù) HDFS 時可以指定。在 Hadoop 系統(tǒng)中，HDFS 數(shù)de 定期的向 NameNode 發(fā)送“心跳”數(shù)據(jù)，NameN確認(rèn)每個 DataNode 節(jié)點的健康狀態(tài)。“心跳”發(fā) NameNode 在 10 分鐘內(nèi)沒有收到 DataNode 發(fā)送 DataNode 視為宕機(jī)處理，同時在其他 DataNode FS 數(shù)據(jù)塊副本結(jié)構(gòu)如圖 2.2 所示：NameNode 管理數(shù)據(jù)庫的復(fù)制數(shù)據(jù)塊副本結(jié)構(gòu)

2. 瀏覽器訪問 HDFS通過地址 http://hadoop:50070/訪問 HDFS 的 Web 頁面，并可以查看 NameNDateNode 的詳細(xì)信息。3 MapReduce 并行計算框架MapReduce 是適合海量數(shù)據(jù)并行計算的框架模型，該模型簡單易于編程良好的拓展性和容錯性。MapReduce 框架也類似于 HDFS 中的主從式架構(gòu)唯一的 Master 節(jié)點 JobTracker 和多個 Slave 節(jié)點 TaskTracker，JobTracker 務(wù)管理者負(fù)責(zé)調(diào)度所有的作業(yè)程序，TaskTracker 則是負(fù)責(zé)執(zhí)行 JobTracker MapReduce 程序。MapReduce 框架對數(shù)據(jù)處理的過程如圖 2.3 所示[52]：數(shù)據(jù)輸入Map任務(wù)創(chuàng)建目錄 hadoop fs -mkdir 目錄地址上傳文件 hadoop fs -put 文件地址查看文件內(nèi)容 hadoop fs -more 文件地址顯示目錄所示文件 hadoop fs -ls 目錄地址

MapReduce(集群資源管理&數(shù)據(jù)處理)HDFS（冗余，可靠存儲）Hadoop1.XHadoop2.XMapReduce（數(shù)據(jù)處理）Others（數(shù)據(jù)處理）YARN（集群資源管理）HDFS（冗余，可靠存儲）圖 2.5 Hadoop 兩代平臺框架對比is 內(nèi)存數(shù)據(jù)庫s 是一個 Key-Value 形式存儲的內(nèi)存數(shù)據(jù)庫，它支持多種數(shù)據(jù)類s、Lists、Sets、Sorted Sets 和 Hashes，對應(yīng)的入庫/出庫操為sadd/smove、zadd/zrem。Redis 還支持差集、并集、交集等所有的數(shù)據(jù)加載到內(nèi)存中，官方提供的數(shù)據(jù)表明，在一個普通Redis 讀寫速度分別達(dá)到 81000/s 和 110000/s，由此見 Redis 讀Redis 數(shù)據(jù)庫處理流程如圖 2.6 所示。

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳軍;滕衛(wèi)衛(wèi);哈麗扎提·鐵木爾;張新政;楊磊;;無線傳感技術(shù)在油氣生產(chǎn)物聯(lián)網(wǎng)中的應(yīng)用與發(fā)展[J];中國管理信息化;2015年18期

2 劉新海;;阿里巴巴集團(tuán)的大數(shù)據(jù)戰(zhàn)略與征信實踐[J];征信;2014年10期

3 黃明燕;蔡祖銳;;云計算教育應(yīng)用研究綜述[J];軟件導(dǎo)刊(教育技術(shù));2014年01期

4 李建華;薛廣民;陳冰;;油氣生產(chǎn)物聯(lián)網(wǎng)技術(shù)在油氣生產(chǎn)中的應(yīng)用[J];自動化博覽;2013年11期

5 王浩;;云存儲與網(wǎng)絡(luò)相互影響的研究[J];計算機(jī)工程;2013年10期

6 牛祿青;;大數(shù)據(jù)時代來臨[J];新經(jīng)濟(jì)導(dǎo)刊;2013年Z1期

7 楊炳忻;;香山科學(xué)會議第420-424次學(xué)術(shù)討論會簡述[J];中國基礎(chǔ)科學(xué);2012年04期

8 韋雪瓊;楊曄;史超;;大數(shù)據(jù)發(fā)展下的金融市場新生態(tài)[J];時代金融;2012年21期

9 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

10 向小軍;高陽;商琳;楊育彬;;基于Hadoop平臺的海量文本分類的并行化[J];計算機(jī)科學(xué);2011年10期

相關(guān)碩士學(xué)位論文 前9條

1 趙嘉;基于Hadoop的煤炭企業(yè)數(shù)據(jù)共享平臺設(shè)計與實現(xiàn)[D];西安科技大學(xué);2015年

2 張傳文;基于大數(shù)據(jù)的區(qū)域醫(yī)療信息共享體系研究[D];華南理工大學(xué);2015年

3 荊超;基于MapReduce分布式信令分析研究與實現(xiàn)[D];北京郵電大學(xué);2012年

4 黃鐘元;Hadoop平臺下的關(guān)系數(shù)據(jù)庫查詢與實現(xiàn)[D];復(fù)旦大學(xué);2011年

5 余正祥;基于hadoop平臺作業(yè)調(diào)度算法的研究[D];云南大學(xué);2011年

6 馬超;基于云計算的海量旅行數(shù)據(jù)分析[D];北京郵電大學(xué);2011年

7 黃曉云;基于HDFS的云存儲服務(wù)系統(tǒng)研究[D];大連海事大學(xué);2010年

8 李云桃;基于Hadoop的海量數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2009年

9 朱珠;基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D];北京郵電大學(xué);2008年

本文編號：2769234