基于Hadoop的地震屬性處理系統(tǒng)研究與實現(xiàn)
本文選題:Hadoop架構(gòu) + 地震屬性分析 ; 參考:《中國石油大學(xué)(北京)》2016年碩士論文
【摘要】:多地震屬性綜合分析技術(shù)在地質(zhì)勘探中有著重要的作用。通常多地震屬性綜合分析計算具有計算復(fù)雜度高、計算量大的特點。使用單機進行計算,計算速度受到限制,需要消耗大量的計算時間。為解決單機計算耗時長的問題,提出利用Hadoop進行分布式計算的方法。單一地震屬性以SEGY格式獨立保存,多種地震屬性上傳至HDFS時被分發(fā)至不同節(jié)點,而計算時使用多種地震屬性共同參與計算,增加了節(jié)點之間數(shù)據(jù)傳遞的開銷。通過改變地震屬性保存格式,抽取同一坐標(biāo)位置的不同地震屬性數(shù)據(jù)組合在一起,減少計算時集群節(jié)點間不必要的數(shù)據(jù)傳遞。設(shè)計基于Hadoop的地震屬性計算方案,將計算過程分解成地震屬性數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)上傳、地震屬性計算、數(shù)據(jù)下載、計算結(jié)果格式轉(zhuǎn)換5個階段。其中地震屬性數(shù)據(jù)格式轉(zhuǎn)換和計算結(jié)果格式轉(zhuǎn)換在單機上完成,數(shù)據(jù)上傳和數(shù)據(jù)下載是單機和Hadoop集群數(shù)據(jù)交互的過程,地震屬性計算使用Hadoop的Map Reduce框架在Hadoop集群上完成。通過實驗驗證該方案可行性,與單個節(jié)點計算相比,將系統(tǒng)部署在8個DataNode節(jié)點的Hadoop集群上能節(jié)約70%左右的計算時間。
[Abstract]:Multi-seismic attribute comprehensive analysis technique plays an important role in geological exploration. In general, multi-seismic attribute analysis and calculation have the characteristics of high computational complexity and large amount of computation. The calculation speed is limited by using a single machine, which requires a lot of computing time. In order to solve the time-consuming problem of single computer, a method of distributed computing using Hadoop is proposed. Single seismic attributes are stored independently in set format, and many seismic attributes are distributed to different nodes when they are uploaded to HDFS. In calculation, multiple seismic attributes are used to participate in the calculation, which increases the cost of data transfer between nodes. By changing the preservation format of seismic attributes, different seismic attribute data of the same coordinate position are extracted together to reduce the unnecessary data transfer between cluster nodes. The seismic attribute calculation scheme based on Hadoop is designed. The calculation process is decomposed into five stages: data format conversion, data upload, seismic attribute calculation, data download and result format conversion. The transformation of seismic attribute data format and computing result format is completed on a single computer. Data upload and data download are the process of data interaction between single computer and Hadoop cluster. Hadoop's Map reduce framework is used to calculate seismic attributes on Hadoop cluster. The feasibility of the scheme is verified by experiments. Compared with the calculation of single node, the system deployed on Hadoop cluster with 8 DataNode nodes can save about 70% computing time.
【學(xué)位授予單位】:中國石油大學(xué)(北京)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2016
【分類號】:TP311.52
【參考文獻】
相關(guān)期刊論文 前10條
1 劉旭躍;周巍;孔祥寧;黃駿;;SEG-Y格式自動轉(zhuǎn)化軟件的研究與實現(xiàn)[J];物探化探計算技術(shù);2016年01期
2 王飛;程禮軍;劉俊峰;謝慶明;黃帥;黃振華;;疊后地震屬性識別頁巖氣儲層裂縫研究及應(yīng)用[J];煤田地質(zhì)與勘探;2015年05期
3 黃潔琛;倪明;;基于Hadoop的分布式視頻轉(zhuǎn)碼方案[J];計算機工程;2015年08期
4 文必龍;馮翔;左春雪;劉雪飛;汪志群;;地震資料分布式存取的效率優(yōu)化設(shè)計[J];計算機與數(shù)字工程;2014年08期
5 顧榮;嚴(yán)金雙;楊曉亮;袁春風(fēng);黃宜華;;Hadoop MapReduce短作業(yè)執(zhí)行性能優(yōu)化[J];計算機研究與發(fā)展;2014年06期
6 朱為盛;王鵬;;基于Hadoop云計算平臺的大規(guī)模圖像檢索方案[J];計算機應(yīng)用;2014年03期
7 王彥倉;秦鳳啟;杜維良;王孟華;王亞;郝軍;杜憲英;張玲彥;;地震屬性優(yōu)選、融合探討[J];中國石油勘探;2013年06期
8 萬波;黨琦;楊林;;基于HDFS管理MapGIS K9瓦片地圖集的研究與實現(xiàn)[J];計算機應(yīng)用與軟件;2013年12期
9 徐昌榮;王聰穎;;基于Hadoop集群的Sobel邊緣檢測[J];江西理工大學(xué)學(xué)報;2013年03期
10 王開燕;徐清彥;張桂芳;程某存;李培海;;地震屬性分析技術(shù)綜述[J];地球物理學(xué)進展;2013年02期
相關(guān)碩士學(xué)位論文 前6條
1 劉凡鳴;基于Hadoop平臺的地震波形數(shù)據(jù)處理方法研究[D];河北師范大學(xué);2015年
2 馮翔;基于hadoop的地震數(shù)據(jù)分布式存儲策略的研究[D];東北石油大學(xué);2014年
3 陸夢寒;針對地震大數(shù)據(jù)的分布式文件系統(tǒng)的研究與設(shè)計[D];中國科學(xué)技術(shù)大學(xué);2014年
4 李興盛;地震資料處理PC集群并行效率研究[D];中國石油大學(xué);2010年
5 朱珠;基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D];北京郵電大學(xué);2008年
6 王勇超;高性能計算集群技術(shù)應(yīng)用研究[D];西安理工大學(xué);2007年
,本文編號:2092035
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/2092035.html