本文關鍵詞：基于Hadoop的地震數(shù)據(jù)處理方法　出處：《吉林大學》2017年碩士論文　論文類型：學位論文

  更多相關文章： 大數(shù)據(jù) Hadoop MapReduce 地震勘探 地震背景噪聲

【摘要】：地震數(shù)據(jù)是一種由地殼震動產生的數(shù)字信號,被人們常用作探究地下巖土結構,以及尋找油氣資源的一種媒介,其價值意義是不可估量的。隨著科技發(fā)展,越來越多的人工地震實驗被開展,隨著每一次成本較高的野外試驗完成都會產生大量的地震數(shù)據(jù)回收到數(shù)據(jù)處理中心,所以,對于數(shù)據(jù)中心而言數(shù)據(jù)的存儲以及處理環(huán)節(jié)的重要性是毋庸置疑的。文章首先介紹了數(shù)據(jù)處理中心從數(shù)據(jù)回收到數(shù)據(jù)處理的相關流程,以及數(shù)據(jù)中心目前在地震數(shù)據(jù)存儲、提取、處理三個方面所存在的問題,分析了在大數(shù)據(jù)環(huán)境下,以傳統(tǒng)方式存儲和處理地震數(shù)據(jù)的效率低下問題。隨著地震數(shù)據(jù)的不斷倍增,傳統(tǒng)串行工作方式已不能高效率地完成地震數(shù)據(jù)處理工作,面對這寫嚴峻的問題,在數(shù)據(jù)處理中心現(xiàn)有的硬件基礎上,本文提出了基于Hadoop的地震數(shù)據(jù)處理方法,通過分布式并行計算的方式充分利用集群性能來提高數(shù)據(jù)存儲的冗余性和數(shù)據(jù)處理的高效性。面對這個問題,本文首先提出了采用Hadoop的分布式框架來解決大數(shù)據(jù)帶來的數(shù)據(jù)計算壓力問題的方案,將現(xiàn)有的多個服務器構建成集群的方式形成分布式系統(tǒng)來實現(xiàn)并行計算,以其特有的MapReduce并行計算模型來實現(xiàn)數(shù)據(jù)分塊處理,通過這種方式來解決一臺工作站的性能瓶頸。進而選用地震數(shù)據(jù)轉換這一任務案例來充分體現(xiàn)Hadoop在大數(shù)據(jù)環(huán)境下的處理優(yōu)勢,采用不同處理方式進行數(shù)據(jù)轉換效率分析,并將實驗結果進行對比,展現(xiàn)出Hadoop在大數(shù)據(jù)環(huán)境下處理的巨大優(yōu)勢。通過數(shù)據(jù)轉換案例的實驗結果對比進一步提出基于Hadoop的分布式并行架構也適用于數(shù)據(jù)中心正在進行的地震數(shù)據(jù)背景噪聲處理算法,并從接下來章節(jié)分別從數(shù)據(jù)存儲、查詢、提取各方面效率最大化來設計實現(xiàn)基于私有云計算的地震數(shù)據(jù)處理方法。在地震數(shù)據(jù)存儲方面,由于數(shù)據(jù)存儲在SAN磁盤中,所以其安全性和冗余性存在較大隱患,并且只能通過串行I/O方式進行數(shù)據(jù)提取導致無法更好地滿足客戶端提取數(shù)據(jù)高效性的要求,因此提出了地震數(shù)據(jù)分布式存儲的方案。通過與RDBMS的對比,充分展現(xiàn)地震數(shù)據(jù)分布式存儲的各項優(yōu)勢,進而設計并實現(xiàn)了數(shù)據(jù)存儲結構模式和相關機制方法。通過對Hadoop分布式數(shù)據(jù)庫HBase的研究,了解到數(shù)據(jù)分布式存儲引進了影響客戶端查詢效率的問題,所以,為了更高效地進行后續(xù)地震數(shù)據(jù)處理環(huán)節(jié),進一步仔細研究其影響查詢效率的因素,最終通過HBase擴展的協(xié)處理器來實現(xiàn)數(shù)據(jù)表的二級索引查詢,提高客戶端數(shù)據(jù)查詢速度,有效地彌補了地震數(shù)據(jù)分布式存儲帶來的一些查詢方面的不足。解決查詢問題的同時,在數(shù)據(jù)分布式的存儲環(huán)境下進一步設計并實現(xiàn)了基于MapReduce的地震數(shù)據(jù)快速提取,這一方案大大提高了客戶端通過傳統(tǒng)串行I/O方式進行數(shù)據(jù)提取的效率,為下一步高效的進行地震數(shù)據(jù)背景噪聲處理奠定基礎。在實現(xiàn)地震數(shù)據(jù)分布式存儲和基于MapReduce高效數(shù)據(jù)并行提取的條件下,最后一章設計并實現(xiàn)了基于私有云計算的地震數(shù)據(jù)背景噪聲處理算法,采用Hadoop集群模式進行分布式并行處理,在實現(xiàn)的同時進一步分析MapReduce作業(yè)節(jié)點對數(shù)據(jù)處理效率的影響因素,通過實驗對比Hadoop與傳統(tǒng)串行方式的處理效率并得出相關結論。充分體現(xiàn)大數(shù)據(jù)環(huán)境下Hadoop的巨大優(yōu)勢。
[Abstract]:Seismic data is a kind of digital signal produced by crustal vibration , which is often used as a medium for exploring underground geotechnical structures and searching for oil and gas resources . The last chapter designs and implements the seismic data background noise processing algorithm based on private cloud computing , adopts the Hadoop cluster mode to carry out distributed parallel processing , and further analyzes the influence factors of the MapReduce operation node on the data processing efficiency , and compares Hadoop with the traditional serial mode through experiments to obtain the relevant conclusion . The great advantage of Hadoop under the large data environment is fully embodied .

【學位授予單位】：吉林大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：P631.44;TP311.13

【相似文獻】

相關期刊論文 前5條

1 高少武,趙衛(wèi)峰,趙波,梁意文,陳世鴻;分布式地震數(shù)據(jù)處理系統(tǒng)研究[J];計算機工程與設計;2003年01期

2 李肯立;楊進;彭成斌;秦云川;;基于MPI+OpenMP混合模型的并行地震數(shù)據(jù)處理支撐庫的研究[J];計算機工程與科學;2007年12期

3 和躍時;地震數(shù)據(jù)處理中SHK和DBF格式文件互換技術[J];地震地磁觀測與研究;1998年06期

4 劉其成;鄭緯民;薛巍;孫立民;;時移地震數(shù)據(jù)處理中基于mobile agent的并行相位校正[J];計算機應用研究;2010年01期

5 朱桂蘭;地震數(shù)據(jù)處理中Turbo　C與Foxbase（Dbase）的接口技術[J];地震地磁觀測與研究;1994年03期

相關會議論文 前10條

1 唐剛;馬堅偉;楊慧珠;;壓縮采樣及其在地震數(shù)據(jù)處理中的應用[A];中國地球物理·2009[C];2009年

2 趙改善;;21世紀的地震數(shù)據(jù)處理系統(tǒng)[A];2001年中國地球物理學會年刊——中國地球物理學會第十七屆年會論文集[C];2001年

3 陳超;何登科;任孟莉;冀瑞君;;地震數(shù)據(jù)處理質量監(jiān)控研究[A];中國地球物理2013——第二十四專題論文集[C];2013年

4 王秀閩;劉洪;劉永江;宋亮;孟小紅;;地震數(shù)據(jù)處理系統(tǒng)中交互作業(yè)編輯與運行[A];中國科學院地質與地球物理研究所2007學術論文匯編(第六卷)[C];2008年

5 葛維亮;庹先國;李懷良;王洪輝;張賡;葛寶;;地震數(shù)據(jù)處理的可配置數(shù)字濾波器研究[A];中國地球物理2010——中國地球物理學會第二十六屆年會、中國地震學會第十三次學術大會論文集[C];2010年

6 陳忠煥;陸文凱;;反射系數(shù)估計的快速L1范數(shù)優(yōu)化算法[A];中國地球物理·2009[C];2009年

7 韓佳君;韓立國;;Curvelet變換域K-L變換去噪方法研究[A];中國地球物理·2009[C];2009年

8 張宏;羅濤;孫耀華;唐曉川;李世紅;張國欽;任軍戰(zhàn);;ALPHA／GRISYS地震數(shù)據(jù)處理系統(tǒng)的應用[A];1995年中國地球物理學會第十一屆學術年會論文集[C];1995年

9 于建華;楊長春;李幼銘;;適用于迭前處理的數(shù)據(jù)內插方法及應用[A];1996年中國地球物理學會第十二屆學術年會論文集[C];1996年

10 王者江;石戰(zhàn)結;曾昭發(fā);;ProMax系統(tǒng)處理探地雷達數(shù)據(jù)[A];中國地球物理學會第二十屆年會論文集[C];2004年

相關重要報紙文章 前6條

1 物新;地震數(shù)據(jù)處理專家趙波[N];中國石油報;2001年

2 賈亞軍　許濤 塔依爾·伊布拉音 楊敏;石油地震數(shù)據(jù)中心轉向綠色[N];計算機世界;2009年

3 劉冀人;著名地震數(shù)據(jù)處理專家劉超穎[N];中國石油報;2001年

4 通訊員　祝寬海;GRISYSV8.0地震處理系統(tǒng)通過驗收[N];中國石油報;2006年

5 記者 劉曉飛 通訊員 韓梅;GeoEastV1.0：欲與洋品牌試比高[N];中國石油報;2005年

6 周宏;國產石油勘探軟件出手不凡[N];中國礦業(yè)報;2001年

相關博士學位論文 前2條

1 徐冰;隨鉆地震數(shù)據(jù)處理系統(tǒng)軟件體系結構研究[D];中國海洋大學;2013年

2 袁修貴;多分辨分析理論與深度成像和地震數(shù)據(jù)處理[D];中南大學;2005年

相關碩士學位論文 前10條

1 吳昊;遼河地區(qū)地震數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[D];大連理工大學;2016年

2 王鑫;基于Hadoop的地震數(shù)據(jù)處理方法[D];吉林大學;2017年

3 余惠梅;地震數(shù)據(jù)處理虛擬仿真的后端實現(xiàn)[D];長江大學;2017年

4 陳曦;適用于地震數(shù)據(jù)處理的分布式執(zhí)行控制系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2013年

5 張?zhí)m蘭;τ-p變換在地震數(shù)據(jù)處理中的研究應用[D];中國地質大學（北京）;2011年

6 彭俊杰;基于CUDA平臺地震數(shù)據(jù)處理研究[D];湖南大學;2009年

7 劉爽;基于CEEMD的地震數(shù)據(jù)處理研究與應用[D];吉林大學;2014年

8 嚴蓉;MPS海量地震數(shù)據(jù)處理的質量控制與分析[D];中國地質大學（北京）;2009年

9 楊進;地震數(shù)據(jù)處理中的并行計算技術研究[D];湖南大學;2008年

10 齊雪生;并行地震數(shù)據(jù)處理支撐系統(tǒng)研究[D];湖南大學;2007年

，

本文編號：1359080