本文關(guān)鍵詞：基于Hadoop的地震數(shù)據(jù)處理方法　出處：《吉林大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 大數(shù)據(jù) Hadoop MapReduce 地震勘探 地震背景噪聲

【摘要】：地震數(shù)據(jù)是一種由地殼震動(dòng)產(chǎn)生的數(shù)字信號(hào),被人們常用作探究地下巖土結(jié)構(gòu),以及尋找油氣資源的一種媒介,其價(jià)值意義是不可估量的。隨著科技發(fā)展,越來(lái)越多的人工地震實(shí)驗(yàn)被開(kāi)展,隨著每一次成本較高的野外試驗(yàn)完成都會(huì)產(chǎn)生大量的地震數(shù)據(jù)回收到數(shù)據(jù)處理中心,所以,對(duì)于數(shù)據(jù)中心而言數(shù)據(jù)的存儲(chǔ)以及處理環(huán)節(jié)的重要性是毋庸置疑的。文章首先介紹了數(shù)據(jù)處理中心從數(shù)據(jù)回收到數(shù)據(jù)處理的相關(guān)流程,以及數(shù)據(jù)中心目前在地震數(shù)據(jù)存儲(chǔ)、提取、處理三個(gè)方面所存在的問(wèn)題,分析了在大數(shù)據(jù)環(huán)境下,以傳統(tǒng)方式存儲(chǔ)和處理地震數(shù)據(jù)的效率低下問(wèn)題。隨著地震數(shù)據(jù)的不斷倍增,傳統(tǒng)串行工作方式已不能高效率地完成地震數(shù)據(jù)處理工作,面對(duì)這寫嚴(yán)峻的問(wèn)題,在數(shù)據(jù)處理中心現(xiàn)有的硬件基礎(chǔ)上,本文提出了基于Hadoop的地震數(shù)據(jù)處理方法,通過(guò)分布式并行計(jì)算的方式充分利用集群性能來(lái)提高數(shù)據(jù)存儲(chǔ)的冗余性和數(shù)據(jù)處理的高效性。面對(duì)這個(gè)問(wèn)題,本文首先提出了采用Hadoop的分布式框架來(lái)解決大數(shù)據(jù)帶來(lái)的數(shù)據(jù)計(jì)算壓力問(wèn)題的方案,將現(xiàn)有的多個(gè)服務(wù)器構(gòu)建成集群的方式形成分布式系統(tǒng)來(lái)實(shí)現(xiàn)并行計(jì)算,以其特有的MapReduce并行計(jì)算模型來(lái)實(shí)現(xiàn)數(shù)據(jù)分塊處理,通過(guò)這種方式來(lái)解決一臺(tái)工作站的性能瓶頸。進(jìn)而選用地震數(shù)據(jù)轉(zhuǎn)換這一任務(wù)案例來(lái)充分體現(xiàn)Hadoop在大數(shù)據(jù)環(huán)境下的處理優(yōu)勢(shì),采用不同處理方式進(jìn)行數(shù)據(jù)轉(zhuǎn)換效率分析,并將實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比,展現(xiàn)出Hadoop在大數(shù)據(jù)環(huán)境下處理的巨大優(yōu)勢(shì)。通過(guò)數(shù)據(jù)轉(zhuǎn)換案例的實(shí)驗(yàn)結(jié)果對(duì)比進(jìn)一步提出基于Hadoop的分布式并行架構(gòu)也適用于數(shù)據(jù)中心正在進(jìn)行的地震數(shù)據(jù)背景噪聲處理算法,并從接下來(lái)章節(jié)分別從數(shù)據(jù)存儲(chǔ)、查詢、提取各方面效率最大化來(lái)設(shè)計(jì)實(shí)現(xiàn)基于私有云計(jì)算的地震數(shù)據(jù)處理方法。在地震數(shù)據(jù)存儲(chǔ)方面,由于數(shù)據(jù)存儲(chǔ)在SAN磁盤中,所以其安全性和冗余性存在較大隱患,并且只能通過(guò)串行I/O方式進(jìn)行數(shù)據(jù)提取導(dǎo)致無(wú)法更好地滿足客戶端提取數(shù)據(jù)高效性的要求,因此提出了地震數(shù)據(jù)分布式存儲(chǔ)的方案。通過(guò)與RDBMS的對(duì)比,充分展現(xiàn)地震數(shù)據(jù)分布式存儲(chǔ)的各項(xiàng)優(yōu)勢(shì),進(jìn)而設(shè)計(jì)并實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)模式和相關(guān)機(jī)制方法。通過(guò)對(duì)Hadoop分布式數(shù)據(jù)庫(kù)HBase的研究,了解到數(shù)據(jù)分布式存儲(chǔ)引進(jìn)了影響客戶端查詢效率的問(wèn)題,所以,為了更高效地進(jìn)行后續(xù)地震數(shù)據(jù)處理環(huán)節(jié),進(jìn)一步仔細(xì)研究其影響查詢效率的因素,最終通過(guò)HBase擴(kuò)展的協(xié)處理器來(lái)實(shí)現(xiàn)數(shù)據(jù)表的二級(jí)索引查詢,提高客戶端數(shù)據(jù)查詢速度,有效地彌補(bǔ)了地震數(shù)據(jù)分布式存儲(chǔ)帶來(lái)的一些查詢方面的不足。解決查詢問(wèn)題的同時(shí),在數(shù)據(jù)分布式的存儲(chǔ)環(huán)境下進(jìn)一步設(shè)計(jì)并實(shí)現(xiàn)了基于MapReduce的地震數(shù)據(jù)快速提取,這一方案大大提高了客戶端通過(guò)傳統(tǒng)串行I/O方式進(jìn)行數(shù)據(jù)提取的效率,為下一步高效的進(jìn)行地震數(shù)據(jù)背景噪聲處理奠定基礎(chǔ)。在實(shí)現(xiàn)地震數(shù)據(jù)分布式存儲(chǔ)和基于MapReduce高效數(shù)據(jù)并行提取的條件下,最后一章設(shè)計(jì)并實(shí)現(xiàn)了基于私有云計(jì)算的地震數(shù)據(jù)背景噪聲處理算法,采用Hadoop集群模式進(jìn)行分布式并行處理,在實(shí)現(xiàn)的同時(shí)進(jìn)一步分析MapReduce作業(yè)節(jié)點(diǎn)對(duì)數(shù)據(jù)處理效率的影響因素,通過(guò)實(shí)驗(yàn)對(duì)比Hadoop與傳統(tǒng)串行方式的處理效率并得出相關(guān)結(jié)論。充分體現(xiàn)大數(shù)據(jù)環(huán)境下Hadoop的巨大優(yōu)勢(shì)。
[Abstract]:Seismic data is a kind of digital signal produced by crustal vibration , which is often used as a medium for exploring underground geotechnical structures and searching for oil and gas resources . The last chapter designs and implements the seismic data background noise processing algorithm based on private cloud computing , adopts the Hadoop cluster mode to carry out distributed parallel processing , and further analyzes the influence factors of the MapReduce operation node on the data processing efficiency , and compares Hadoop with the traditional serial mode through experiments to obtain the relevant conclusion . The great advantage of Hadoop under the large data environment is fully embodied .

【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：P631.44;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前5條

1 高少武,趙衛(wèi)峰,趙波,梁意文,陳世鴻;分布式地震數(shù)據(jù)處理系統(tǒng)研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2003年01期

2 李肯立;楊進(jìn);彭成斌;秦云川;;基于MPI+OpenMP混合模型的并行地震數(shù)據(jù)處理支撐庫(kù)的研究[J];計(jì)算機(jī)工程與科學(xué);2007年12期

3 和躍時(shí);地震數(shù)據(jù)處理中SHK和DBF格式文件互換技術(shù)[J];地震地磁觀測(cè)與研究;1998年06期

4 劉其成;鄭緯民;薛巍;孫立民;;時(shí)移地震數(shù)據(jù)處理中基于mobile agent的并行相位校正[J];計(jì)算機(jī)應(yīng)用研究;2010年01期

5 朱桂蘭;地震數(shù)據(jù)處理中Turbo　C與Foxbase（Dbase）的接口技術(shù)[J];地震地磁觀測(cè)與研究;1994年03期

相關(guān)會(huì)議論文 前10條

1 唐剛;馬堅(jiān)偉;楊慧珠;;壓縮采樣及其在地震數(shù)據(jù)處理中的應(yīng)用[A];中國(guó)地球物理·2009[C];2009年

2 趙改善;;21世紀(jì)的地震數(shù)據(jù)處理系統(tǒng)[A];2001年中國(guó)地球物理學(xué)會(huì)年刊——中國(guó)地球物理學(xué)會(huì)第十七屆年會(huì)論文集[C];2001年

3 陳超;何登科;任孟莉;冀瑞君;;地震數(shù)據(jù)處理質(zhì)量監(jiān)控研究[A];中國(guó)地球物理2013——第二十四專題論文集[C];2013年

4 王秀閩;劉洪;劉永江;宋亮;孟小紅;;地震數(shù)據(jù)處理系統(tǒng)中交互作業(yè)編輯與運(yùn)行[A];中國(guó)科學(xué)院地質(zhì)與地球物理研究所2007學(xué)術(shù)論文匯編(第六卷)[C];2008年

5 葛維亮;庹先國(guó);李懷良;王洪輝;張賡;葛寶;;地震數(shù)據(jù)處理的可配置數(shù)字濾波器研究[A];中國(guó)地球物理2010——中國(guó)地球物理學(xué)會(huì)第二十六屆年會(huì)、中國(guó)地震學(xué)會(huì)第十三次學(xué)術(shù)大會(huì)論文集[C];2010年

6 陳忠煥;陸文凱;;反射系數(shù)估計(jì)的快速L1范數(shù)優(yōu)化算法[A];中國(guó)地球物理·2009[C];2009年

7 韓佳君;韓立國(guó);;Curvelet變換域K-L變換去噪方法研究[A];中國(guó)地球物理·2009[C];2009年

8 張宏;羅濤;孫耀華;唐曉川;李世紅;張國(guó)欽;任軍戰(zhàn);;ALPHA／GRISYS地震數(shù)據(jù)處理系統(tǒng)的應(yīng)用[A];1995年中國(guó)地球物理學(xué)會(huì)第十一屆學(xué)術(shù)年會(huì)論文集[C];1995年

9 于建華;楊長(zhǎng)春;李幼銘;;適用于迭前處理的數(shù)據(jù)內(nèi)插方法及應(yīng)用[A];1996年中國(guó)地球物理學(xué)會(huì)第十二屆學(xué)術(shù)年會(huì)論文集[C];1996年

10 王者江;石戰(zhàn)結(jié);曾昭發(fā);;ProMax系統(tǒng)處理探地雷達(dá)數(shù)據(jù)[A];中國(guó)地球物理學(xué)會(huì)第二十屆年會(huì)論文集[C];2004年

相關(guān)重要報(bào)紙文章 前6條

1 物新;地震數(shù)據(jù)處理專家趙波[N];中國(guó)石油報(bào);2001年

2 賈亞軍　許濤 塔依爾·伊布拉音 楊敏;石油地震數(shù)據(jù)中心轉(zhuǎn)向綠色[N];計(jì)算機(jī)世界;2009年

3 劉冀人;著名地震數(shù)據(jù)處理專家劉超穎[N];中國(guó)石油報(bào);2001年

4 通訊員　祝寬海;GRISYSV8.0地震處理系統(tǒng)通過(guò)驗(yàn)收[N];中國(guó)石油報(bào);2006年

5 記者 劉曉飛 通訊員 韓梅;GeoEastV1.0：欲與洋品牌試比高[N];中國(guó)石油報(bào);2005年

6 周宏;國(guó)產(chǎn)石油勘探軟件出手不凡[N];中國(guó)礦業(yè)報(bào);2001年

相關(guān)博士學(xué)位論文 前2條

1 徐冰;隨鉆地震數(shù)據(jù)處理系統(tǒng)軟件體系結(jié)構(gòu)研究[D];中國(guó)海洋大學(xué);2013年

2 袁修貴;多分辨分析理論與深度成像和地震數(shù)據(jù)處理[D];中南大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 吳昊;遼河地區(qū)地震數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2016年

2 王鑫;基于Hadoop的地震數(shù)據(jù)處理方法[D];吉林大學(xué);2017年

3 余惠梅;地震數(shù)據(jù)處理虛擬仿真的后端實(shí)現(xiàn)[D];長(zhǎng)江大學(xué);2017年

4 陳曦;適用于地震數(shù)據(jù)處理的分布式執(zhí)行控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

5 張?zhí)m蘭;τ-p變換在地震數(shù)據(jù)處理中的研究應(yīng)用[D];中國(guó)地質(zhì)大學(xué)（北京）;2011年

6 彭俊杰;基于CUDA平臺(tái)地震數(shù)據(jù)處理研究[D];湖南大學(xué);2009年

7 劉爽;基于CEEMD的地震數(shù)據(jù)處理研究與應(yīng)用[D];吉林大學(xué);2014年

8 嚴(yán)蓉;MPS海量地震數(shù)據(jù)處理的質(zhì)量控制與分析[D];中國(guó)地質(zhì)大學(xué)（北京）;2009年

9 楊進(jìn);地震數(shù)據(jù)處理中的并行計(jì)算技術(shù)研究[D];湖南大學(xué);2008年

10 齊雪生;并行地震數(shù)據(jù)處理支撐系統(tǒng)研究[D];湖南大學(xué);2007年

，

本文編號(hào)：1359080