本文選題：SDFS　切入點(diǎn)：地震數(shù)據(jù)　出處：《中國(guó)科學(xué)技術(shù)大學(xué)》2015年碩士論文

【摘要】：近年來(lái),得益于人類(lèi)社會(huì)對(duì)石油的需求,石油勘探技術(shù)也在飛速發(fā)展。地震勘探是進(jìn)行石油勘探的主要的方法,隨著地震勘探技術(shù)在地震數(shù)據(jù)采集、資料處理和資料解釋方面不斷創(chuàng)新,地震勘探所產(chǎn)生的數(shù)據(jù)也在海量增長(zhǎng)。目前,人們針對(duì)這些海量的數(shù)據(jù)計(jì)算發(fā)展了高性能計(jì)算,使得地震數(shù)據(jù)處理速度越來(lái)越快,但是地震數(shù)據(jù)處理過(guò)程中數(shù)據(jù)讀取的I0瓶頸嚴(yán)重阻礙了數(shù)據(jù)的處理速度。因此,如何提高地震數(shù)據(jù)的讀取速度成了一個(gè)亟待解決的問(wèn)題。目前針對(duì)地震數(shù)據(jù)10瓶頸的問(wèn)題,做法多是采用分布式文件系統(tǒng)作為存儲(chǔ)系統(tǒng)。每種分布式文件系統(tǒng)的存儲(chǔ)特點(diǎn)是不一樣的,如HDFS適合大文件的存儲(chǔ),并且對(duì)大文件讀取進(jìn)行了優(yōu)化,又如Fast DFS適合小文件的存儲(chǔ)。而地震數(shù)據(jù)的讀取特點(diǎn)是塊小量大,即讀取的粒度小但讀取量大。目前的分布式系統(tǒng)并沒(méi)有與地震數(shù)據(jù)讀取特點(diǎn)相吻合的讀取模式,因而地震數(shù)據(jù)讀取的10瓶頸問(wèn)題仍存在。本文通過(guò)研究地震數(shù)據(jù)處理的主要數(shù)據(jù)格式SEGY的格式特點(diǎn)以及一般地震數(shù)據(jù)的處理流程,分析出目前地震數(shù)據(jù)處理遇到10瓶頸的原因,實(shí)現(xiàn)了一種基于Fast DFS的地震數(shù)據(jù)存儲(chǔ)系統(tǒng)即SDFS(Seismic Data File System)系統(tǒng)。該系統(tǒng)實(shí)現(xiàn)了解決地震數(shù)據(jù)讀取10瓶頸的方案。該方案為:首先,通過(guò)將地震數(shù)據(jù)文件以道為單位的分塊存儲(chǔ),提高了數(shù)據(jù)的讀取效率;其次,通過(guò)將文件宏塊再分塊,并使用并行磁盤(pán)讀取技術(shù)來(lái)提高了地震數(shù)據(jù)的讀取速度;最后還提出了針對(duì)系統(tǒng)數(shù)據(jù)儲(chǔ)可靠性的研究,即通過(guò)完整備份的方式增加系統(tǒng)可靠性。為了證明該方案的有效性,本文實(shí)現(xiàn)了 SDFS系統(tǒng)并對(duì)系統(tǒng)的主要功能進(jìn)行了設(shè)計(jì),然后進(jìn)行了兩組地震數(shù)據(jù)讀取的實(shí)驗(yàn)。實(shí)驗(yàn)一測(cè)試了并行磁盤(pán)讀取技術(shù)的有效性,實(shí)驗(yàn)結(jié)果顯示,當(dāng)每個(gè)節(jié)點(diǎn)硬盤(pán)數(shù)據(jù)量增加時(shí)系統(tǒng)的讀取性能增加,速度幾乎與磁盤(pán)數(shù)量成正比;當(dāng)數(shù)據(jù)塊大小增加時(shí),對(duì)順序讀有利而減小則對(duì)隨機(jī)讀有利。實(shí)驗(yàn)二則用對(duì)比實(shí)驗(yàn)的方式進(jìn)行了系統(tǒng)的讀取性能測(cè)試,對(duì)比的系統(tǒng)為Fast DFS,測(cè)試結(jié)果為SDFS系統(tǒng)的順序讀和隨機(jī)讀性能都要明顯優(yōu)于Fast DFS。綜合兩次實(shí)驗(yàn)結(jié)果可知,本文提出的SDFS系統(tǒng)能夠幫助改善地震數(shù)據(jù)讀取的10性能。
[Abstract]:In recent years, petroleum exploration technology has been developing rapidly because of the demand for oil in human society. Seismic exploration is the main method of petroleum exploration, and with seismic exploration technology in seismic data acquisition, Data processing and data interpretation are constantly innovating, and the data generated by seismic exploration are also increasing. At present, people have developed high-performance computing for these massive data calculations, which has made seismic data processing faster and faster. However, in the process of seismic data processing, the I _ 0 bottleneck of data reading seriously hinders the speed of data processing. Therefore, how to improve the speed of seismic data reading has become a problem to be solved. Distributed file system is used as storage system. The storage characteristics of each distributed file system are different. For example, HDFS is suitable for large file storage, and the large file reading is optimized. For example, Fast DFS is suitable for the storage of small files. However, the reading of seismic data is characterized by a small number of blocks, that is, small granularity but large amount of reading. The current distributed system does not have a reading mode consistent with the characteristics of seismic data reading. Therefore, the 10-bottleneck problem of seismic data reading still exists. By studying the format characteristics of SEGY, the main data format of seismic data processing and the processing flow of general seismic data, this paper analyzes the causes of the 10 bottleneck in seismic data processing. A seismic data storage system based on Fast DFS, that is, SDFS(Seismic Data File system, is implemented in this system, which solves the 10 bottleneck problem of seismic data reading. The scheme is as follows: firstly, the seismic data file is stored in blocks with trace as the unit. The efficiency of data reading is improved. Secondly, the read speed of seismic data is improved by dividing the macro blocks of files into blocks and using parallel disk reading technology. Finally, the research on the reliability of data storage in the system is put forward. In order to prove the validity of the scheme, the SDFS system is realized and the main functions of the system are designed. Then two groups of seismic data reading experiments are carried out. Experiment 1 tests the effectiveness of the parallel disk reading technology. The experimental results show that the reading performance of the system increases with the increase of hard disk data at each node. The speed is almost proportional to the number of disks; when the size of the data block increases, it is advantageous to read at random while it is beneficial to sequential reading. The compared system is Fast DFS.The test results show that the sequential and random reading performance of SDFS system is obviously better than that of Fast DFS.The results of two experiments show that the SDFS system presented in this paper can help to improve the 10 performance of seismic data reading.
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：P631.43;TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李二補(bǔ);;數(shù)據(jù)存儲(chǔ)系統(tǒng)中可靠性及容錯(cuò)性研究[J];山西科技;2010年01期

2 王冰冰;;數(shù)據(jù)存儲(chǔ)系統(tǒng)安全淺析[J];科技廣場(chǎng);2012年04期

3 林磊;利用超導(dǎo)渦旋的數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];物理;1982年04期

4 沈兆龍;江兵;蔡建文;徐敏;黃文浩;;雙光頭多層數(shù)據(jù)存儲(chǔ)系統(tǒng)同步聚焦誤差檢測(cè)[J];光學(xué)學(xué)報(bào);2007年04期

5 ;南安普頓大學(xué)研究人員開(kāi)發(fā)永久性數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];中國(guó)光學(xué);2014年02期

6 劉鵬曦;許王燕;;一種冗余地理數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];大眾科技;2014年01期

7 姚乾;嚴(yán)華;;YAFFS在雨水情遙測(cè)終端數(shù)據(jù)存儲(chǔ)系統(tǒng)中的改進(jìn)[J];人民長(zhǎng)江;2013年17期

8 張舟斌;左維;李春來(lái);;基于SAN的繞月探測(cè)工程數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)[J];天文研究與技術(shù);2007年04期

9 馬慶鋒;王芳;;基于CF卡的數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];山東科學(xué);2008年03期

10 盧雪萍;任沙浦;;基于SDRAM的視頻數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];紹興文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年03期

相關(guān)會(huì)議論文 前10條

1 江楊;;流數(shù)據(jù)存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)研究[A];2007中國(guó)科協(xié)年會(huì)——通信與信息發(fā)展高層論壇論文集[C];2007年

2 章政海;;電廠數(shù)據(jù)存儲(chǔ)系統(tǒng)總體構(gòu)架研究[A];二○○九年全國(guó)電力企業(yè)信息化大會(huì)論文集[C];2009年

3 李非;邱天爽;遲戈;魏晶;;高速數(shù)據(jù)存儲(chǔ)在CT成像系統(tǒng)中的應(yīng)用研究[A];2008年醫(yī)療儀器學(xué)術(shù)年會(huì)暨理事會(huì)論文匯編[C];2008年

4 孫偉家;符力耘;;基于炮域單程波偏移的角度域共成像點(diǎn)道集方法研究[A];中國(guó)地球物理學(xué)會(huì)第二十七屆年會(huì)論文集[C];2011年

5 朱莉;李振春;;角度域共成像點(diǎn)道集的提取與疊加成像[A];中國(guó)地球物理學(xué)會(huì)第二十四屆年會(huì)論文集[C];2008年

6 徐嘉亮;常旭;王一博;;角道集剩余深度對(duì)于剩余速度的敏感性分析[A];中國(guó)地球物理2013——第二十二專(zhuān)題論文集[C];2013年

7 王文龍;印興耀;張廣智;;基于射線理論的角度道集提取方法研究[A];中國(guó)地球物理學(xué)會(huì)第二十七屆年會(huì)論文集[C];2011年

8 王園園;李振春;;復(fù)雜地質(zhì)條件下角度域共成像點(diǎn)道集提取方法[A];中國(guó)地球物理學(xué)會(huì)第二十七屆年會(huì)論文集[C];2011年

9 陳生昌;Wu Ru-Shan;;波動(dòng)方程角度域共成像道集[A];中國(guó)地球物理學(xué)會(huì)第22屆年會(huì)論文集[C];2006年

10 王海寧;姚陳;蔡明剛;;陸地反射PS波不同軸道集方法的靜校問(wèn)題[A];中國(guó)地球物理2010——中國(guó)地球物理學(xué)會(huì)第二十六屆年會(huì)、中國(guó)地震學(xué)會(huì)第十三次學(xué)術(shù)大會(huì)論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 惠聞;SAN應(yīng)用不再難[N];網(wǎng)絡(luò)世界;2000年

2 ;SAN——高瞻者的選擇[N];網(wǎng)絡(luò)世界;2001年

3 ;傳統(tǒng)存儲(chǔ)方式 面臨變革[N];中國(guó)計(jì)算機(jī)報(bào);2004年

4 ;突破存儲(chǔ)的極限[N];中國(guó)電腦教育報(bào);2004年

5 ;惠普簡(jiǎn)化行業(yè)數(shù)據(jù)存儲(chǔ)系統(tǒng)[N];人民郵電;2005年

6 ;青島大學(xué)醫(yī)學(xué)院附屬醫(yī) Centera 應(yīng)用案例[N];中國(guó)電子報(bào);2005年

7 陳旭兵;岳陽(yáng)醫(yī)院“分級(jí)存儲(chǔ)”P(pán)ACS構(gòu)建[N];網(wǎng)絡(luò)世界;2008年

8 程鴻;政府信息資源需層次化管理[N];計(jì)算機(jī)世界;2004年

9 劉燕;福建采購(gòu)工商管理系統(tǒng)信息建設(shè)項(xiàng)目[N];政府采購(gòu)信息報(bào);2008年

10 IBM存儲(chǔ)事業(yè)部 張英偉;用邏輯卷鏡像安全備份[N];中國(guó)計(jì)算機(jī)報(bào);2006年

相關(guān)博士學(xué)位論文 前3條

1 陳海霞;計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)系統(tǒng)中讀寫(xiě)頭/盤(pán)間超薄氣膜動(dòng)力穩(wěn)定性研究[D];華中科技大學(xué);2004年

2 劉守偉;角度域共成像點(diǎn)道集及偏移速度分析[D];同濟(jì)大學(xué);2007年

3 符云輝;《諸儒鳴道集》述評(píng)[D];復(fù)旦大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 林潘榕;基于連接順序優(yōu)化的分布式能耗數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

2 朱偉健;基于數(shù)據(jù)屬性的大數(shù)據(jù)存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

3 馬浩田;基于HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2015年

4 夏云;非結(jié)構(gòu)化大數(shù)據(jù)存儲(chǔ)系統(tǒng)安全性增強(qiáng)技術(shù)研究[D];電子科技大學(xué);2015年

5 李啟芳;成工職校校園網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與應(yīng)用[D];電子科技大學(xué);2014年

6 韓亮;手機(jī)售后維修管理及其數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

7 單若琦;一種基于OpenTSDB的海量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)[D];華南理工大學(xué);2016年

8 徐迪迪;面向分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)可靠性的評(píng)估與增強(qiáng)技術(shù)研究[D];西安電子科技大學(xué);2015年

9 劉松;基于分布式的海量圖片數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D];深圳大學(xué);2016年

10 黎沛春;面向大數(shù)據(jù)存儲(chǔ)系統(tǒng)的故障檢測(cè)技術(shù)研究[D];華南理工大學(xué);2016年

，

本文編號(hào)：1658107