現(xiàn)代社會(huì)隨著科學(xué)技術(shù)不斷地進(jìn)步發(fā)展,互聯(lián)網(wǎng)的不斷普及,人們逐漸了解了云這個(gè)全新的定義。伴隨著云時(shí)代的到來,大數(shù)據(jù)也同樣進(jìn)入了人們的視線。信息技術(shù)的長足進(jìn)步,大數(shù)據(jù)的應(yīng)用已涉及到了社會(huì)的各行各業(yè)。其中在地震勘探方面,為了滿足社會(huì)的需求,地震勘探所產(chǎn)生的數(shù)據(jù)量也在大幅增長,海量數(shù)據(jù)的產(chǎn)生雖然很好地反映了社會(huì)對(duì)石油、天然氣等資源的極大需求,但是大規(guī)模的數(shù)據(jù)的處理問題也給地震勘探行業(yè)帶來嚴(yán)峻的挑戰(zhàn)。 地震勘探產(chǎn)生的海量數(shù)據(jù)所帶來的問題是多方面的,包括存儲(chǔ)、讀取、冗余、抽取等。本文重點(diǎn)針對(duì)數(shù)據(jù)的存儲(chǔ)與讀取兩個(gè)方面。 在實(shí)際情況中,讀取地震數(shù)據(jù)需要考慮用戶的具體情況,滿足用戶的需求,這一般體現(xiàn)在讀取數(shù)據(jù)的速度和效率方面,同時(shí)還需要考慮到地震數(shù)據(jù)本身的特點(diǎn)。本文針對(duì)這些方面設(shè)計(jì)了一種架構(gòu),采用分布和分級(jí)的策略。分布即對(duì)地震數(shù)據(jù)的分布式存儲(chǔ)：把大量的地震數(shù)據(jù)分散到各個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行存儲(chǔ),同時(shí)通過一個(gè)主節(jié)點(diǎn)對(duì)這些數(shù)據(jù)節(jié)點(diǎn)進(jìn)行管理；分級(jí)即數(shù)據(jù)的分級(jí)查詢：從主節(jié)點(diǎn)到數(shù)據(jù)節(jié)點(diǎn),分級(jí)地對(duì)所需要的數(shù)據(jù)進(jìn)行查詢,進(jìn)而得到用戶所需要的數(shù)據(jù)。 本文在此架構(gòu)的基礎(chǔ)上,針對(duì)地震勘探數(shù)據(jù)本身的存儲(chǔ)格式即SEG-Y格式,以該格式...

【文章頁數(shù)】：78 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 引言
    1.2 研究背景
    1.3 本文主要工作
第2章 地震勘探以及相關(guān)現(xiàn)狀分析
    2.1 石油勘探簡介
    2.2 地震勘探原理
    2.3 地震勘探的現(xiàn)狀
    2.4 地震勘探面臨的問題
        2.4.1 大數(shù)據(jù)環(huán)境下的問題
        2.4.2 用戶需求的問題
        2.4.3 地震勘探現(xiàn)有方案的問題
    2.5 本章小結(jié)
第3章 分布與分級(jí)式架構(gòu)基礎(chǔ)
    3.1 地震數(shù)據(jù)特點(diǎn)
    3.2 地震數(shù)據(jù)格式
        3.2.1 地震數(shù)據(jù)格式SEG-Y簡介
        3.2.2 地震數(shù)據(jù)格式的改進(jìn)
    3.3 分布式與分級(jí)式
        3.3.1 分布式與分級(jí)式策略
        3.3.2 分布式與分級(jí)式系統(tǒng)設(shè)計(jì)
    3.4 系統(tǒng)其他設(shè)計(jì)細(xì)節(jié)
        3.4.1 索引
        3.4.2 預(yù)讀
        3.4.3 系統(tǒng)工作過程
    3.5 本章小結(jié)
第4章 基于Fast DFS的地震數(shù)據(jù)系統(tǒng)的設(shè)計(jì)
    4.1 分布式文件系統(tǒng)Fast DFS
        4.1.1 Fast DFS簡介
        4.1.2 Fast DFS架構(gòu)特點(diǎn)
        4.1.3 Fast DFS的工作流程
        4.1.4 Fast DFS文件名策略
    4.2 針對(duì)地震勘探數(shù)據(jù)的Fast DFS——BDSS
        4.2.1 Fast DFS在地震勘探數(shù)據(jù)處理中的優(yōu)勢(shì)
        4.2.2 通信協(xié)議
        4.2.3 兩級(jí)索引實(shí)現(xiàn)
    4.3 系統(tǒng)測(cè)試
        4.3.1 文件上傳測(cè)試
        4.3.2 文件下載測(cè)試
    4.4 性能與效率對(duì)比
        4.4.1 集群配置
        4.4.2 測(cè)試過程
        4.4.3 結(jié)果分析
    4.5 本章小結(jié)
第5章 基于Hadoop DFS的地震數(shù)據(jù)系統(tǒng)的設(shè)計(jì)
    5.1 Hadoop
        5.1.1 Hadoop簡介
        5.1.2 Hadoop現(xiàn)狀
        5.1.3 Hadoop組成
    5.2 Hadoop分布式文件系統(tǒng)HDFS
        5.2.1 HDFS簡介
        5.2.2 HDFS架構(gòu)
        5.2.3 HDFS數(shù)據(jù)副本策略與RPC協(xié)議
        5.2.4 HDFS數(shù)據(jù)流程與機(jī)制
    5.3 HDFS小文件問題研究
        5.3.1 HDFS小文件問題概述
        5.3.2 基于地震數(shù)據(jù)的小文件合并策略
    5.4 針對(duì)地震勘探數(shù)據(jù)的HDFS——SHDFS
        5.4.1 概述
        5.4.2 相關(guān)Java文件類
        5.4.3 文件合并與兩級(jí)索引的創(chuàng)建
    5.5 相關(guān)測(cè)試與性能對(duì)比
        5.5.1 小文件合并測(cè)試
        5.5.2 系統(tǒng)運(yùn)行demo
        5.5.3 性能對(duì)比
    5.6 本章小結(jié)
第6章 總結(jié)與展望
參考文獻(xiàn)
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果



本文編號(hào)：3903028