在石油勘探、遙感等領(lǐng)域中,海量數(shù)據(jù)文件經(jīng)常以TB數(shù)量級(jí)別出現(xiàn)。在存儲(chǔ)的過程中,時(shí)常由于單一存儲(chǔ)設(shè)備的容量不足而導(dǎo)致海量數(shù)據(jù)文件無法存儲(chǔ),只能通過添加新的存儲(chǔ)設(shè)備解決問題。當(dāng)前許多技術(shù)都提供了將多個(gè)盤陣處理為一個(gè)虛擬盤的功能,以適應(yīng)對(duì)TB級(jí)數(shù)據(jù)的存儲(chǔ)。但這仍然不能避免多個(gè)存儲(chǔ)系統(tǒng)中的“邊緣”數(shù)據(jù)存儲(chǔ)的問題,即一個(gè)磁盤系統(tǒng)剩余容量只能存儲(chǔ)地震數(shù)據(jù)的一部分。其次,多種存儲(chǔ)設(shè)備(例如磁帶機(jī))存儲(chǔ)方法不同,造成在存儲(chǔ)海量數(shù)據(jù)時(shí)不能統(tǒng)一有效的進(jìn)行存儲(chǔ),而是需要通過轉(zhuǎn)錄等形式,降低了存儲(chǔ)設(shè)備的存儲(chǔ)效率,極大的影響了企業(yè)的工作效率。集群環(huán)境下,海量數(shù)據(jù)的存儲(chǔ)還依賴于節(jié)點(diǎn)間高效的任務(wù)調(diào)度,資源的使用越平衡,作業(yè)響應(yīng)時(shí)間就越短。所以一個(gè)適合的節(jié)點(diǎn)間任務(wù)調(diào)度算法對(duì)于縮短作業(yè)平均響應(yīng)時(shí)間,提高節(jié)點(diǎn)資源平均使用效率進(jìn)而提高海量數(shù)據(jù)存儲(chǔ)性能有著非常重要的作用。 由于以上的原因,相關(guān)領(lǐng)域中亟需要一種在集群環(huán)境下能夠?qū)Ａ繑?shù)據(jù)進(jìn)行存儲(chǔ)管理的模型機(jī)制。在這種模型機(jī)制中,各種介質(zhì)存儲(chǔ)設(shè)備將進(jìn)行統(tǒng)一存儲(chǔ)、海量數(shù)據(jù)將跨盤跨介質(zhì)存儲(chǔ)并且采用高效的任務(wù)調(diào)度算法以縮短作業(yè)平均響應(yīng)時(shí)間,提高存儲(chǔ)效率。提出相應(yīng)的跨盤存儲(chǔ)方法和調(diào)度算法...

【文章頁數(shù)】：62 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
創(chuàng)新點(diǎn)摘要
目錄
第一章 緒論
    1.1 海量數(shù)據(jù)存儲(chǔ)機(jī)制的意義
    1.2 課題研究現(xiàn)狀
        1.2.1 海量數(shù)據(jù)跨盤存儲(chǔ)研究現(xiàn)狀
        1.2.2 集群環(huán)境下負(fù)載平衡算法研究現(xiàn)狀
    1.3 本文的研究任務(wù)
        1.3.1 研究目標(biāo)
        1.3.2 研究任務(wù)
        1.3.3 論文結(jié)構(gòu)
    1.4 本章小結(jié)
第二章 多介質(zhì)存儲(chǔ)設(shè)備統(tǒng)一存儲(chǔ)機(jī)制
    2.1 概述
    2.2 多介質(zhì)存儲(chǔ)設(shè)備統(tǒng)一存儲(chǔ)體系結(jié)構(gòu)
    2.3 多介質(zhì)存儲(chǔ)設(shè)備統(tǒng)一存儲(chǔ)驅(qū)動(dòng)層—管道解決方案
        2.3.1 管道和進(jìn)程介紹
        2.3.2 管道驅(qū)動(dòng)解決方案
    2.4 多介質(zhì)存儲(chǔ)設(shè)備統(tǒng)一存儲(chǔ)驅(qū)動(dòng)層—系統(tǒng)調(diào)用解決方案
        2.4.1 系統(tǒng)調(diào)用介紹
        2.4.2 系統(tǒng)調(diào)用驅(qū)動(dòng)解決方案
    2.5 驅(qū)動(dòng)層解決方案的對(duì)比
        2.5.1 緩沖區(qū)
        2.5.2 數(shù)據(jù)安全
    2.6 多介質(zhì)存儲(chǔ)設(shè)備統(tǒng)一存儲(chǔ)方法層
    2.7 本章小結(jié)
第三章 海量數(shù)據(jù)跨盤存儲(chǔ)機(jī)制
    3.1 概述
    3.2 海量數(shù)據(jù)跨盤存儲(chǔ)機(jī)制的體系架構(gòu)
        3.2.1 用戶配置跨盤信息模塊
        3.2.2 跨盤文件信息模塊
        3.2.3 海量數(shù)據(jù)跨盤存儲(chǔ)策略
    3.3 海量數(shù)據(jù)跨盤存儲(chǔ)機(jī)制的實(shí)現(xiàn)
    3.4 本章小結(jié)
第四章 集群環(huán)境下節(jié)點(diǎn)間負(fù)載平衡
    4.1 概述
    4.2 一種存儲(chǔ)集群的任務(wù)調(diào)度算法和負(fù)載平衡策略
        4.2.1 集群環(huán)境概述
        4.2.2 負(fù)載平衡策略
        4.2.3 任務(wù)調(diào)度算法
        4.2.4 任務(wù)再分配
        4.2.5 性能分析
    4.3 本章小結(jié)
第五章 原型系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    5.1 海量數(shù)據(jù)跨盤存儲(chǔ)機(jī)制系統(tǒng)原型
    5.2 海量數(shù)據(jù)跨盤統(tǒng)一存儲(chǔ)方法
        5.2.1 lf_open(打開文件)
        5.2.2 lf_close(關(guān)閉文件)
        5.2.3 lf_read(由已打開的文件讀取數(shù)據(jù))
        5.2.4 lf_write(將數(shù)據(jù)寫入已打開的文件內(nèi))
        5.2.5 lf_lseek(移動(dòng)文件的讀寫位置)
        5.2.6 lf_del(刪除文件)
    5.3 海量數(shù)據(jù)跨盤存儲(chǔ)方法測(cè)試
        5.3.1 測(cè)試概述
        5.3.2 測(cè)試方案
        5.3.3 測(cè)試結(jié)果
    5.4 集群任務(wù)調(diào)度算法測(cè)試
    5.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
發(fā)表文章目錄
致謝
詳細(xì)摘要



本文編號(hào)：3839741