在石油勘探、遙感等領域中,海量數(shù)據(jù)文件經(jīng)常以TB數(shù)量級別出現(xiàn)。在存儲的過程中,時常由于單一存儲設備的容量不足而導致海量數(shù)據(jù)文件無法存儲,只能通過添加新的存儲設備解決問題。當前許多技術都提供了將多個盤陣處理為一個虛擬盤的功能,以適應對TB級數(shù)據(jù)的存儲。但這仍然不能避免多個存儲系統(tǒng)中的“邊緣”數(shù)據(jù)存儲的問題,即一個磁盤系統(tǒng)剩余容量只能存儲地震數(shù)據(jù)的一部分。其次,多種存儲設備(例如磁帶機)存儲方法不同,造成在存儲海量數(shù)據(jù)時不能統(tǒng)一有效的進行存儲,而是需要通過轉錄等形式,降低了存儲設備的存儲效率,極大的影響了企業(yè)的工作效率。集群環(huán)境下,海量數(shù)據(jù)的存儲還依賴于節(jié)點間高效的任務調度,資源的使用越平衡,作業(yè)響應時間就越短。所以一個適合的節(jié)點間任務調度算法對于縮短作業(yè)平均響應時間,提高節(jié)點資源平均使用效率進而提高海量數(shù)據(jù)存儲性能有著非常重要的作用。 由于以上的原因,相關領域中亟需要一種在集群環(huán)境下能夠對海量數(shù)據(jù)進行存儲管理的模型機制。在這種模型機制中,各種介質存儲設備將進行統(tǒng)一存儲、海量數(shù)據(jù)將跨盤跨介質存儲并且采用高效的任務調度算法以縮短作業(yè)平均響應時間,提高存儲效率。提出相應的跨盤存儲方法和調度算法...

【文章頁數(shù)】：62 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
創(chuàng)新點摘要
目錄
第一章 緒論
    1.1 海量數(shù)據(jù)存儲機制的意義
    1.2 課題研究現(xiàn)狀
        1.2.1 海量數(shù)據(jù)跨盤存儲研究現(xiàn)狀
        1.2.2 集群環(huán)境下負載平衡算法研究現(xiàn)狀
    1.3 本文的研究任務
        1.3.1 研究目標
        1.3.2 研究任務
        1.3.3 論文結構
    1.4 本章小結
第二章 多介質存儲設備統(tǒng)一存儲機制
    2.1 概述
    2.2 多介質存儲設備統(tǒng)一存儲體系結構
    2.3 多介質存儲設備統(tǒng)一存儲驅動層—管道解決方案
        2.3.1 管道和進程介紹
        2.3.2 管道驅動解決方案
    2.4 多介質存儲設備統(tǒng)一存儲驅動層—系統(tǒng)調用解決方案
        2.4.1 系統(tǒng)調用介紹
        2.4.2 系統(tǒng)調用驅動解決方案
    2.5 驅動層解決方案的對比
        2.5.1 緩沖區(qū)
        2.5.2 數(shù)據(jù)安全
    2.6 多介質存儲設備統(tǒng)一存儲方法層
    2.7 本章小結
第三章 海量數(shù)據(jù)跨盤存儲機制
    3.1 概述
    3.2 海量數(shù)據(jù)跨盤存儲機制的體系架構
        3.2.1 用戶配置跨盤信息模塊
        3.2.2 跨盤文件信息模塊
        3.2.3 海量數(shù)據(jù)跨盤存儲策略
    3.3 海量數(shù)據(jù)跨盤存儲機制的實現(xiàn)
    3.4 本章小結
第四章 集群環(huán)境下節(jié)點間負載平衡
    4.1 概述
    4.2 一種存儲集群的任務調度算法和負載平衡策略
        4.2.1 集群環(huán)境概述
        4.2.2 負載平衡策略
        4.2.3 任務調度算法
        4.2.4 任務再分配
        4.2.5 性能分析
    4.3 本章小結
第五章 原型系統(tǒng)設計與實現(xiàn)
    5.1 海量數(shù)據(jù)跨盤存儲機制系統(tǒng)原型
    5.2 海量數(shù)據(jù)跨盤統(tǒng)一存儲方法
        5.2.1 lf_open(打開文件)
        5.2.2 lf_close(關閉文件)
        5.2.3 lf_read(由已打開的文件讀取數(shù)據(jù))
        5.2.4 lf_write(將數(shù)據(jù)寫入已打開的文件內)
        5.2.5 lf_lseek(移動文件的讀寫位置)
        5.2.6 lf_del(刪除文件)
    5.3 海量數(shù)據(jù)跨盤存儲方法測試
        5.3.1 測試概述
        5.3.2 測試方案
        5.3.3 測試結果
    5.4 集群任務調度算法測試
    5.5 本章小結
結論
參考文獻
發(fā)表文章目錄
致謝
詳細摘要



本文編號：3839741