隨著人類活動空間的拓展,實驗手段的豐富,測量儀器的進步,在很多領(lǐng)域產(chǎn)生了海量數(shù)據(jù),網(wǎng)絡(luò)的廣泛應(yīng)用更是加劇了數(shù)據(jù)的膨脹速度。面對日益增長的海量數(shù)據(jù),數(shù)據(jù)的處理和存儲變成一個非常棘手的問題。在海量數(shù)據(jù)研究的過程中,需要用于計算處理的數(shù)據(jù)動輒幾十TB甚至上百TB,一般的計算機集群顯然不能滿足需求,我們需要利用大規(guī)模超級并行計算系統(tǒng)來處理日益增長的海量數(shù)據(jù)。當今超級計算機迅猛發(fā)展,但其所面臨的計算能力與存儲能力之間的差距未能得到有效的解決。首先是I/O帶寬的問題,隨著單核CPU處理能力和CPU數(shù)量規(guī)模的快速增長,在高性能計算系統(tǒng)中,I/O帶寬增長緩慢并與CPU處理能力之間的差距持續(xù)擴大,I/O帶寬越來越顯著的成為高性能計算系統(tǒng)的性能瓶頸。其次是可擴展性問題,高性能計算機一般通過增加計算資源規(guī)模來獲得性能的提升,而這一規(guī)則不適用于存儲系統(tǒng),分布式文件系統(tǒng)所能支持的客戶端數(shù)量是有限的,因此規(guī)模不可以無限制的擴展。目前I/O轉(zhuǎn)發(fā)（I/O Forwarding）架構(gòu),被廣泛應(yīng)用于大規(guī)模超級并行計算系統(tǒng),用來解決高性能計算當中的可擴展性問題,比如,IBM的Blue Gene/P超級計算機和Cray XT... 

【文章來源】：國防科技大學湖南省 211工程院校 985工程院校

【文章頁數(shù)】：75 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 課題背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文的思路和主要工作
    1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)研究
    2.1 高性能計算系統(tǒng)I/O架構(gòu)
    2.2 存儲設(shè)備的I/O特性
        2.2.1 硬盤驅(qū)動器（HDD）
        2.2.2 磁盤陣列（RAID）
        2.2.3 固態(tài)硬盤（SSD）
    2.3 主動存儲技術(shù)
        2.3.1 主動存儲的概念
        2.3.2 主動存儲的相關(guān)研究
    2.4 數(shù)據(jù)壓縮技術(shù)
        2.4.1 數(shù)據(jù)壓縮概述
        2.4.2 數(shù)據(jù)壓縮技術(shù)現(xiàn)狀
        2.4.3 有損壓縮和無損壓縮
    2.5 本章小結(jié)
第三章 面向I/O轉(zhuǎn)發(fā)架構(gòu)的優(yōu)化研究與設(shè)計
    3.1 面向I/O轉(zhuǎn)發(fā)架構(gòu)的I/O模型
    3.2 I/O轉(zhuǎn)發(fā)架構(gòu)優(yōu)化設(shè)計
    3.3 本章小結(jié)
第四章 基于主存和SSD的異構(gòu)緩沖區(qū)研究與設(shè)計
    4.1 固態(tài)硬盤在應(yīng)用中的分析
    4.2 固態(tài)硬盤作為輔助緩沖區(qū)設(shè)計
    4.3 緩存優(yōu)化和延遲隱藏策略
        4.3.1 I/O中轉(zhuǎn)節(jié)點緩沖區(qū)回寫策略
        4.3.2 I/O中轉(zhuǎn)節(jié)點緩沖區(qū)預(yù)讀策略
    4.4 本章小結(jié)
第五章 主動數(shù)據(jù)處理的研究與實現(xiàn)
    5.1 主動數(shù)據(jù)處理軟件架構(gòu)設(shè)計
    5.2 主動數(shù)據(jù)處理I/O架構(gòu)設(shè)計
    5.3 并行壓縮架構(gòu)研究與實現(xiàn)
        5.3.1 數(shù)據(jù)壓縮策略
        5.3.2 并行壓縮架構(gòu)設(shè)計
    5.4 本章小結(jié)
第六章 工程實現(xiàn)和性能評估
    6.1 基于GlusterFS文件系統(tǒng)研究與設(shè)計
        6.1.1 GlusterFS文件系統(tǒng)概述
        6.1.2 Translator設(shè)計
    6.2 測試平臺和部署
    6.3 性能測試與分析
        6.3.1 I/O中轉(zhuǎn)節(jié)點內(nèi)存I/O讀寫性能測試
        6.3.2 DDN盤陣I/O讀寫性能測試
        6.3.3 I/O中轉(zhuǎn)節(jié)點SSD陣列I/O讀寫性能測試
        6.3.4 主動數(shù)據(jù)處理模塊并行壓縮性能測試
    6.4 本章小結(jié)
結(jié)束語
致謝
參考文獻
作者在學期間取得的學術(shù)成果



本文編號：2968054