超級計算機用于自然科學的很多關(guān)鍵領(lǐng)域中進行復(fù)雜系統(tǒng)的大規(guī)模計算和模擬。隨著芯片技術(shù)的高速發(fā)展,到2020年超級計算機的性能將會達到EFlop/s（每秒百億億次浮點運算）。爆發(fā)性增長的計算能力同時也導(dǎo)致了科學計算模擬輸出的數(shù)據(jù)規(guī)模激增,從而引發(fā)了對大型存儲系統(tǒng)的高性能I/O需求。例如,在美國超算中心的系統(tǒng)上使用12萬個核模擬計算3萬億個粒子的磁重聯(lián)物理過程,每小時就會產(chǎn)生約100TB的數(shù)據(jù)。存儲和檢索如此大規(guī)模的突發(fā)性產(chǎn)生的數(shù)據(jù)會極大地影響這些科學應(yīng)用的整體性能。當前集中式存儲的I/O系統(tǒng)也難以提供足夠的性能去充分滿足極端規(guī)模的科學計算平臺要求。為此,近年來學術(shù)界提出了突發(fā)數(shù)據(jù)緩存（Burst Buffer）結(jié)構(gòu):它在計算和存儲節(jié)點之間添加了新型硬件如非易失性存儲器作為緩沖層,支持對于大量突發(fā)性的I/O請求進行快速處理。但是針對突發(fā)數(shù)據(jù)緩存的設(shè)計仍面臨許多問題,需要高效的系統(tǒng)軟件與該新的存儲架構(gòu)相結(jié)合,來滿足支持百億億次計算的科學應(yīng)用所要求的極端并行性和性能需求。本文的工作旨在研究數(shù)據(jù)密集型科學應(yīng)用在突發(fā)數(shù)據(jù)緩存系統(tǒng)中的I/O性能優(yōu)化方法。通過分析應(yīng)用的數(shù)據(jù)訪問特征和存儲需求動態(tài)調(diào)度分配... 

【文章來源】：中國科學技術(shù)大學安徽省 211工程院校 985工程院校

【文章頁數(shù)】：122 頁

【學位級別】：博士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景
        1.1.1 數(shù)據(jù)驅(qū)動的高性能科學計算
        1.1.2 E級計算系統(tǒng)的發(fā)展趨勢
        1.1.3 大規(guī)模存儲系統(tǒng)的發(fā)展趨勢
    1.2 E級計算存儲系統(tǒng)設(shè)計面臨的挑戰(zhàn)性問題
    1.3 本文主要研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)研究工作
    2.1 高性能存儲系統(tǒng)結(jié)構(gòu)
        2.1.1 近數(shù)據(jù)端計算架構(gòu)
        2.1.2 突發(fā)數(shù)據(jù)緩存架構(gòu)
        2.1.3 相關(guān)工作總結(jié)
    2.2 數(shù)據(jù)存儲格式與I/O編程接口
        2.2.1 MPI-IO
        2.2.2 HDF5
        2.2.3 NetCDF
        2.2.4 相關(guān)工作總結(jié)
    2.3 I/O執(zhí)行模式
        2.3.1 解耦合執(zhí)行模式
        2.3.2 異步執(zhí)行模式
        2.3.3 相關(guān)工作總結(jié)
第3章 競爭感知的共享式突發(fā)數(shù)據(jù)緩存分配算法
    3.1 引言
    3.2 相關(guān)背景介紹
        3.2.1 共享式突發(fā)數(shù)據(jù)緩存系統(tǒng)
        3.2.2 面向存儲資源的調(diào)度分配
        3.2.3 動機
    3.3 基于競爭感知的存儲資源調(diào)度方案
        3.3.1 運行時框架設(shè)計與實現(xiàn)
        3.3.2 競爭感知的節(jié)點分配算法
        3.3.3 性能模型分析
    3.4 實驗評估
        3.4.1 仿真實驗
        3.4.2 模擬實驗
    3.5 本章小結(jié)
第4章 分布式突發(fā)數(shù)據(jù)緩存的異步數(shù)據(jù)傳輸優(yōu)化策略
    4.1 引言
    4.2 相關(guān)背景介紹
        4.2.1 分布式突發(fā)數(shù)據(jù)緩存系統(tǒng)
        4.2.2 動機
    4.3 自適應(yīng)可擴展的異步數(shù)據(jù)傳輸優(yōu)化策略
        4.3.1 運行時框架設(shè)計與實現(xiàn)
        4.3.2 自適應(yīng)的異步數(shù)據(jù)傳輸策略
        4.3.3 動態(tài)數(shù)據(jù)回傳優(yōu)化方法
        4.3.4 性能模型分析
    4.4 實驗評估
        4.4.1 測試平臺與測試程序
        4.4.2 實驗結(jié)果與分析
    4.5 本章小結(jié)
第5章 結(jié)構(gòu)感知的異構(gòu)突發(fā)數(shù)據(jù)緩存的動態(tài)I/O調(diào)度方案
    5.1 引言
    5.2 相關(guān)背景介紹
        5.2.1 異構(gòu)突發(fā)數(shù)據(jù)緩存系統(tǒng)
        5.2.2 動機
    5.3 結(jié)構(gòu)感知的動態(tài)I/O調(diào)度方案
        5.3.1 運行時框架設(shè)計與實現(xiàn)
        5.3.2 本地緩存的流量感知調(diào)度方法
        5.3.3 跨存儲層的I/O重定向策略
        5.3.4 基于干擾感知的I/O調(diào)度算法
    5.4 實驗評估
        5.4.1 測試平臺與測試程序
        5.4.2 實驗結(jié)果與分析
    5.5 本章小結(jié)
第6章 結(jié)果與展望
    6.1 研究工作與結(jié)果
    6.2 主要創(chuàng)新
    6.3 下一步研究工作
參考文獻
致謝
在讀期間發(fā)表的學術(shù)論文與取得的研究成果
在讀期間參與的科研項目



本文編號：3003452