超級(jí)計(jì)算機(jī)用于自然科學(xué)的很多關(guān)鍵領(lǐng)域中進(jìn)行復(fù)雜系統(tǒng)的大規(guī)模計(jì)算和模擬。隨著芯片技術(shù)的高速發(fā)展,到2020年超級(jí)計(jì)算機(jī)的性能將會(huì)達(dá)到EFlop/s（每秒百億億次浮點(diǎn)運(yùn)算）。爆發(fā)性增長(zhǎng)的計(jì)算能力同時(shí)也導(dǎo)致了科學(xué)計(jì)算模擬輸出的數(shù)據(jù)規(guī)模激增,從而引發(fā)了對(duì)大型存儲(chǔ)系統(tǒng)的高性能I/O需求。例如,在美國(guó)超算中心的系統(tǒng)上使用12萬(wàn)個(gè)核模擬計(jì)算3萬(wàn)億個(gè)粒子的磁重聯(lián)物理過(guò)程,每小時(shí)就會(huì)產(chǎn)生約100TB的數(shù)據(jù)。存儲(chǔ)和檢索如此大規(guī)模的突發(fā)性產(chǎn)生的數(shù)據(jù)會(huì)極大地影響這些科學(xué)應(yīng)用的整體性能。當(dāng)前集中式存儲(chǔ)的I/O系統(tǒng)也難以提供足夠的性能去充分滿足極端規(guī)模的科學(xué)計(jì)算平臺(tái)要求。為此,近年來(lái)學(xué)術(shù)界提出了突發(fā)數(shù)據(jù)緩存（Burst Buffer）結(jié)構(gòu):它在計(jì)算和存儲(chǔ)節(jié)點(diǎn)之間添加了新型硬件如非易失性存儲(chǔ)器作為緩沖層,支持對(duì)于大量突發(fā)性的I/O請(qǐng)求進(jìn)行快速處理。但是針對(duì)突發(fā)數(shù)據(jù)緩存的設(shè)計(jì)仍面臨許多問(wèn)題,需要高效的系統(tǒng)軟件與該新的存儲(chǔ)架構(gòu)相結(jié)合,來(lái)滿足支持百億億次計(jì)算的科學(xué)應(yīng)用所要求的極端并行性和性能需求。本文的工作旨在研究數(shù)據(jù)密集型科學(xué)應(yīng)用在突發(fā)數(shù)據(jù)緩存系統(tǒng)中的I/O性能優(yōu)化方法。通過(guò)分析應(yīng)用的數(shù)據(jù)訪問(wèn)特征和存儲(chǔ)需求動(dòng)態(tài)調(diào)度分配... 

【文章來(lái)源】：中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：122 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景
        1.1.1 數(shù)據(jù)驅(qū)動(dòng)的高性能科學(xué)計(jì)算
        1.1.2 E級(jí)計(jì)算系統(tǒng)的發(fā)展趨勢(shì)
        1.1.3 大規(guī)模存儲(chǔ)系統(tǒng)的發(fā)展趨勢(shì)
    1.2 E級(jí)計(jì)算存儲(chǔ)系統(tǒng)設(shè)計(jì)面臨的挑戰(zhàn)性問(wèn)題
    1.3 本文主要研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)研究工作
    2.1 高性能存儲(chǔ)系統(tǒng)結(jié)構(gòu)
        2.1.1 近數(shù)據(jù)端計(jì)算架構(gòu)
        2.1.2 突發(fā)數(shù)據(jù)緩存架構(gòu)
        2.1.3 相關(guān)工作總結(jié)
    2.2 數(shù)據(jù)存儲(chǔ)格式與I/O編程接口
        2.2.1 MPI-IO
        2.2.2 HDF5
        2.2.3 NetCDF
        2.2.4 相關(guān)工作總結(jié)
    2.3 I/O執(zhí)行模式
        2.3.1 解耦合執(zhí)行模式
        2.3.2 異步執(zhí)行模式
        2.3.3 相關(guān)工作總結(jié)
第3章 競(jìng)爭(zhēng)感知的共享式突發(fā)數(shù)據(jù)緩存分配算法
    3.1 引言
    3.2 相關(guān)背景介紹
        3.2.1 共享式突發(fā)數(shù)據(jù)緩存系統(tǒng)
        3.2.2 面向存儲(chǔ)資源的調(diào)度分配
        3.2.3 動(dòng)機(jī)
    3.3 基于競(jìng)爭(zhēng)感知的存儲(chǔ)資源調(diào)度方案
        3.3.1 運(yùn)行時(shí)框架設(shè)計(jì)與實(shí)現(xiàn)
        3.3.2 競(jìng)爭(zhēng)感知的節(jié)點(diǎn)分配算法
        3.3.3 性能模型分析
    3.4 實(shí)驗(yàn)評(píng)估
        3.4.1 仿真實(shí)驗(yàn)
        3.4.2 模擬實(shí)驗(yàn)
    3.5 本章小結(jié)
第4章 分布式突發(fā)數(shù)據(jù)緩存的異步數(shù)據(jù)傳輸優(yōu)化策略
    4.1 引言
    4.2 相關(guān)背景介紹
        4.2.1 分布式突發(fā)數(shù)據(jù)緩存系統(tǒng)
        4.2.2 動(dòng)機(jī)
    4.3 自適應(yīng)可擴(kuò)展的異步數(shù)據(jù)傳輸優(yōu)化策略
        4.3.1 運(yùn)行時(shí)框架設(shè)計(jì)與實(shí)現(xiàn)
        4.3.2 自適應(yīng)的異步數(shù)據(jù)傳輸策略
        4.3.3 動(dòng)態(tài)數(shù)據(jù)回傳優(yōu)化方法
        4.3.4 性能模型分析
    4.4 實(shí)驗(yàn)評(píng)估
        4.4.1 測(cè)試平臺(tái)與測(cè)試程序
        4.4.2 實(shí)驗(yàn)結(jié)果與分析
    4.5 本章小結(jié)
第5章 結(jié)構(gòu)感知的異構(gòu)突發(fā)數(shù)據(jù)緩存的動(dòng)態(tài)I/O調(diào)度方案
    5.1 引言
    5.2 相關(guān)背景介紹
        5.2.1 異構(gòu)突發(fā)數(shù)據(jù)緩存系統(tǒng)
        5.2.2 動(dòng)機(jī)
    5.3 結(jié)構(gòu)感知的動(dòng)態(tài)I/O調(diào)度方案
        5.3.1 運(yùn)行時(shí)框架設(shè)計(jì)與實(shí)現(xiàn)
        5.3.2 本地緩存的流量感知調(diào)度方法
        5.3.3 跨存儲(chǔ)層的I/O重定向策略
        5.3.4 基于干擾感知的I/O調(diào)度算法
    5.4 實(shí)驗(yàn)評(píng)估
        5.4.1 測(cè)試平臺(tái)與測(cè)試程序
        5.4.2 實(shí)驗(yàn)結(jié)果與分析
    5.5 本章小結(jié)
第6章 結(jié)果與展望
    6.1 研究工作與結(jié)果
    6.2 主要?jiǎng)?chuàng)新
    6.3 下一步研究工作
參考文獻(xiàn)
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果
在讀期間參與的科研項(xiàng)目



本文編號(hào)：3003452