隨著高性能計(jì)算的發(fā)展,計(jì)算能力得到大幅度的提升,然而受限于投資和復(fù)雜度,I/O性能則相對(duì)發(fā)展緩慢。基于此,I/O性能已經(jīng)成為眾多HPC應(yīng)用程序的性能瓶頸,提升應(yīng)用程序的I/O性能就顯得格外重要。然而I/O系統(tǒng)具有高延遲、深共享、訪問(wèn)模式多變和成本問(wèn)題,高端應(yīng)用無(wú)一例外地受到I/O的困擾,其表現(xiàn)為很強(qiáng)的不確定性和振動(dòng)性。同時(shí),高性能應(yīng)用程序的I/O行為大多是復(fù)雜的,分析和理解高性能計(jì)算機(jī)上應(yīng)用程序的I/O行為是提升性能的關(guān)鍵。首先,本論文首先設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)輕量級(jí)的I/O框架,支持靈活的I/O配置,自適應(yīng)I/O調(diào)優(yōu),同時(shí)也支持同步和異步模式。該框架不同于ADIOS,它是一個(gè)輕量級(jí)的框架,主要解決計(jì)算和I/O的性能可擴(kuò)展性不一致的問(wèn)題,從而釋放計(jì)算的可擴(kuò)展性。也不同與PIO,該框架支持自動(dòng)I/O調(diào)優(yōu)以及靈活配置。我們?cè)贗BM P460系統(tǒng)上以GRAPES為例,證明了該框架的有效性。其次,為了進(jìn)一步的分析應(yīng)用程序的I/O行為,本文還實(shí)現(xiàn)了一個(gè)面向HPC應(yīng)用程序的I/O trace采集和分析工具。該工具通過(guò)采集和高效存儲(chǔ)前端計(jì)算節(jié)點(diǎn)上的I/O日志,統(tǒng)計(jì)各個(gè)計(jì)算節(jié)點(diǎn)上的讀寫(xiě)行為數(shù)據(jù),用IOPS（... 

【文章來(lái)源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：53 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
中文摘要
ABSTRACT
1 緒論
    1.1 課題研究背景及意義
        1.1.1 研究背景
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 I/O性能模型的研究
        1.2.2 I/O行為分析的研究
    1.3 本文主要工作
    1.4 本文組織結(jié)構(gòu)
2 相關(guān)背景
    2.1 高性能I/O發(fā)展
        2.1.1 并行文件系統(tǒng)
        2.1.2 MPI IO庫(kù)
    2.2 大氣模擬應(yīng)用
    2.3 本章小結(jié)
3 一個(gè)針對(duì)結(jié)構(gòu)化網(wǎng)格應(yīng)用的輕量級(jí)和靈活的高性能I/O框架
    3.1 面臨的挑戰(zhàn)或問(wèn)題
        3.1.1 應(yīng)用面臨的挑戰(zhàn)
    3.2 SGIO的設(shè)計(jì)和實(shí)現(xiàn)
        3.2.1 SGIO的概述
        3.2.2 計(jì)算和I/O的解耦合
        3.2.3 靈活的I/O布局配置
        3.2.4 數(shù)據(jù)重分布
    3.3 自適應(yīng)進(jìn)程布局
        3.3.1 I/O模型
        3.3.2 計(jì)算模型
        3.3.3 通信模型
    3.4 GRAPES優(yōu)化
        3.4.1 GRAPES I/O特點(diǎn)
        3.4.2 GRAPES在SGIO中的應(yīng)用優(yōu)化
    3.5 實(shí)驗(yàn)分析
        3.5.1 性能模型的準(zhǔn)確性
        3.5.2 GRAPES的性能測(cè)試
    3.6 本章小結(jié)
4 神威太湖之光系統(tǒng)上面向HPC應(yīng)用程序的I/O trace采集與分析工具
    4.1 神威太湖之光超級(jí)計(jì)算機(jī)
    4.2 I/O trace采集和分析工具的設(shè)計(jì)和實(shí)現(xiàn)
        4.2.1 設(shè)計(jì)方案的選擇
        4.2.2 采集工具的整體架構(gòu)
        4.2.3 采集工具的實(shí)現(xiàn)
        4.2.4 數(shù)據(jù)分析與可視化
    4.3 實(shí)驗(yàn)分析
        4.3.1 NPB-IO的BT IO特征分析
        4.3.2 采集分析工具對(duì)應(yīng)用程序的影響
        4.3.3 采集分析工具的正確性驗(yàn)證
        4.3.4 真實(shí)應(yīng)用程序的測(cè)試
    4.4 本章小結(jié)
5 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文和參加科研情況
學(xué)位論文評(píng)閱及答辯情況表


【參考文獻(xiàn)】：
期刊論文
[1]GRIB2介紹及解碼初探[J]. 劉媛媛,應(yīng)顯勛,趙芳.  氣象科技. 2006(S1)



本文編號(hào)：3455921