隨著高性能計算的發(fā)展,計算能力得到大幅度的提升,然而受限于投資和復雜度,I/O性能則相對發(fā)展緩慢�；诖�,I/O性能已經(jīng)成為眾多HPC應用程序的性能瓶頸,提升應用程序的I/O性能就顯得格外重要。然而I/O系統(tǒng)具有高延遲、深共享、訪問模式多變和成本問題,高端應用無一例外地受到I/O的困擾,其表現(xiàn)為很強的不確定性和振動性。同時,高性能應用程序的I/O行為大多是復雜的,分析和理解高性能計算機上應用程序的I/O行為是提升性能的關鍵。首先,本論文首先設計和實現(xiàn)了一個輕量級的I/O框架,支持靈活的I/O配置,自適應I/O調(diào)優(yōu),同時也支持同步和異步模式。該框架不同于ADIOS,它是一個輕量級的框架,主要解決計算和I/O的性能可擴展性不一致的問題,從而釋放計算的可擴展性。也不同與PIO,該框架支持自動I/O調(diào)優(yōu)以及靈活配置。我們在IBM P460系統(tǒng)上以GRAPES為例,證明了該框架的有效性。其次,為了進一步的分析應用程序的I/O行為,本文還實現(xiàn)了一個面向HPC應用程序的I/O trace采集和分析工具。該工具通過采集和高效存儲前端計算節(jié)點上的I/O日志,統(tǒng)計各個計算節(jié)點上的讀寫行為數(shù)據(jù),用IOPS（... 

【文章來源】：山東大學山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：53 頁

【學位級別】：碩士

【文章目錄】：
中文摘要
ABSTRACT
1 緒論
    1.1 課題研究背景及意義
        1.1.1 研究背景
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 I/O性能模型的研究
        1.2.2 I/O行為分析的研究
    1.3 本文主要工作
    1.4 本文組織結(jié)構(gòu)
2 相關背景
    2.1 高性能I/O發(fā)展
        2.1.1 并行文件系統(tǒng)
        2.1.2 MPI IO庫
    2.2 大氣模擬應用
    2.3 本章小結(jié)
3 一個針對結(jié)構(gòu)化網(wǎng)格應用的輕量級和靈活的高性能I/O框架
    3.1 面臨的挑戰(zhàn)或問題
        3.1.1 應用面臨的挑戰(zhàn)
    3.2 SGIO的設計和實現(xiàn)
        3.2.1 SGIO的概述
        3.2.2 計算和I/O的解耦合
        3.2.3 靈活的I/O布局配置
        3.2.4 數(shù)據(jù)重分布
    3.3 自適應進程布局
        3.3.1 I/O模型
        3.3.2 計算模型
        3.3.3 通信模型
    3.4 GRAPES優(yōu)化
        3.4.1 GRAPES I/O特點
        3.4.2 GRAPES在SGIO中的應用優(yōu)化
    3.5 實驗分析
        3.5.1 性能模型的準確性
        3.5.2 GRAPES的性能測試
    3.6 本章小結(jié)
4 神威太湖之光系統(tǒng)上面向HPC應用程序的I/O trace采集與分析工具
    4.1 神威太湖之光超級計算機
    4.2 I/O trace采集和分析工具的設計和實現(xiàn)
        4.2.1 設計方案的選擇
        4.2.2 采集工具的整體架構(gòu)
        4.2.3 采集工具的實現(xiàn)
        4.2.4 數(shù)據(jù)分析與可視化
    4.3 實驗分析
        4.3.1 NPB-IO的BT IO特征分析
        4.3.2 采集分析工具對應用程序的影響
        4.3.3 采集分析工具的正確性驗證
        4.3.4 真實應用程序的測試
    4.4 本章小結(jié)
5 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻
致謝
攻讀學位期間發(fā)表的學術論文和參加科研情況
學位論文評閱及答辯情況表


【參考文獻】：
期刊論文
[1]GRIB2介紹及解碼初探[J]. 劉媛媛,應顯勛,趙芳.  氣象科技. 2006(S1)



本文編號：3455921