發(fā)布時間：2021-10-25 01:26

　　在文件系統(tǒng)和I／O領(lǐng)域，提高性能和I／O的可擴展性是人們的研究目標。在磁盤存儲系統(tǒng)、網(wǎng)絡(luò)文件系統(tǒng)、并行文件系統(tǒng)和并行I／O界面上已經(jīng)有了很多研究成果，但在可擴展并行系統(tǒng)的I／O上，既缺乏統(tǒng)一的標準，又缺乏對影響因素的深入了解�？蓴U展I／O（SIO）研究集中在硬件系統(tǒng)、操作系統(tǒng)支持、語言編譯器和Runtime系統(tǒng)的支持、應(yīng)用的I／O特征分析，和需要大量I／O的并行應(yīng)用設(shè)計五個方面。本文著重于一種可擴展I／O標準界面的設(shè)計、一個可擴展文件系統(tǒng)的設(shè)計，以及在大規(guī)模并行處理系統(tǒng)和機群體系結(jié)構(gòu)系統(tǒng)上參考實現(xiàn)和原型系統(tǒng)的實現(xiàn)與評價。 本文提出一種新型的I／O編程界面，稱作“可擴展I／O底層應(yīng)用編程界面”（SIO-LLAPI），這種簡單的以性能為目標的底面界面是用以支持文件系統(tǒng)開發(fā)者有效地開發(fā)高層的并行I／O界面和為并行I／O的研究者提供基礎(chǔ)平臺。這項API設(shè)計工作是美國NSF組織的Scalable I／O Initiative項目的一部分。 本文描述了在Intel Paragon多機系統(tǒng)上SIO-LLAPI的一種參考實現(xiàn)（Reference Implementation）。在這個SIO... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院計算技術(shù)研究所)北京市

【文章頁數(shù)】：163 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
Abstract
第一章 引言
    1.1 可擴展I/O
    1.2 適用性
    1.3 參考實現(xiàn)和原型系統(tǒng)
    1.4 論文的貢獻
    1.5 本文的組織
第二章 背景和相關(guān)研究
    2.1 文件系統(tǒng)
        2.1.1 基本概念
        2.1.2 文件緩存
        2.1.3 文件系統(tǒng)出錯恢復(fù)
    2.2 磁盤存儲系統(tǒng)
        2.2.1 基本概念
        2.2.2 RAID
        2.2.3 磁盤優(yōu)化
        2.2.4 日志式文件系統(tǒng)
        2.2.5 邏輯磁盤
    2.3 網(wǎng)絡(luò)文件系統(tǒng)
        2.3.1 基本概念
        2.3.2 NFS
        2.3.3 Sprite
        2.3.4 Zebra
        2.3.5 xFS
    2.4 并行文件系統(tǒng)
        2.4.1 條塊化機制
        2.4.2 Intel CFS
        2.4.3 Intel PFS
        2.4.4 IBM Vesta和PIOFS
    2.5 并行I／O界面
        2.5.1 高層界面研究
        2.5.2 PASSION
        2.5.3 ADIO
    2.6 可擴展I／O研究的重要方向
        2.6.1 硬件系繞
        2.6.2 操作系統(tǒng)支持
        2.6.3 語言、編譯器和運行系統(tǒng)的支持
        2.6.4 I／O特征分析
        2.6.5 并行I／O應(yīng)用程序
    2.7 若干重要問題
        2.7.1 文件服務(wù)器瓶頸
        2.7.2 Hints研究
        2.7.3 I／O可擴展性
        2.7.4 可用性
第三章 可擴展I／O底層API設(shè)計
    3.1 SCALABLE I／O INITIATIVE動機
    3.2 可擴展I／O系統(tǒng)的結(jié)構(gòu)
    3.3 底層API的目標
    3.4 底層API功能列表
    3.5 底層API的主要特色
        3.5.1 同步和異步I／O
        3.5.2 Scatter-gather方式文件和內(nèi)存區(qū)域
        3.4.3 文件存取模式Hints
        3.4.4 應(yīng)用程序控制的客戶端緩存
        3.4.5 文件控制操作
        3.4.6 Collective I／O支持
        3.4.7 Fast Copy支持
        3.4.8 What's Not
第四章 PARAGON多計算機上的參考實現(xiàn)
    4.1 INTEL PARAGON多計算機
        4.1.1 體系結(jié)構(gòu)
        4.1.2 通信系統(tǒng)
        4.1.3 Intel PFS術(shù)語
        4.1.4 測試平臺
    4.2 參考實現(xiàn)
        4.2.1 設(shè)計均衡
            4.2.1.1 文件系統(tǒng)數(shù)據(jù)結(jié)構(gòu)和文件數(shù)據(jù)布局
            4.2.1.2 文件系統(tǒng)體系結(jié)構(gòu)
            4.2.1.3 文件系統(tǒng)安全性
        4.2.2 核心功能
            4.2.2.1 open／close
            4.2.2.2 同步讀寫
            4.2.2.3 異步I／O
            4.2.2.4 I／O控制
            4.2.2.5 其它功能
        4.2.3 可選機制
            4.2.3.1 客戶端緩存
            4.2.3.2 合作式緩存
            4.2.3.3 預(yù)取和服務(wù)器端調(diào)度
        4.2.4 Collective I／O
        4.2.5 Fast Copy
    4.3 設(shè)計和性能評價
        4.3.1 實現(xiàn)容易
        4.3.2 性能
            4.3.2.1 基本讀寫性能
            4.3.2.2 Collective I／O和Fast Copy
        4.3.3 API的靈活性
    4.4 經(jīng)驗和實現(xiàn)建議
        4.4.1 讀寫性能因素
        4.4.2 客戶端緩存
        4.4.3 快速IPC機制的重要性
        4.4.4 其它細節(jié)
第五章 支持I／O高層界面
    5.1 SIO-LLAPI之上的PFS
        5.1.1 方法
        5.1.2 實現(xiàn)細節(jié)
        5.1.3 性能評價
    5.2 ADIO和其它界面
    5.3 應(yīng)用的經(jīng)驗
    5.4 討論
        5.4.1 功能性支持
        5.4.2 SIO-LLAPI的限制
        5.4.3 未回答的問題
第六章 機群系統(tǒng)上可擴展I／O的研究和原型
    6.1 曙光2000系統(tǒng)
        6.1.1 機群體系結(jié)構(gòu)
        6.1.2 通信機制
        6.1.3 文件系統(tǒng)和存儲結(jié)構(gòu)
        6.1.4 測試平臺
    6.2 COSMOS文件系統(tǒng)
        6.2.1 設(shè)計目的
        6.2.2 設(shè)計特色
            6.2.2.1 單一映像
            6.2.2.2 Unix文件語義
            6.2.2.3 Server-less體系結(jié)構(gòu)
            6.2.2.4 軟件RAID和并行I／O
            6.2.2.5 管理分布
        6.2.3 文件系統(tǒng)的結(jié)構(gòu)和數(shù)據(jù)布局
            6.2.3.1 超級塊
            6.2.3.2 l-node結(jié)構(gòu)和目錄
            6.2.3.3 條塊組和子文件
        6.2.4 實現(xiàn)和關(guān)鍵技術(shù)
            6.2.4.1 核心擴充
            6.2.4.2 Client Daemon
            6.2.4.3 Manager Daemon
            6.2.4.4 Storage Daemon
            6.2.4.5 通信機制和互斥操作
        6.2.5 性能評價
    6.3 SIO-LLAPI在COSMOS上的原型設(shè)計
        6.3.1 研究的預(yù)期目的
        6.3.2 主要設(shè)計決定
            6.3.2.1 用戶空間實現(xiàn)
            6.3.2.2 COSMOS兼容的文件系統(tǒng)和存儲結(jié)構(gòu)
            6.3.2.3 Two-layer方法和模塊設(shè)計
            6.3.2.4 Directory Daemon
        6.3.3 原型實現(xiàn)
            6.3.3.1 SIO API相關(guān)層
            6.3.3.2 文件系統(tǒng)結(jié)構(gòu)相關(guān)模塊
            6.3.3.3 對COSMOS Daemon的修改
        6.3.4 性能評價
        6.3.5 討論
    6.4 機群文件系統(tǒng)的研究問題
        6.4.1 可靠性和出錯恢復(fù)
        6.4.2 高可用性支持
        6.4.3 高效通信模式
        6.4.4 支持Read-Intensive應(yīng)用
        6.4.5 用戶控制的策略
第七章 結(jié)論和進一步的工作
參考文獻
作者簡介


【參考文獻】：
碩士論文
[1]MPI-IO中基于模式感知的數(shù)據(jù)重組織[D]. 何軍.湖南大學(xué) 2012



本文編號：3456375