在文件系統(tǒng)和I／O領(lǐng)域，提高性能和I／O的可擴(kuò)展性是人們的研究目標(biāo)。在磁盤存儲系統(tǒng)、網(wǎng)絡(luò)文件系統(tǒng)、并行文件系統(tǒng)和并行I／O界面上已經(jīng)有了很多研究成果，但在可擴(kuò)展并行系統(tǒng)的I／O上，既缺乏統(tǒng)一的標(biāo)準(zhǔn)，又缺乏對影響因素的深入了解�？蓴U(kuò)展I／O（SIO）研究集中在硬件系統(tǒng)、操作系統(tǒng)支持、語言編譯器和Runtime系統(tǒng)的支持、應(yīng)用的I／O特征分析，和需要大量I／O的并行應(yīng)用設(shè)計(jì)五個(gè)方面。本文著重于一種可擴(kuò)展I／O標(biāo)準(zhǔn)界面的設(shè)計(jì)、一個(gè)可擴(kuò)展文件系統(tǒng)的設(shè)計(jì)，以及在大規(guī)模并行處理系統(tǒng)和機(jī)群體系結(jié)構(gòu)系統(tǒng)上參考實(shí)現(xiàn)和原型系統(tǒng)的實(shí)現(xiàn)與評價(jià)。 本文提出一種新型的I／O編程界面，稱作“可擴(kuò)展I／O底層應(yīng)用編程界面”（SIO-LLAPI），這種簡單的以性能為目標(biāo)的底面界面是用以支持文件系統(tǒng)開發(fā)者有效地開發(fā)高層的并行I／O界面和為并行I／O的研究者提供基礎(chǔ)平臺。這項(xiàng)API設(shè)計(jì)工作是美國NSF組織的Scalable I／O Initiative項(xiàng)目的一部分。 本文描述了在Intel Paragon多機(jī)系統(tǒng)上SIO-LLAPI的一種參考實(shí)現(xiàn)（Reference Implementation）。在這個(gè)SIO... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院計(jì)算技術(shù)研究所)北京市

【文章頁數(shù)】：163 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
Abstract
第一章 引言
    1.1 可擴(kuò)展I/O
    1.2 適用性
    1.3 參考實(shí)現(xiàn)和原型系統(tǒng)
    1.4 論文的貢獻(xiàn)
    1.5 本文的組織
第二章 背景和相關(guān)研究
    2.1 文件系統(tǒng)
        2.1.1 基本概念
        2.1.2 文件緩存
        2.1.3 文件系統(tǒng)出錯(cuò)恢復(fù)
    2.2 磁盤存儲系統(tǒng)
        2.2.1 基本概念
        2.2.2 RAID
        2.2.3 磁盤優(yōu)化
        2.2.4 日志式文件系統(tǒng)
        2.2.5 邏輯磁盤
    2.3 網(wǎng)絡(luò)文件系統(tǒng)
        2.3.1 基本概念
        2.3.2 NFS
        2.3.3 Sprite
        2.3.4 Zebra
        2.3.5 xFS
    2.4 并行文件系統(tǒng)
        2.4.1 條塊化機(jī)制
        2.4.2 Intel CFS
        2.4.3 Intel PFS
        2.4.4 IBM Vesta和PIOFS
    2.5 并行I／O界面
        2.5.1 高層界面研究
        2.5.2 PASSION
        2.5.3 ADIO
    2.6 可擴(kuò)展I／O研究的重要方向
        2.6.1 硬件系繞
        2.6.2 操作系統(tǒng)支持
        2.6.3 語言、編譯器和運(yùn)行系統(tǒng)的支持
        2.6.4 I／O特征分析
        2.6.5 并行I／O應(yīng)用程序
    2.7 若干重要問題
        2.7.1 文件服務(wù)器瓶頸
        2.7.2 Hints研究
        2.7.3 I／O可擴(kuò)展性
        2.7.4 可用性
第三章 可擴(kuò)展I／O底層API設(shè)計(jì)
    3.1 SCALABLE I／O INITIATIVE動(dòng)機(jī)
    3.2 可擴(kuò)展I／O系統(tǒng)的結(jié)構(gòu)
    3.3 底層API的目標(biāo)
    3.4 底層API功能列表
    3.5 底層API的主要特色
        3.5.1 同步和異步I／O
        3.5.2 Scatter-gather方式文件和內(nèi)存區(qū)域
        3.4.3 文件存取模式Hints
        3.4.4 應(yīng)用程序控制的客戶端緩存
        3.4.5 文件控制操作
        3.4.6 Collective I／O支持
        3.4.7 Fast Copy支持
        3.4.8 What's Not
第四章 PARAGON多計(jì)算機(jī)上的參考實(shí)現(xiàn)
    4.1 INTEL PARAGON多計(jì)算機(jī)
        4.1.1 體系結(jié)構(gòu)
        4.1.2 通信系統(tǒng)
        4.1.3 Intel PFS術(shù)語
        4.1.4 測試平臺
    4.2 參考實(shí)現(xiàn)
        4.2.1 設(shè)計(jì)均衡
            4.2.1.1 文件系統(tǒng)數(shù)據(jù)結(jié)構(gòu)和文件數(shù)據(jù)布局
            4.2.1.2 文件系統(tǒng)體系結(jié)構(gòu)
            4.2.1.3 文件系統(tǒng)安全性
        4.2.2 核心功能
            4.2.2.1 open／close
            4.2.2.2 同步讀寫
            4.2.2.3 異步I／O
            4.2.2.4 I／O控制
            4.2.2.5 其它功能
        4.2.3 可選機(jī)制
            4.2.3.1 客戶端緩存
            4.2.3.2 合作式緩存
            4.2.3.3 預(yù)取和服務(wù)器端調(diào)度
        4.2.4 Collective I／O
        4.2.5 Fast Copy
    4.3 設(shè)計(jì)和性能評價(jià)
        4.3.1 實(shí)現(xiàn)容易
        4.3.2 性能
            4.3.2.1 基本讀寫性能
            4.3.2.2 Collective I／O和Fast Copy
        4.3.3 API的靈活性
    4.4 經(jīng)驗(yàn)和實(shí)現(xiàn)建議
        4.4.1 讀寫性能因素
        4.4.2 客戶端緩存
        4.4.3 快速IPC機(jī)制的重要性
        4.4.4 其它細(xì)節(jié)
第五章 支持I／O高層界面
    5.1 SIO-LLAPI之上的PFS
        5.1.1 方法
        5.1.2 實(shí)現(xiàn)細(xì)節(jié)
        5.1.3 性能評價(jià)
    5.2 ADIO和其它界面
    5.3 應(yīng)用的經(jīng)驗(yàn)
    5.4 討論
        5.4.1 功能性支持
        5.4.2 SIO-LLAPI的限制
        5.4.3 未回答的問題
第六章 機(jī)群系統(tǒng)上可擴(kuò)展I／O的研究和原型
    6.1 曙光2000系統(tǒng)
        6.1.1 機(jī)群體系結(jié)構(gòu)
        6.1.2 通信機(jī)制
        6.1.3 文件系統(tǒng)和存儲結(jié)構(gòu)
        6.1.4 測試平臺
    6.2 COSMOS文件系統(tǒng)
        6.2.1 設(shè)計(jì)目的
        6.2.2 設(shè)計(jì)特色
            6.2.2.1 單一映像
            6.2.2.2 Unix文件語義
            6.2.2.3 Server-less體系結(jié)構(gòu)
            6.2.2.4 軟件RAID和并行I／O
            6.2.2.5 管理分布
        6.2.3 文件系統(tǒng)的結(jié)構(gòu)和數(shù)據(jù)布局
            6.2.3.1 超級塊
            6.2.3.2 l-node結(jié)構(gòu)和目錄
            6.2.3.3 條塊組和子文件
        6.2.4 實(shí)現(xiàn)和關(guān)鍵技術(shù)
            6.2.4.1 核心擴(kuò)充
            6.2.4.2 Client Daemon
            6.2.4.3 Manager Daemon
            6.2.4.4 Storage Daemon
            6.2.4.5 通信機(jī)制和互斥操作
        6.2.5 性能評價(jià)
    6.3 SIO-LLAPI在COSMOS上的原型設(shè)計(jì)
        6.3.1 研究的預(yù)期目的
        6.3.2 主要設(shè)計(jì)決定
            6.3.2.1 用戶空間實(shí)現(xiàn)
            6.3.2.2 COSMOS兼容的文件系統(tǒng)和存儲結(jié)構(gòu)
            6.3.2.3 Two-layer方法和模塊設(shè)計(jì)
            6.3.2.4 Directory Daemon
        6.3.3 原型實(shí)現(xiàn)
            6.3.3.1 SIO API相關(guān)層
            6.3.3.2 文件系統(tǒng)結(jié)構(gòu)相關(guān)模塊
            6.3.3.3 對COSMOS Daemon的修改
        6.3.4 性能評價(jià)
        6.3.5 討論
    6.4 機(jī)群文件系統(tǒng)的研究問題
        6.4.1 可靠性和出錯(cuò)恢復(fù)
        6.4.2 高可用性支持
        6.4.3 高效通信模式
        6.4.4 支持Read-Intensive應(yīng)用
        6.4.5 用戶控制的策略
第七章 結(jié)論和進(jìn)一步的工作
參考文獻(xiàn)
作者簡介


【參考文獻(xiàn)】：
碩士論文
[1]MPI-IO中基于模式感知的數(shù)據(jù)重組織[D]. 何軍.湖南大學(xué) 2012



本文編號：3456375