發(fā)布時間：2021-02-16 21:38

　　本文對集中式I/O技術進行了研究,并在此基礎上討論了如何提高對非連續(xù)數(shù)據(jù)訪問的性能。在許多并行應用中,每個進程需要訪問在文件中存放位置不連續(xù)的小塊數(shù)據(jù)。訪問這種不連續(xù)的小塊數(shù)據(jù)需要很多的I/O請求,這樣勢必會導致并行I/O性能的下降。因此I/O操作已經(jīng)成為了影響并行應用程序效率的主要瓶頸。如何對數(shù)據(jù)進行組織、存儲以及有效的訪問數(shù)據(jù)成為了迫切需要研究的問題。本文在兩階段I/O的基礎上,針對兩階段I/O中數(shù)據(jù)再分配算法,提出了一個全新改進方案:統(tǒng)計-執(zhí)行式I/O技術（statistic-executive I/O）。該方案針對最常見的塊數(shù)據(jù)分布和循環(huán)數(shù)據(jù)分布進行了I/O優(yōu)化。我們將并行I/O分為兩個階段:統(tǒng)計階段和執(zhí)行階段。在統(tǒng)計階段,通信模式被計算出來,并且自動生成所需的數(shù)據(jù)類型。這些信息在執(zhí)行階段（執(zhí)行通信和文件存�。┍皇褂谩＿@兩個階段是獨立的,所以,對于重復的文件存取模式,統(tǒng)計階段的計算可以執(zhí)行一次,計算的結(jié)果被執(zhí)行階段多次重用。這種策略將統(tǒng)計階段的開銷分攤到了若干I/O操作中。在本文中,我們評估統(tǒng)計-執(zhí)行式I/O技術的性能,并且與其他不同的集中式I/O技術進行比較。基于按塊分配和按... 

【文章來源】：內(nèi)蒙古大學內(nèi)蒙古自治區(qū) 211工程院校

【文章頁數(shù)】：60 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
目錄
圖表目錄
第一章 緒論
    1.1 論文研究背景
    1.2 論文研究的內(nèi)容
    1.3 論文的結(jié)構(gòu)
第二章 并行I/O技術概述
    2.1 并行I/O研究現(xiàn)狀
    2.2 I/O技術面臨的問題與解決的途徑
        2.2.1 I/O技術面臨的問題
        2.2.2 解決的途徑
    2.3 并行I/O概述
    2.4 并行I/O的結(jié)構(gòu)
    2.5 并行文件系統(tǒng)概述
        2.5.1 并行文件訪問的特點
        2.5.2 并行文件系統(tǒng)現(xiàn)狀
    2.6 應用程序接口
第三章 MPI消息傳遞并行編程模型
    3.1 MPI概述
    3.2 典型的MPI實現(xiàn)
    3.3 MPI程序的特點
    3.4 面向應用的數(shù)據(jù)分配
    3.5 MPI-2對并行環(huán)境的I/O實現(xiàn)的基本方法
第四章 集中式I/O的研究
    4.1 非連續(xù)I/O訪問
    4.2 非連續(xù)數(shù)據(jù)訪問的實現(xiàn)方法
        4.2.1 數(shù)據(jù)篩選
        4.2.2 集中式I/O
        4.2.3 列表I/O
        4.2.4 視口（View）I/O
    4.3 兩階段I/O的實現(xiàn)
        4.3.1 兩階段I/O實現(xiàn)的思路
        4.3.2 實現(xiàn)兩階段I/O
        4.3.3 兩階段I/O中的數(shù)據(jù)分配
第五章 兩階段I/O的實現(xiàn)與優(yōu)化:統(tǒng)計-執(zhí)行I/O方法
    5.1 統(tǒng)計-執(zhí)行I/O方法設計思路
    5.2 統(tǒng)計-執(zhí)行I/O（SE I/O）概述
    5.3 統(tǒng)計-執(zhí)行方式的集中式I/O算法
        5.3.1 數(shù)據(jù)存儲分配
        5.3.2 執(zhí)行階段
        5.3.3 產(chǎn)生數(shù)據(jù)類型的統(tǒng)計程序
    5.4 實驗結(jié)果
        5.4.1 防止已在內(nèi)存或Cache中的數(shù)據(jù)對I/O測試的影響
        5.4.2 技術性能分析和帶寬比較結(jié)果
        5.4.3 結(jié)論
第六章 全文總結(jié)及進一步的工作
    6.1 全文總結(jié)
    6.2 進一步的工作
參考文獻
致謝


【參考文獻】：
期刊論文
[1]高可用并行文件系統(tǒng)的分布式元數(shù)據(jù)管理[J]. 李勝利,唐維,石柯,程斌,蒙廷友.  應用科學學報. 2005(03)
[2]基于MPI的并行I/O方法[J]. 李小衛(wèi),羅省賢.  微型機與應用. 2003(03)
[3]MPI2中的并行I/O的使用分析[J]. 劉輝,胡靜,王振飛,李學相.  計算機工程. 2003(02)

碩士論文
[1]并行程序中不同I/O實現(xiàn)方式的設計與I/O性能[D]. 楊偉光.內(nèi)蒙古大學 2006



本文編號：3036967