機(jī)群環(huán)境下并行I/O操作優(yōu)化研究
發(fā)布時間:2022-02-18 10:53
隨著高性能計算機(jī)系統(tǒng)的不斷發(fā)展與應(yīng)用,很多科學(xué)計算程序(如并行渲染、天文計算、分子動力學(xué)、高能物理、流體力學(xué)計算、地球數(shù)值模擬系統(tǒng)以及天氣預(yù)報)對系統(tǒng)I/O性能的要求越來越高。然而盡管I/O系統(tǒng)的存取速度越來越快,其與處理器計算能力之間的差距卻越來越大,與此同時隨著降低高性能計算機(jī)的能耗成為高性能計算領(lǐng)域的研究熱點,并行程序I/O操作的節(jié)能降耗正受到越來越多的關(guān)注。并行計算程序?qū)⒂嬎闳蝿?wù)劃分給各個進(jìn)程共同完成,各個進(jìn)程通常以并行I/O的方式對共享的文件或者文件集合進(jìn)行讀寫操作,以獲得所需數(shù)據(jù)。進(jìn)程對共享文件的操作可以分為非集合操作和集合操作兩種。非集合操作適用于各個子進(jìn)程相對獨立的并行計算程序,這類程序的各個子進(jìn)程各自讀取數(shù)據(jù)并進(jìn)行計算,彼此之間并不進(jìn)行通信,典型的應(yīng)用有并行渲染。而集合操作適用于各個進(jìn)程需要緊密配合的并行程序,這類程序的各個子進(jìn)程緊密配合以共同完成數(shù)據(jù)的讀寫操作,計算的過程中各個進(jìn)程間也往往需要交換彼此的計算結(jié)果,典型的應(yīng)用有流體力學(xué)計算等。相對較低的I/O性能使得處理器花費(fèi)越來越多的時間來等待數(shù)據(jù),從而造成計算能力和電能的浪費(fèi)。由于以上原因,提高大規(guī)模并行程序I/O...
【文章來源】:山東大學(xué)山東省211工程院校985工程院校教育部直屬院校
【文章頁數(shù)】:142 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 研究背景
1.2 研究現(xiàn)狀以及存在的問題和挑戰(zhàn)
1.3 本文主要研究內(nèi)容和創(chuàng)新點
1.4 組織結(jié)構(gòu)
第2章 相關(guān)工作
2.1 機(jī)群環(huán)境下的并行I/O軟件棧
2.2 機(jī)群環(huán)境下的并行I/O操作
2.3 機(jī)群環(huán)境下的分布式內(nèi)存緩存
2.4 集合I/O操作調(diào)優(yōu)
2.5 并行I/O操作能耗優(yōu)化
2.5.1 能耗測量框架
2.5.2 執(zhí)行時間以及能耗建模方法
2.5.3 能耗優(yōu)化
2.6 Periscope性能測試調(diào)優(yōu)框架
2.6.1 框架結(jié)構(gòu)
2.6.2 調(diào)優(yōu)流程
第3章 面向非集合并行I/O操作的自組織內(nèi)存緩存
3.1 自組織分布式內(nèi)存緩存
3.1.1 全局元數(shù)據(jù)緩存
3.1.2 本地文件緩存
3.1.3 工作線程以及數(shù)據(jù)讀取線程
3.2 文件訪問重定向
3.2.1 基于FUSE重定向文件訪問
3.2.2 基于可加載內(nèi)核模塊重定向文件訪問
3.3 性能分析
3.4 實驗
3.4.1 機(jī)群文件系統(tǒng)性能測試
3.4.2 分布式內(nèi)存緩存性能測試
3.4.3 應(yīng)用分布式緩存優(yōu)化并行渲染
3.5 本章小結(jié)
第4章 模型指導(dǎo)下的MPI集合I/O操作調(diào)優(yōu)
4.1 集合I/O操作建模
4.2 集合I/O操作調(diào)優(yōu)
4.2.1 I/O速度測試
4.2.2 Shuffle速度測試
4.2.3 調(diào)優(yōu)策略
4.3 實驗
4.3.1 基于模型調(diào)優(yōu)
4.3.2 基于遺傳算法調(diào)優(yōu)
4.4 本章小結(jié)
第5章 MPI程序并行I/O操作能耗優(yōu)化
5.1 能耗測量優(yōu)化框架
5.1.1 靜態(tài)能耗與動態(tài)能耗
5.1.2 能耗優(yōu)化框架
5.1.3 單節(jié)點能耗測量
5.2 性能以及能耗建模
5.2.1 模型輸入?yún)?shù)
5.2.2 建模方法
5.3 能耗優(yōu)化算法
5.4 實驗
5.4.1 模型輸入?yún)?shù)測試
5.4.2 訓(xùn)練模型
5.4.3 能耗優(yōu)化
5.5 本章小結(jié)
第6章 基于Periscope的并行I/O操作優(yōu)化
6.1 集合I/O操作性能調(diào)優(yōu)插件
6.2 集合I/O操作能耗測量插件
6.3 使用插件進(jìn)行調(diào)優(yōu)
6.4 本章小結(jié)
第7章 總結(jié)與展望
7.1 總結(jié)
7.2 展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄
攻讀學(xué)位期間參與科研項目情況
攻讀學(xué)位期間獲獎情況
外文論文
學(xué)位論文評閱及答辯情況表
【參考文獻(xiàn)】:
期刊論文
[1]異構(gòu)計算系統(tǒng)中彈性節(jié)能調(diào)度策略研究[J]. 朱曉敏,賀川,王建江,江建清. 計算機(jī)學(xué)報. 2012(06)
[2]多目標(biāo)優(yōu)化問題的研究概述[J]. 肖曉偉,肖迪,林錦國,肖玉峰. 計算機(jī)應(yīng)用研究. 2011(03)
[3]搶占閾值調(diào)度的功耗優(yōu)化[J]. 賀小川,賈焰. 計算機(jī)學(xué)報. 2008(11)
本文編號:3630706
【文章來源】:山東大學(xué)山東省211工程院校985工程院校教育部直屬院校
【文章頁數(shù)】:142 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 研究背景
1.2 研究現(xiàn)狀以及存在的問題和挑戰(zhàn)
1.3 本文主要研究內(nèi)容和創(chuàng)新點
1.4 組織結(jié)構(gòu)
第2章 相關(guān)工作
2.1 機(jī)群環(huán)境下的并行I/O軟件棧
2.2 機(jī)群環(huán)境下的并行I/O操作
2.3 機(jī)群環(huán)境下的分布式內(nèi)存緩存
2.4 集合I/O操作調(diào)優(yōu)
2.5 并行I/O操作能耗優(yōu)化
2.5.1 能耗測量框架
2.5.2 執(zhí)行時間以及能耗建模方法
2.5.3 能耗優(yōu)化
2.6 Periscope性能測試調(diào)優(yōu)框架
2.6.1 框架結(jié)構(gòu)
2.6.2 調(diào)優(yōu)流程
第3章 面向非集合并行I/O操作的自組織內(nèi)存緩存
3.1 自組織分布式內(nèi)存緩存
3.1.1 全局元數(shù)據(jù)緩存
3.1.2 本地文件緩存
3.1.3 工作線程以及數(shù)據(jù)讀取線程
3.2 文件訪問重定向
3.2.1 基于FUSE重定向文件訪問
3.2.2 基于可加載內(nèi)核模塊重定向文件訪問
3.3 性能分析
3.4 實驗
3.4.1 機(jī)群文件系統(tǒng)性能測試
3.4.2 分布式內(nèi)存緩存性能測試
3.4.3 應(yīng)用分布式緩存優(yōu)化并行渲染
3.5 本章小結(jié)
第4章 模型指導(dǎo)下的MPI集合I/O操作調(diào)優(yōu)
4.1 集合I/O操作建模
4.2 集合I/O操作調(diào)優(yōu)
4.2.1 I/O速度測試
4.2.2 Shuffle速度測試
4.2.3 調(diào)優(yōu)策略
4.3 實驗
4.3.1 基于模型調(diào)優(yōu)
4.3.2 基于遺傳算法調(diào)優(yōu)
4.4 本章小結(jié)
第5章 MPI程序并行I/O操作能耗優(yōu)化
5.1 能耗測量優(yōu)化框架
5.1.1 靜態(tài)能耗與動態(tài)能耗
5.1.2 能耗優(yōu)化框架
5.1.3 單節(jié)點能耗測量
5.2 性能以及能耗建模
5.2.1 模型輸入?yún)?shù)
5.2.2 建模方法
5.3 能耗優(yōu)化算法
5.4 實驗
5.4.1 模型輸入?yún)?shù)測試
5.4.2 訓(xùn)練模型
5.4.3 能耗優(yōu)化
5.5 本章小結(jié)
第6章 基于Periscope的并行I/O操作優(yōu)化
6.1 集合I/O操作性能調(diào)優(yōu)插件
6.2 集合I/O操作能耗測量插件
6.3 使用插件進(jìn)行調(diào)優(yōu)
6.4 本章小結(jié)
第7章 總結(jié)與展望
7.1 總結(jié)
7.2 展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄
攻讀學(xué)位期間參與科研項目情況
攻讀學(xué)位期間獲獎情況
外文論文
學(xué)位論文評閱及答辯情況表
【參考文獻(xiàn)】:
期刊論文
[1]異構(gòu)計算系統(tǒng)中彈性節(jié)能調(diào)度策略研究[J]. 朱曉敏,賀川,王建江,江建清. 計算機(jī)學(xué)報. 2012(06)
[2]多目標(biāo)優(yōu)化問題的研究概述[J]. 肖曉偉,肖迪,林錦國,肖玉峰. 計算機(jī)應(yīng)用研究. 2011(03)
[3]搶占閾值調(diào)度的功耗優(yōu)化[J]. 賀小川,賈焰. 計算機(jī)學(xué)報. 2008(11)
本文編號:3630706
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3630706.html
最近更新
教材專著