面向多核的系統(tǒng)級MPI通信優(yōu)化關(guān)鍵技術(shù)研究
發(fā)布時間:2021-03-08 09:14
消息傳遞接口(Message Passing Interface,簡稱MPI)自20世紀(jì)90年代以來一直是高性能計(jì)算(High Performance Computing,簡稱HPC)領(lǐng)域并行程序開發(fā)的事實(shí)標(biāo)準(zhǔn)。在基于MPI編寫的并行程序中,MPI通信性能通常對程序整體性能起著關(guān)鍵作用,優(yōu)化MPI通信具有重要意義。近年來,在多核技術(shù)高速發(fā)展的背景下,MPI通信亟待針對多核系統(tǒng)特點(diǎn)進(jìn)行優(yōu)化。然而,現(xiàn)有優(yōu)化工作主要停留在基于進(jìn)程MPI的通信技術(shù),普遍存在處理開銷大、訪存需求高等不足,限制了通信性能進(jìn)一步提高。本文針對多核系統(tǒng)諸多特點(diǎn)和現(xiàn)有優(yōu)化方法不足,從基于線程MPI的通信技術(shù)方向入手,系統(tǒng)研究了多核系統(tǒng)MPI通信優(yōu)化的關(guān)鍵技術(shù),探索了共享內(nèi)存系統(tǒng)上更高效的消息傳遞通信接口。取得的主要成果如下:1、面向多核系統(tǒng),提出了一種高效線程MPI支撐軟件技術(shù)——MPI通信加速器(MPI Communication Accelerator,簡稱MPIActor)。MPIActor通過自身專門設(shè)計(jì)的接口聚合技術(shù)在傳統(tǒng)進(jìn)程MPI支撐環(huán)境的基礎(chǔ)上建立線程MPI支撐環(huán)境。相比傳統(tǒng)MPI支撐軟件的開發(fā)方法,采用...
【文章來源】:國防科技大學(xué)湖南省 211工程院校 985工程院校
【文章頁數(shù)】:142 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 研究背景
1.1.1 高性能計(jì)算跨入多核時代
1.1.2 MPI 仍然是應(yīng)對多核系統(tǒng)并行程序開發(fā)的重要手段
1.1.3 多核系統(tǒng)上MPI 通信性能優(yōu)化面臨的挑戰(zhàn)
1.2 國內(nèi)外相關(guān)研究工作
1.2.1 節(jié)點(diǎn)內(nèi)點(diǎn)對點(diǎn)通信優(yōu)化相關(guān)工作
1.2.2 集合通信優(yōu)化的相關(guān)工作
1.2.3 線程MPI 的相關(guān)工作
1.2.4 MPI 支撐軟件發(fā)展情況
1.3 本文的主要內(nèi)容與創(chuàng)新點(diǎn)
1.3.1 本文的研究內(nèi)容
1.3.2 本文的主要貢獻(xiàn)
1.4 論文組織結(jié)構(gòu)
第二章 MPI 通信加速器設(shè)計(jì)
2.1 MPIActor 總體結(jié)構(gòu)
2.1.1 MPIActor 基本思想
2.1.2 MPIActor 的線程MPI 支撐結(jié)構(gòu)
2.2 MPIActor 程序的工作機(jī)制
2.2.1 運(yùn)行期機(jī)制
2.2.2 編譯期機(jī)制
2.2.3 作業(yè)加載機(jī)制
2.3 MPI 接口聚合原理
2.3.1 問題定義
2.3.2 MPI 接口分析
2.4 點(diǎn)對點(diǎn)通信聚合技術(shù)
2.4.1 通信請求分離
2.4.2 節(jié)點(diǎn)間通信請求的轉(zhuǎn)發(fā)方法
ANYSOURCE 類型請求的處理方法"> 2.4.3 對MPIANYSOURCE 類型請求的處理方法
2.5 通信域及進(jìn)程組管理接口聚合技術(shù)
2.5.1 基礎(chǔ)知識
2.5.2 進(jìn)程組構(gòu)造接口聚合
2.5.3 通信域構(gòu)造接口聚合
2.6 基于輕量級單次內(nèi)存拷貝的節(jié)點(diǎn)內(nèi)點(diǎn)對點(diǎn)通信算法
2.6.1 通信基礎(chǔ)結(jié)構(gòu)
2.6.2 通信算法
2.7 實(shí)驗(yàn)與結(jié)果
2.7.1 實(shí)驗(yàn)方法
2.7.2 實(shí)驗(yàn)結(jié)果與分析
2.8 小結(jié)
第三章 基于MPIActor 的集合通信優(yōu)化
3.1 MPI 集合通信接口概述
3.2 MPIActor 分級集合通信算法框架
Allgather 算法模板:一個算法模板示例"> 3.2.1 MPIAllgather 算法模板:一個算法模板示例
3.2.2 分級集合通信算法框架定義
3.3 基于線程MPI 的節(jié)點(diǎn)內(nèi)集合通信通用算法
3.3.1 節(jié)點(diǎn)內(nèi)廣播算法與分散算法
3.3.2 節(jié)點(diǎn)內(nèi)收集
3.3.3 節(jié)點(diǎn)內(nèi)歸約
3.3.4 節(jié)點(diǎn)內(nèi)掃描
reduce 的多級分段歸約算法"> 3.4 面向Nehalem 體系結(jié)構(gòu)intrareduce 的多級分段歸約算法
3.4.1 算法基本思想
3.4.2 算法分析
3.5 實(shí)驗(yàn)與結(jié)果
3.5.1 實(shí)驗(yàn)方法
Bcast)性能研究"> 3.5.2 廣播(MPIBcast)性能研究
Allgather)性能研究"> 3.5.3 多對多廣播(MPIAllgather)性能研究
Reduce)與全歸約(MPIAllreduce)性能研究"> 3.5.4 歸約(MPIReduce)與全歸約(MPIAllreduce)性能研究
3.6 小結(jié)
第四章 一種針對非平衡進(jìn)程到達(dá)模式下MPI 廣播的性能優(yōu)化方法
4.1 相關(guān)工作
4.2 問題分析與競爭式流水化優(yōu)化方法設(shè)計(jì)
4.2.1 性能模型
4.2.2 問題分析
4.2.3 競爭式流水化方法
4.3 競爭式流水化廣播算法實(shí)現(xiàn)
4.4 實(shí)驗(yàn)與結(jié)果
4.4.1 微基準(zhǔn)測試(Micro Benchmark)
4.4.2 應(yīng)用測試
4.5 小結(jié)
第五章 基于MPIActor 的共享內(nèi)存消息傳遞接口優(yōu)化技術(shù)
5.1 SMPI 的基本思想
5.2 SMPI 接口定義
5.2.1 約定與數(shù)據(jù)結(jié)構(gòu)
5.2.2 點(diǎn)對點(diǎn)通信接口
5.2.3 集合通信接口
5.2.4 訪問控制接口
5.3 基于SMPI 接口的并行程序設(shè)計(jì)規(guī)則
5.3.1 點(diǎn)對點(diǎn)通信
5.3.2 集合通信
5.4 應(yīng)用算法實(shí)例與實(shí)驗(yàn)結(jié)果
5.4.1 測試用例:矩陣乘cannon 算法
5.4.2 實(shí)驗(yàn)結(jié)果
5.6 小結(jié)
第六章 結(jié)論與展望
6.1 工作總結(jié)
6.2 工作展望
致謝
參考文獻(xiàn)
作者在學(xué)期間以第一作者身份取得的學(xué)術(shù)成果
附件A 本文的實(shí)驗(yàn)平臺介紹
A.1 Clovertown 集群節(jié)點(diǎn)體系結(jié)構(gòu)簡介
A.2 Nehalem 集群節(jié)點(diǎn)體系結(jié)構(gòu)簡介
【參考文獻(xiàn)】:
期刊論文
[1]科學(xué)計(jì)算應(yīng)用程序探討[J]. 莫則堯,裴文兵. 物理. 2009(08)
[2]淺析高性能計(jì)算應(yīng)用的需求與發(fā)展[J]. 趙毅,朱鵬,遲學(xué)斌,牛鐵,曹宗雁. 計(jì)算機(jī)研究與發(fā)展. 2007(10)
本文編號:3070806
【文章來源】:國防科技大學(xué)湖南省 211工程院校 985工程院校
【文章頁數(shù)】:142 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 研究背景
1.1.1 高性能計(jì)算跨入多核時代
1.1.2 MPI 仍然是應(yīng)對多核系統(tǒng)并行程序開發(fā)的重要手段
1.1.3 多核系統(tǒng)上MPI 通信性能優(yōu)化面臨的挑戰(zhàn)
1.2 國內(nèi)外相關(guān)研究工作
1.2.1 節(jié)點(diǎn)內(nèi)點(diǎn)對點(diǎn)通信優(yōu)化相關(guān)工作
1.2.2 集合通信優(yōu)化的相關(guān)工作
1.2.3 線程MPI 的相關(guān)工作
1.2.4 MPI 支撐軟件發(fā)展情況
1.3 本文的主要內(nèi)容與創(chuàng)新點(diǎn)
1.3.1 本文的研究內(nèi)容
1.3.2 本文的主要貢獻(xiàn)
1.4 論文組織結(jié)構(gòu)
第二章 MPI 通信加速器設(shè)計(jì)
2.1 MPIActor 總體結(jié)構(gòu)
2.1.1 MPIActor 基本思想
2.1.2 MPIActor 的線程MPI 支撐結(jié)構(gòu)
2.2 MPIActor 程序的工作機(jī)制
2.2.1 運(yùn)行期機(jī)制
2.2.2 編譯期機(jī)制
2.2.3 作業(yè)加載機(jī)制
2.3 MPI 接口聚合原理
2.3.1 問題定義
2.3.2 MPI 接口分析
2.4 點(diǎn)對點(diǎn)通信聚合技術(shù)
2.4.1 通信請求分離
2.4.2 節(jié)點(diǎn)間通信請求的轉(zhuǎn)發(fā)方法
ANYSOURCE 類型請求的處理方法"> 2.4.3 對MPIANYSOURCE 類型請求的處理方法
2.5 通信域及進(jìn)程組管理接口聚合技術(shù)
2.5.1 基礎(chǔ)知識
2.5.2 進(jìn)程組構(gòu)造接口聚合
2.5.3 通信域構(gòu)造接口聚合
2.6 基于輕量級單次內(nèi)存拷貝的節(jié)點(diǎn)內(nèi)點(diǎn)對點(diǎn)通信算法
2.6.1 通信基礎(chǔ)結(jié)構(gòu)
2.6.2 通信算法
2.7 實(shí)驗(yàn)與結(jié)果
2.7.1 實(shí)驗(yàn)方法
2.7.2 實(shí)驗(yàn)結(jié)果與分析
2.8 小結(jié)
第三章 基于MPIActor 的集合通信優(yōu)化
3.1 MPI 集合通信接口概述
3.2 MPIActor 分級集合通信算法框架
Allgather 算法模板:一個算法模板示例"> 3.2.1 MPIAllgather 算法模板:一個算法模板示例
3.2.2 分級集合通信算法框架定義
3.3 基于線程MPI 的節(jié)點(diǎn)內(nèi)集合通信通用算法
3.3.1 節(jié)點(diǎn)內(nèi)廣播算法與分散算法
3.3.2 節(jié)點(diǎn)內(nèi)收集
3.3.3 節(jié)點(diǎn)內(nèi)歸約
3.3.4 節(jié)點(diǎn)內(nèi)掃描
reduce 的多級分段歸約算法"> 3.4 面向Nehalem 體系結(jié)構(gòu)intrareduce 的多級分段歸約算法
3.4.1 算法基本思想
3.4.2 算法分析
3.5 實(shí)驗(yàn)與結(jié)果
3.5.1 實(shí)驗(yàn)方法
Bcast)性能研究"> 3.5.2 廣播(MPIBcast)性能研究
Allgather)性能研究"> 3.5.3 多對多廣播(MPIAllgather)性能研究
Reduce)與全歸約(MPIAllreduce)性能研究"> 3.5.4 歸約(MPIReduce)與全歸約(MPIAllreduce)性能研究
3.6 小結(jié)
第四章 一種針對非平衡進(jìn)程到達(dá)模式下MPI 廣播的性能優(yōu)化方法
4.1 相關(guān)工作
4.2 問題分析與競爭式流水化優(yōu)化方法設(shè)計(jì)
4.2.1 性能模型
4.2.2 問題分析
4.2.3 競爭式流水化方法
4.3 競爭式流水化廣播算法實(shí)現(xiàn)
4.4 實(shí)驗(yàn)與結(jié)果
4.4.1 微基準(zhǔn)測試(Micro Benchmark)
4.4.2 應(yīng)用測試
4.5 小結(jié)
第五章 基于MPIActor 的共享內(nèi)存消息傳遞接口優(yōu)化技術(shù)
5.1 SMPI 的基本思想
5.2 SMPI 接口定義
5.2.1 約定與數(shù)據(jù)結(jié)構(gòu)
5.2.2 點(diǎn)對點(diǎn)通信接口
5.2.3 集合通信接口
5.2.4 訪問控制接口
5.3 基于SMPI 接口的并行程序設(shè)計(jì)規(guī)則
5.3.1 點(diǎn)對點(diǎn)通信
5.3.2 集合通信
5.4 應(yīng)用算法實(shí)例與實(shí)驗(yàn)結(jié)果
5.4.1 測試用例:矩陣乘cannon 算法
5.4.2 實(shí)驗(yàn)結(jié)果
5.6 小結(jié)
第六章 結(jié)論與展望
6.1 工作總結(jié)
6.2 工作展望
致謝
參考文獻(xiàn)
作者在學(xué)期間以第一作者身份取得的學(xué)術(shù)成果
附件A 本文的實(shí)驗(yàn)平臺介紹
A.1 Clovertown 集群節(jié)點(diǎn)體系結(jié)構(gòu)簡介
A.2 Nehalem 集群節(jié)點(diǎn)體系結(jié)構(gòu)簡介
【參考文獻(xiàn)】:
期刊論文
[1]科學(xué)計(jì)算應(yīng)用程序探討[J]. 莫則堯,裴文兵. 物理. 2009(08)
[2]淺析高性能計(jì)算應(yīng)用的需求與發(fā)展[J]. 趙毅,朱鵬,遲學(xué)斌,牛鐵,曹宗雁. 計(jì)算機(jī)研究與發(fā)展. 2007(10)
本文編號:3070806
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3070806.html
最近更新
教材專著