發(fā)布時間：2017-08-24 10:07

  本文關鍵詞：基于Xen的虛擬機間MPI通信機制的研究與實現(xiàn)

  更多相關文章： 虛擬化 虛擬機間通信 高性能計算 Xen MPI

【摘要】：虛擬化技術能夠有效降低系統(tǒng)和應用軟件的維護和管理成本，增強系統(tǒng)可靠性以及優(yōu)化資源配置，，基于虛擬化環(huán)境構建的大規(guī)模集群日趨流行。然而虛擬化技術尚未在性能關鍵的應用系統(tǒng)中得到廣泛應用，特別是高性能計算領域。MPI是當今高性能計算環(huán)境中最主流的并行計算模型。在并行計算中，MPI進程需要頻繁地通信，而I/O虛擬化所產(chǎn)生的額外開銷，會顯著地降低虛擬機間MPI進程的通信性能。 大量已有工作對改善虛擬機間通信性能或MPI結點內(nèi)通信性能進行了研究，然而同時結合兩者的研究工作并不多。一個通用的虛擬機間通信框架往往沒有針對MPI應用做特殊優(yōu)化，而結點內(nèi)MPI通信框架則無法在虛擬化環(huán)境中使用。本文在同時考慮了虛擬化環(huán)境的特點以及MPI應用的通信特征的基礎上，通過改進虛擬機間通信模型，對同一臺物理機上的不同虛擬機內(nèi)的MPI進程間的通信性能進行了優(yōu)化。 改進后的模型將通信任務代理給一個隔離的后端通信模塊，通信虛擬機內(nèi)部的開銷大幅降低，而進程的通信與計算重疊能力也得到提升。同時，該模型更有利于MPI長消息傳輸與集合通信的優(yōu)化，能夠有效減少拷貝次數(shù)，并均衡系統(tǒng)中虛擬機的通信負載。此外，該模型保留了原生環(huán)境下利用硬件加速技術的能力，存在進一步優(yōu)化通信性能的潛力。 在改進模型的基礎上，我們進一步給出了基于Xen的虛擬機間MPI通信框架XNEM的設計和實現(xiàn)。XNEM前后端驅(qū)動以內(nèi)核模塊的形式運行在隔離的虛擬機中，不需要對操作系統(tǒng)或虛擬機監(jiān)視器做任何修改�？蚣芴峁┝撕唵味`活的編程接口，能夠方便快速地將框架移植到已有的MPI庫中。同時，我們?yōu)镸PICH庫編寫了XNEM LMT模塊，將XNEM通信框架與MPICH庫整合。使用MPICH庫的MPI進程可以在虛擬環(huán)境下將XNEM LMT模塊作為高性能的虛擬機間通信通道。 我們選取了多個微基準程序和HPC基準程序?qū)NEM框架進行實驗驗證。NetPIPE測試結果顯示，對于MPI長消息傳輸，XNEM的通信吞吐率和延遲顯著優(yōu)于Xen虛擬網(wǎng)絡以及基于共享緩沖的通信模型。IMB基準測試結果顯示12個被測MPI集合操作在XNEM框架下的延遲均好于Xen虛擬網(wǎng)絡，其中的10個表現(xiàn)出更好的通信與計算重疊率。我們還對通信時的CPU利用率進行了測量，并分析可能的系統(tǒng)瓶頸。另外，我們調(diào)整I/O環(huán)大小并重復吞吐率和延遲測試，對XNEM框架的性能進行了調(diào)優(yōu)。最后，我們運行了NPB測試套件中的FT基準程序，驗證了XNEM框架在實際應用中的可用性以及對通信性能的提升。
【關鍵詞】：虛擬化 虛擬機間通信 高性能計算 Xen MPI
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP302
【目錄】：

• 摘要5-7
• ABSTRACT7-9
• 目錄9-12
• 插圖索引12-14
• 表格索引14-15
• 第一章 緒論15-19
• 1.1 研究背景與意義15-17
• 1.2 研究目標17
• 1.3 研究內(nèi)容17-18
• 1.4 論文組織結構18-19
• 第二章 Xen 虛擬機間通信機制概述19-31
• 2.1 Xen 虛擬化技術19-24
• 2.1.1 體系結構19-21
• 2.1.2 關鍵技術21-24
• 2.2 Xen 網(wǎng)絡通信性能分析24-25
• 2.3 相關工作25-30
• 2.3.1 XenLoop26-27
• 2.3.2 MMNet27-28
• 2.3.3 XenSocket28-29
• 2.3.4 IVC29-30
• 2.4 本章小結30-31
• 第三章 虛擬機間 MPI 通信框架的設計31-43
• 3.1 設計目標31
• 3.2 XNEM 通信框架設計31-34
• 3.2.1 框架概覽31-33
• 3.2.2 通信流程33-34
• 3.3 XNEM 通信模型分析34-42
• 3.3.1 數(shù)據(jù)拷貝35-37
• 3.3.2 通信特征37-38
• 3.3.3 MPI 集合通信38-40
• 3.3.4 I/O 硬件加速40-42
• 3.4 本章小結42-43
• 第四章 虛擬機間 MPI 通信框架的實現(xiàn)43-61
• 4.1 XNEM 框架的實現(xiàn)43-52
• 4.1.1 模塊初始化43-44
• 4.1.2 共享數(shù)據(jù)結構44-46
• 4.1.3 XNEM 前端驅(qū)動的實現(xiàn)46-49
• 4.1.4 XNEM 后端驅(qū)動的實現(xiàn)49-52
• 4.2 XNEM 與 MPICH 整合52-60
• 4.2.1 MPICH 架構52-54
• 4.2.2 XNEM LMT 模塊的實現(xiàn)54-57
• 4.2.3 控制信息傳遞57-60
• 4.2.4 模塊選擇的虛擬化感知60
• 4.3 本章小結60-61
• 第五章 實驗驗證61-77
• 5.1 實驗環(huán)境61-65
• 5.1.1 系統(tǒng)環(huán)境61
• 5.1.2 基準程序61-65
• 5.2 實驗結果與分析65-75
• 5.2.1 吞吐率與延遲65-68
• 5.2.2 過載條件下的吞吐率和延遲68-70
• 5.2.3 Dom0 的 CPU 利用率70-71
• 5.2.4 I/O 環(huán)對通信性能的影響71-72
• 5.2.5 MPI 集合通信72-73
• 5.2.6 HPC 應用程序73-75
• 5.3 本章小結75-77
• 第六章 總結與展望77-79
• 附錄A 部分源代碼79-81
• 參考文獻81-85
• 致謝85-87
• 攻讀學位期間發(fā)表的學術論文目錄87

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 程耀東;陳剛;;科研大數(shù)據(jù)平臺關鍵技術與實踐[J];工程研究-跨學科視野中的工程;2014年03期

2 湯恩義;BARR Earlz;蘇振東;李宣東;;程序數(shù)值誤差的擾動檢測與優(yōu)化[J];中國科學:信息科學;2014年11期

3 崔奇;谷建華;;MPI集合通信剖析技術的研究[J];計算機技術與發(fā)展;2013年10期

4 Ping Lu;Zhenjiang Dong;Shengmei Luo;Lixia Liu;Shanshan Guan;Shengyu Liu;Qingcai Chen;;A Parallel Platform for Web Text Mining[J];ZTE Communications;2013年03期

中國博士學位論文全文數(shù)據(jù)庫 前6條

1 羅耀華;高性能計算在高光譜遙感數(shù)據(jù)處理中的應用研究[D];成都理工大學;2013年

2 徐新海;硬件故障在程序中的傳播行為分析及容錯技術研究[D];國防科學技術大學;2012年

3 李承功;流場的格子Boltzmann模擬及其GPU-CUDA并行計算[D];大連理工大學;2013年

4 林宇斐;大規(guī)模并行計算通信可擴展性—分析、優(yōu)化與模擬[D];國防科學技術大學;2013年

5 王希忠;基于MPI的分段線性混沌映射加密算法的研究[D];哈爾濱理工大學;2014年

6 胡子翔;塑料注射成形模擬中方程組的高效求解方法[D];華中科技大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 趙金鵬;基于MPI的矩陣乘法效率研究[D];成都理工大學;2013年

2 杜慶良;蛋白質(zhì)結構預測的并行模擬退火算法研究[D];福建農(nóng)林大學;2013年

3 劉燕;高性能計算集群的建立及CdGa_2S_4性質(zhì)的計算[D];山西大學;2013年

4 劉雪巍;艦船圖像處理并行任務調(diào)度算法研究[D];哈爾濱工程大學;2013年

5 劉源;基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)設計與實現(xiàn)[D];大連理工大學;2013年

6 翟頡;基于JPEG2000的高光譜數(shù)據(jù)并行解壓縮系統(tǒng)研究[D];中國科學院研究生院（西安光學精密機械研究所）;2013年

7 潘晨旭;多向藥理學計算中藥物靶標預測計算精度的改進及三維分子相似性的分布式計算研究[D];華東理工大學;2014年

8 李昂;基于MPI和OpenMP的2.5維CSAMT正反演混和并行算法的研究[D];吉林大學;2014年

9 龔興全;基于OpenCL的圖形處理器FDTD算法仿真研究[D];山東大學;2014年

10 張新;基于SMP的離散事件執(zhí)行驅(qū)動性能模擬器設計與實現(xiàn)[D];國防科學技術大學;2012年

本文編號：730656