遠程內(nèi)存直接訪問技術（RDMA）允許應用繞過遠端CPU,直接訪問遠程機器的內(nèi)存,并將協(xié)議棧卸載到網(wǎng)卡來向數(shù)據(jù)中心應用提供超低的延遲,減少網(wǎng)絡通信需要的計算開銷。然而,一方面由于RDMA將網(wǎng)絡連接存儲在空間有限的網(wǎng)卡緩存中來加速網(wǎng)絡IO,當通信連接數(shù)量過多時會導致網(wǎng)卡緩存命中率低,網(wǎng)絡IO性能急劇下降�，F(xiàn)有解決方案在本地多個通信線程間使用互斥鎖來共享底層網(wǎng)絡連接,減少與相同結(jié)點通信連接的數(shù)量,但存在鎖競爭開銷大且無法為多個線程提供公平服務的問題。另一方面,網(wǎng)絡通信一直是分布式機器學習的瓶頸,當前使用RDMA加速分布式應用的研究僅考慮在小數(shù)據(jù)通信場景下對傳輸服務類型和通信原語的選擇,沒有考慮應用移植時網(wǎng)絡通信接口語義不匹配,以及更多影響RDMA性能的因素包括網(wǎng)絡連接參數(shù)選擇,網(wǎng)絡緩沖區(qū)管理,PCIe傳輸效率等問題,因此無法為分布式機器學習應用提出系統(tǒng)的有效加速方案。本文的第一個工作針對現(xiàn)有基于互斥鎖資源復用方式存在性能瓶頸,接收隊列無法在多個應用間復用的問題,且結(jié)合資源共享下保障應用服務公平的需求,在系統(tǒng)層面對底層網(wǎng)絡資源進行復用,設計抽象連接和異步請求處理來向上層多個應用提供網(wǎng)絡服務。本... 

【文章來源】：南京大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：87 頁

【學位級別】：碩士

【部分圖文】：

ROCE、1和RocEvZ協(xié)議棧lI]

允許網(wǎng)絡設備實現(xiàn)流轉(zhuǎn)發(fā)優(yōu)化（如ＥＣＭＰ?（Ｅｑｕｉｖａｌｅｎｔ?Ｃｏｓｔ?Ｍｕｌｔｉｐｌｅ?Ｐａｔｈ））??而不必關心各種協(xié)議頭部格式的細節(jié)。由于ＲｏＣＥｖ２僅僅改變了網(wǎng)絡數(shù)據(jù)包的??協(xié)議格式，對應用層的使用沒有任何影響，因此，如圖２－１所示，應用可以在??兩種ＲＤＭＡ網(wǎng)絡服務上無縫切換。與應用直接進行交互的是０ＦＡ（０ｐｅｎ?Ｆａｂｒｉｃ??Ａｌｌｉａｎｃｅ）?Ｓｔａｃｋ和Ｖｅｒｂｓ?ＡＰ丨接口，這些軟件層幫助應用完成和網(wǎng)卡硬件一系列??的１０交互。??與傳統(tǒng)ＴＣＰ／ＩＰ網(wǎng)絡１０模型不同，ＲＤＭＡ網(wǎng)絡下由于協(xié)議棧卸載到網(wǎng)??卡上，使得１０路徑不需要經(jīng)過內(nèi)核態(tài)，且應用直接和網(wǎng)卡硬件交互，使得??ＲＤＭＡ的１０模型是純異步的。如圖２－２所示｜２１，ＲＤＭＡ提供用戶態(tài)可訪問的??ＱＰ?（ＱｕｅｕｅＰａｉｒ），?ＣＱ?（Ｃｏｍｐｌｅｔｉｏｎ?Ｑｕｅｕｅ）１２丨以及?ＵＡＲ?（Ｕｓｅｒ?Ａｃｃｅｓｓ?Ｒｅｇｉｏｎ）１３丨數(shù)??據(jù)結(jié)構來繞過內(nèi)核搭建應用與網(wǎng)卡硬件之間１０交互的通道，應用之間的消息??服務建立在由通信雙方本地和遠端的ＱＰ構建的Ｃｈａｎｎｅｌ－ＩＯ連接之上。首先，??

并通過特定與每個應用的Ｋｅｙ來訪問該映射表，當處理應用的ＷＱＥ時，??可以根據(jù)ＷＱＥ中的Ｋｅｙ和指向的虛擬內(nèi)存地址來在表中查找物理內(nèi)存地址，??并向該物理內(nèi)存地址發(fā)起ＰＣＩｅ的１０操作⑶。整個地址轉(zhuǎn)換流程如圖２－３所示。??


本文編號：3570016