MPI聚合通信操作廣泛應用于并行科學計算中,對程序的可擴展性和性能有重要影響。天河互連網(wǎng)絡支持基于觸發(fā)的消息通信操作,通過在網(wǎng)絡接口中卸載執(zhí)行數(shù)據(jù)傳輸和計算操作,提高結點通信性能。利用觸發(fā)操作,實現(xiàn)結點之間的歸約操作通信卸載,設計了不同樹形結構的Allreduce和Reduce通信卸載算法�；趯嶋H系統(tǒng)平臺的測試表明,與MPICH中基于點對點通信實現(xiàn)的歸約算法相比,基于觸發(fā)的通信卸載算法在不同規(guī)模下運行時間最多可降低59.6%。 

【文章來源】：計算機工程與科學. 2020,42(11)北大核心CSCD

【文章頁數(shù)】：7 頁

【部分圖文】：

虛擬端口實現(xiàn)用戶通信過程

為了加速聚合通信的執(zhí)行,互連網(wǎng)絡接口芯片基于現(xiàn)有的通信機制,設計實現(xiàn)了一種軟硬件結合的觸發(fā)機制,來進行聚合通信的通信卸載處理。在網(wǎng)絡接口中加入一種特殊的硬件觸發(fā)邏輯部件,該部件在滿足觸發(fā)條件時自動執(zhí)行數(shù)據(jù)的復制、替換、接收或發(fā)送,不需要處理器的參與。用戶設置一組通信請求描述符序列,在描述符序列頭部定義對通信請求的控制操作,比如觸發(fā)控制條件值、報文數(shù)據(jù)復制或替換的選項等。描述符序列被提交到虛擬端口中后,并不會立即執(zhí)行,需要等待觸發(fā)條件。在進行聚合通信操作時,當從網(wǎng)絡接口接收到的數(shù)據(jù)報文設定了描述符序列的觸發(fā)條件時,觸發(fā)邏輯部件將會自動執(zhí)行描述符序列,并根據(jù)描述符序列的設置選項完成復制、替換或轉發(fā)等操作。這種觸發(fā)機制由控制報文CP(Control Packet)處理,互連端口中有控制報文的計數(shù)器(CP Counter),當網(wǎng)絡接口接收到新的CP時,CP Counter計數(shù)加一,當達到計數(shù)閾值時,就立即觸發(fā)描述符序列的執(zhí)行,結點的觸發(fā)原理如圖2所示。該機制有多種優(yōu)勢:邏輯設計簡單;可以構造多種樹形拓撲結構的通信卸載算法,算法構造的拓撲與物理拓撲不一定完全對應,靈活性好;處理器不參與數(shù)據(jù)傳輸,受到系統(tǒng)噪聲影響較小;數(shù)據(jù)傳輸由硬件自動完成,在結點規(guī)模增加時延遲增幅較小,可擴展性好;消息在網(wǎng)絡接口中自行復制,減少跨PCIe的數(shù)據(jù)傳輸。為了支持歸約操作,網(wǎng)絡接口還加入了計算邏輯單元ALU,硬件支持最多同時對7個歸約數(shù)據(jù)進行歸約計算,可供支持的歸約操作有浮點/整型求和、最大值、最小值,邏輯/位與、或、異或操作,通過計算卸載操作來進一步提高歸約操作的通信性能。

圖3 16結點的2-nomial樹和4-nomial樹以上構造樹中的結點分為根結點(Root Node)、葉結點(Leaf Node)和中間結點(Inner Node) 3類,根結點最上層的1個結點;葉結點每條分支中最下層的結點;其余結點是中間結點。樹中的邊表示為父子關系,隸屬于同一父結點的同一層子結點互為兄弟關系。結點間的通信只在父子結點之間進行,但每個結點上的通信操作則根據(jù)結點類型和子結點個數(shù),而有所不同。

【參考文獻】：
期刊論文
[1]The TianHe-1A Supercomputer: Its Hardware and Software[J]. 楊學軍,廖湘科,盧凱,胡慶豐,宋君強,蘇金樹.  Journal of Computer Science & Technology. 2011(03)

博士論文
[1]面向多核的系統(tǒng)級MPI通信優(yōu)化關鍵技術研究[D]. 劉志強.國防科學技術大學 2011



本文編號：3419907