隨著大數(shù)據(jù)應(yīng)用和傳統(tǒng)高性能計算應(yīng)用的融合以及異構(gòu)計算的引入,傳統(tǒng)面向高性能計算的并行存儲系統(tǒng)面臨著異構(gòu)計算I/O支持差、性能干擾和效率低等問題。通過在系統(tǒng)架構(gòu)引入多層次存儲架構(gòu)、設(shè)計緩存映射機制來減輕I/O負載。在轉(zhuǎn)發(fā)服務(wù)層,調(diào)整I/O轉(zhuǎn)發(fā)策略,均衡I/O負載。在后端存儲層,對系統(tǒng)高可用功能進行調(diào)整,解決大數(shù)據(jù)I/O訪問模式與原有高可用措施的沖突。經(jīng)過優(yōu)化設(shè)計和完善后的并行存儲系統(tǒng)更好地適應(yīng)了異構(gòu)眾核架構(gòu),使得某些應(yīng)用獲得了10倍以上的I/O性能提升。 

【文章來源】：大數(shù)據(jù). 2020,6(04)

【文章頁數(shù)】：10 頁

【部分圖文】：

存儲系統(tǒng)組成

LWFS是在“神威藍光”存儲系統(tǒng)中引入的[24],早期的設(shè)計沒有考慮異構(gòu)眾核場景,計算節(jié)點采用了無緩存的用戶層文件系統(tǒng)設(shè)計。對于異構(gòu)眾核架構(gòu)的“神威·太湖之光”來說,無緩存的設(shè)計會導(dǎo)致頻繁的網(wǎng)絡(luò)I/O,增加系統(tǒng)開銷。為了支持異構(gòu)眾核場景的I/O訪問,LWFS引入緩存設(shè)計,并且設(shè)計協(xié)同機制,與I/O轉(zhuǎn)發(fā)服務(wù)層的緩存保持一致。圖5 數(shù)據(jù)緩存方式

圖4 神威并行存儲系統(tǒng)架構(gòu)如圖5所示,數(shù)據(jù)緩存有兩種方式,第一種方式是某塊數(shù)據(jù)(如data1)只在特定的I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點上緩存,這種方式的好處是緩存在I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點處共享,一致性協(xié)議只需支持多計算節(jié)點和I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點間的緩存一致性即可,高效簡單。但缺點是數(shù)據(jù)與服務(wù)節(jié)點黏性太大,不利于服務(wù)節(jié)點的容錯以及I/O通路的靈活調(diào)度。第二種方式是數(shù)據(jù)(如data2)可以在不同的I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點上緩存,一致性協(xié)議需要考慮多I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點之間的數(shù)據(jù)同步及更新。神威并行存儲系統(tǒng)中的實現(xiàn)方式是兩種方式的融合,同一資源分區(qū)的相同I/O數(shù)據(jù)(例如同一塊磁盤上的數(shù)據(jù))通過哈希運算盡量在相同服務(wù)節(jié)點緩存,只有在服務(wù)節(jié)點負載過大或者非同一資源分區(qū)時,同一塊I/O數(shù)據(jù)才緩存分布在多服務(wù)節(jié)點。

【參考文獻】：
期刊論文
[1]基于“神威太湖之光”的Caffe分布式擴展研究[J]. 朱傳家,劉鑫,方佳瑞.  計算機應(yīng)用與軟件. 2020(01)
[2]The Sunway Taihu Light supercomputer:system and applications[J]. Haohuan FU,Junfeng LIAO,Jinzhe YANG,Lanning WANG,Zhenya SONG,Xiaomeng HUANG,Chao YANG,Wei XUE,Fangfang LIU,Fangli QIAO,Wei ZHAO,Xunqiang YIN,Chaofeng HOU,Chenglong ZHANG,Wei GE,Jian ZHANG,Yangang WANG,Chunbo ZHOU,Guangwen YANG.  Science China（Information Sciences）. 2016(07)



本文編號：3143205