隨著大數(shù)據(jù)應(yīng)用和傳統(tǒng)高性能計(jì)算應(yīng)用的融合以及異構(gòu)計(jì)算的引入,傳統(tǒng)面向高性能計(jì)算的并行存儲(chǔ)系統(tǒng)面臨著異構(gòu)計(jì)算I/O支持差、性能干擾和效率低等問(wèn)題。通過(guò)在系統(tǒng)架構(gòu)引入多層次存儲(chǔ)架構(gòu)、設(shè)計(jì)緩存映射機(jī)制來(lái)減輕I/O負(fù)載。在轉(zhuǎn)發(fā)服務(wù)層,調(diào)整I/O轉(zhuǎn)發(fā)策略,均衡I/O負(fù)載。在后端存儲(chǔ)層,對(duì)系統(tǒng)高可用功能進(jìn)行調(diào)整,解決大數(shù)據(jù)I/O訪問(wèn)模式與原有高可用措施的沖突。經(jīng)過(guò)優(yōu)化設(shè)計(jì)和完善后的并行存儲(chǔ)系統(tǒng)更好地適應(yīng)了異構(gòu)眾核架構(gòu),使得某些應(yīng)用獲得了10倍以上的I/O性能提升。 

【文章來(lái)源】：大數(shù)據(jù). 2020,6(04)

【文章頁(yè)數(shù)】：10 頁(yè)

【部分圖文】：

存儲(chǔ)系統(tǒng)組成

LWFS是在“神威藍(lán)光”存儲(chǔ)系統(tǒng)中引入的[24],早期的設(shè)計(jì)沒(méi)有考慮異構(gòu)眾核場(chǎng)景,計(jì)算節(jié)點(diǎn)采用了無(wú)緩存的用戶層文件系統(tǒng)設(shè)計(jì)。對(duì)于異構(gòu)眾核架構(gòu)的“神威·太湖之光”來(lái)說(shuō),無(wú)緩存的設(shè)計(jì)會(huì)導(dǎo)致頻繁的網(wǎng)絡(luò)I/O,增加系統(tǒng)開(kāi)銷。為了支持異構(gòu)眾核場(chǎng)景的I/O訪問(wèn),LWFS引入緩存設(shè)計(jì),并且設(shè)計(jì)協(xié)同機(jī)制,與I/O轉(zhuǎn)發(fā)服務(wù)層的緩存保持一致。圖5 數(shù)據(jù)緩存方式

圖4 神威并行存儲(chǔ)系統(tǒng)架構(gòu)如圖5所示,數(shù)據(jù)緩存有兩種方式,第一種方式是某塊數(shù)據(jù)(如data1)只在特定的I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點(diǎn)上緩存,這種方式的好處是緩存在I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點(diǎn)處共享,一致性協(xié)議只需支持多計(jì)算節(jié)點(diǎn)和I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點(diǎn)間的緩存一致性即可,高效簡(jiǎn)單。但缺點(diǎn)是數(shù)據(jù)與服務(wù)節(jié)點(diǎn)黏性太大,不利于服務(wù)節(jié)點(diǎn)的容錯(cuò)以及I/O通路的靈活調(diào)度。第二種方式是數(shù)據(jù)(如data2)可以在不同的I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點(diǎn)上緩存,一致性協(xié)議需要考慮多I/O轉(zhuǎn)發(fā)服務(wù)節(jié)點(diǎn)之間的數(shù)據(jù)同步及更新。神威并行存儲(chǔ)系統(tǒng)中的實(shí)現(xiàn)方式是兩種方式的融合,同一資源分區(qū)的相同I/O數(shù)據(jù)(例如同一塊磁盤(pán)上的數(shù)據(jù))通過(guò)哈希運(yùn)算盡量在相同服務(wù)節(jié)點(diǎn)緩存,只有在服務(wù)節(jié)點(diǎn)負(fù)載過(guò)大或者非同一資源分區(qū)時(shí),同一塊I/O數(shù)據(jù)才緩存分布在多服務(wù)節(jié)點(diǎn)。

【參考文獻(xiàn)】：
期刊論文
[1]基于“神威太湖之光”的Caffe分布式擴(kuò)展研究[J]. 朱傳家,劉鑫,方佳瑞.  計(jì)算機(jī)應(yīng)用與軟件. 2020(01)
[2]The Sunway Taihu Light supercomputer:system and applications[J]. Haohuan FU,Junfeng LIAO,Jinzhe YANG,Lanning WANG,Zhenya SONG,Xiaomeng HUANG,Chao YANG,Wei XUE,Fangfang LIU,Fangli QIAO,Wei ZHAO,Xunqiang YIN,Chaofeng HOU,Chenglong ZHANG,Wei GE,Jian ZHANG,Yangang WANG,Chunbo ZHOU,Guangwen YANG.  Science China（Information Sciences）. 2016(07)



本文編號(hào)：3143205