發(fā)布時(shí)間：2020-12-19 02:13

　　大數(shù)據(jù)和人工智能時(shí)代,超級計(jì)算中心或數(shù)據(jù)中心的存儲需求從PB級向Exabyte級擴(kuò)展,許多大數(shù)據(jù)和智能應(yīng)用程序在高性能計(jì)算(HPC)系統(tǒng)上運(yùn)行,新興的深度學(xué)習(xí)應(yīng)用程序具有批量小文件隨機(jī)輸入特點(diǎn),使HPC系統(tǒng)的I/O模式更趨復(fù)雜,存儲管理和I/O瓶頸問題日益突出。并行文件系統(tǒng)是管理超級計(jì)算機(jī)數(shù)據(jù)存儲的有效手段,但傳統(tǒng)并行文件系統(tǒng)主要面向高帶寬需求的科學(xué)計(jì)算任務(wù),難以滿足智能應(yīng)用程序存儲需求。針對上述問題,以新興的BeeGFS文件系統(tǒng)為基礎(chǔ),研究并行文件系統(tǒng)性能優(yōu)化的關(guān)鍵技術(shù)。設(shè)計(jì)實(shí)現(xiàn)了基于鍵值存儲的元數(shù)據(jù)管理模塊以優(yōu)化元數(shù)據(jù)IOPS,基于異步I/O和多線程技術(shù)的并行I/O處理模型以提升I/O處理并發(fā)度,并采用多軌通信機(jī)制以提高網(wǎng)絡(luò)通信帶寬。構(gòu)建了IO500性能評測環(huán)境,在相同的配置環(huán)境下,I/O帶寬和元數(shù)據(jù)2類基準(zhǔn)測試結(jié)果表明,改進(jìn)后的并行文件系統(tǒng)在元數(shù)據(jù)、數(shù)據(jù)讀寫性能上大幅提升,IO500測分是原有系統(tǒng)的2倍以上。 

【文章來源】：計(jì)算機(jī)工程與科學(xué). 2020年10期 北大核心

【文章頁數(shù)】：9 頁

【部分圖文】：

BeeGFS并行分布式文件系統(tǒng)架構(gòu)

針對BeeGFS進(jìn)行元數(shù)據(jù)方面的性能測試與分析,部署5個(gè)Client端,分別測試4個(gè)和5個(gè)MDS組成的元數(shù)據(jù)集群,文件創(chuàng)建、查看文件狀態(tài)和文件刪除的性能測試結(jié)果如圖2所示,其中橫坐標(biāo)軸表示每個(gè)Client的進(jìn)程數(shù),縱坐標(biāo)軸表示IOPS。測試結(jié)果表明,文件創(chuàng)建性能最高為98 341 IOPS,查看文件狀態(tài)最大性能為384 449 IOPS,文件刪除最高性能為20 510 IOPS,根據(jù)BeeGFS的元數(shù)據(jù)分布方式:目錄隨機(jī)分布到元數(shù)據(jù)結(jié)點(diǎn),文件仍然由父目錄所在的服務(wù)器處理,這些元數(shù)據(jù)操作大部分發(fā)生在單結(jié)點(diǎn)中,是利用本地文件系統(tǒng)的文件attr屬性來存儲約128字節(jié)的元數(shù)據(jù)。而在鍵值存儲中,比如著名的RocksDB,在單結(jié)點(diǎn)中對100萬條記錄對(Key:16 Bytes,Value:100 Bytes)進(jìn)行處理,其性能為隨機(jī)寫631 222 IOPS,隨機(jī)讀2 577 505 IOPS,而在pmemkv這類鍵值存儲中,性能更高。

表1 獲取/dir/file過程中的Key和ValueTable 1 Key-value used by/dir/file Key Value 1 inode{is_directory,”/”,stat,atime,ctime,mtime…} 2 inode{is_directory,”dir”stat,atime,ctime,mtime…} 3 inode{is_directory,”file”stat,atime,ctime,mtime…} 1,”dir” 2 2,”file” 3算法1 基于KV元數(shù)據(jù)結(jié)構(gòu)獲取/dir/file


本文編號：2925058