【摘要】：高性能計算(High performance computing,HPC)系統(tǒng)通常物理上存在多個存儲層次,并采用分層存儲管理機(jī)制組織數(shù)據(jù)。突發(fā)緩沖區(qū)技術(shù)(burst buffer)常作為計算節(jié)點和后端存儲層(由Lustre、GPFS等管理)之間“快”的存儲層來提升整個HPC集群性能,但burst buffer技術(shù)與管理后端存儲層的分布式文件系統(tǒng)并未形成一個全局的命名空間,數(shù)據(jù)在不同存儲層的“遷移”仍然需要管理人員的參與,增加了管理的復(fù)雜度及成本。另外,在HPC領(lǐng)域,分布式文件系統(tǒng)中數(shù)據(jù)和元數(shù)據(jù)存放在專用的服務(wù)器節(jié)點上,客戶端節(jié)點(也是計算節(jié)點)上的應(yīng)用通過網(wǎng)絡(luò)來訪問數(shù)據(jù)和元數(shù)據(jù),這樣會帶來網(wǎng)絡(luò)延遲以及客戶端應(yīng)用之間爭用共享資源的問題。而客戶端節(jié)點常配置較高性能的存儲設(shè)備,如基于Flash的SSD,甚至性能更高的基于3D XPoint的SSD等,但這些高性能的本地存儲介質(zhì)的利用率并不大(大量數(shù)據(jù)仍然存儲在容量更大、更廉價的后端存儲層)。因此,充分利用客戶端性能優(yōu)異的存儲設(shè)備,實現(xiàn)高效、靈活的緩存層,具有重要的研究價值�；贚ustre,提出了一種面向新型非易失性存儲器的客戶端持久性緩存系統(tǒng)NVMLPCC(Non-volatile memory-oriented Lustre Persistent Cache on Client)。利用Lustre客戶端高性能的非易失性存儲器,NVM-LPCC實現(xiàn)了兩種緩存模式:讀寫緩存模式和只讀緩存模式。在讀寫緩存模式中,文件被單客戶端緩存,加速單客戶端應(yīng)用讀寫性能;在只讀緩存模式中,文件能夠被多客戶端緩存,加速多客戶端應(yīng)用讀性能。NVM-LPCC充分利用Lustre的分層存儲管理機(jī)制和分布式鎖管理機(jī)制,在全局命名空間下,實現(xiàn)了數(shù)據(jù)在客戶端緩存層和Lustre服務(wù)器端存儲層之間靈活的同步操作,并維持了數(shù)據(jù)的一致性和有效性。實驗結(jié)果表明,NVM-LPCC相比原生Lustre系統(tǒng)能夠提高35.82倍的平均讀帶寬,9.65倍的平均寫帶寬,并且具有很好的擴(kuò)展性。此外,使用新型非易失性存儲器作為客戶端緩存介質(zhì)相比使用普通SSD平均讀帶寬提升10.40倍,平均寫帶寬提升4.41倍。
【圖文】：

圖 4-2 讀寫緩存模式下 attach 以及 restore 操作圖 4-3 只讀緩存模式下 attach 以及修改緩存文件操作4.3 讀寫緩存模式測試本節(jié)首先采用 Fio 測試工具在單客戶端下對不同存儲層的讀寫性能進(jìn)行測試；接著，使用 Filebench 模擬負(fù)載，進(jìn)一步測試了 NVM-LPCC 的性能；最后，在多客戶端環(huán)境下，測試了 NVM-LPCC 方案的擴(kuò)展性。4.3.1 不同存儲層性能

圖 4-3 只讀緩存模式下 attach 以及修改緩存文件操作4.3 讀寫緩存模式測試本節(jié)首先采用 Fio 測試工具在單客戶端下對不同存儲層的讀寫性能進(jìn)行測試；接著，使用 Filebench 模擬負(fù)載，進(jìn)一步測試了 NVM-LPCC 的性能；最后，在多客戶端環(huán)境下，，測試了 NVM-LPCC 方案的擴(kuò)展性。4.3.1 不同存儲層性能本文設(shè)計的 Lustre 客戶端緩存系統(tǒng)采用本地文件系統(tǒng)來管理緩存數(shù)據(jù)，文件操作方式均采用 POSIX 接口。因此，可以較為容易地將不同的存儲介質(zhì)和本地文件系統(tǒng)整合到 Lustre 客戶端緩存系統(tǒng)中。為了對比不同存儲介質(zhì)對緩存性能的影響，本文也實現(xiàn)了基于 SSD 并使用 EXT4 來管理緩存數(shù)據(jù)的 Lustre 客戶端緩存方案 SSD-LPCC。而且，本文整合了不同的開源文件系統(tǒng) EXT4-DAX、PMFS、NOVA 來管理客戶端的 NVM，形成了三種不同的 NVM-LPCC 方案，分別是 EXT4-DAX-LPCC，PMFS-LPCC，NOVA-
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 梁軍;謝文君;;分布式文件系統(tǒng)Lustre的研究[J];信息技術(shù);2014年04期

2 劉素芹;李興盛;碩s

本文編號：2660574