發(fā)布時(shí)間：2024-01-27 09:47

　　并行分布式文件系統(tǒng)中節(jié)點(diǎn)達(dá)到一定規(guī)模時(shí),大量I/O請求競爭I/O資源,造成類似網(wǎng)絡(luò)擁塞的I/O擁塞,導(dǎo)致I/O吞吐率下降和I/O延遲不可控。本文以Lustre分布式文件系統(tǒng)為應(yīng)用場景代表,對I/O擁塞控制進(jìn)行研究�，F(xiàn)有Lustre設(shè)計(jì)對大規(guī)模集群下的I/O擁塞問題考慮不足,沒有對I/O請求進(jìn)行有效管控,使得集群整體的效率不高。手動地對集群的存儲系統(tǒng)進(jìn)行I/O擁塞控制在HPC領(lǐng)域的實(shí)際應(yīng)用中不夠靈活,尤其是當(dāng)存儲系統(tǒng)的規(guī)模達(dá)到艾級(Exascale)時(shí),更是難以實(shí)現(xiàn)。因此,有必要對自動I/O擁塞控制機(jī)制進(jìn)行研究,保證全局自適應(yīng)服務(wù)質(zhì)量。提出一種自動I/O擁塞控制機(jī)制AIOCC(Automatic I/O congestion control)。在服務(wù)端設(shè)計(jì)了一種以提高應(yīng)用I/O效率為調(diào)度目標(biāo)的I/O請求調(diào)度策略,使用TBF策略實(shí)施調(diào)度過程,并將令牌分配值反饋至客戶端;在客戶端設(shè)計(jì)了一種動態(tài)調(diào)整I/O請求發(fā)送數(shù)量和速率的擁塞窗口控制機(jī)制,自適應(yīng)地根據(jù)集群的擁塞狀況調(diào)整I/O請求發(fā)送窗口,并基于應(yīng)用粒度根據(jù)擁塞狀況分配I/O請求發(fā)送窗口。同時(shí),在服務(wù)端和客戶端使用深度Q-learning方法...

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

圖2.5發(fā)送窗口分配策略不當(dāng)示意圖

圖4.1AIOCC測試環(huán)境集群拓?fù)浣Y(jié)構(gòu)

圖4.2Lustre測試環(huán)境集群存儲容量

圖4.3CPU使用記錄

本文編號：3886735