大規(guī)模Lustre集群文件系統(tǒng)關(guān)鍵技術(shù)的研究
發(fā)布時間:2021-06-08 12:19
集群已成為當(dāng)今高性能計算機的主流體系結(jié)構(gòu)。集群文件系統(tǒng)是緩解高性能計算集群I/O瓶頸問題的核心技術(shù)。隨著高性能計算技術(shù)的不斷發(fā)展,很多高性能計算應(yīng)用的存儲需求在不斷提高。Lustre是領(lǐng)先的集群文件系統(tǒng),已經(jīng)成為構(gòu)建高性能計算存儲系統(tǒng)的標(biāo)準(zhǔn),在高性能計算市場中占據(jù)統(tǒng)治地位。它可以有效地擴展到支持上萬個節(jié)點的大規(guī)模HPC系統(tǒng),具有被證實的聚合性能和擴展性。隨著高性能計算不斷的以增加節(jié)點來提升系統(tǒng)性能,未來高性能計算集群將變得異常龐大,技術(shù)上給Lustre帶來了擴展性、I/O性能和可用性等諸多嚴峻挑戰(zhàn)。本文所做的工作就是緊緊圍繞這些問題展開的。具體研究內(nèi)容和創(chuàng)新成果如下:(1)針對大規(guī)模應(yīng)用的并行I/O訪問特性,設(shè)計了一種新穎的跨網(wǎng)絡(luò)的服務(wù)器端I/O請求調(diào)度器框架,并提出了一種基于對象的輪轉(zhuǎn)(OBRR, Object Based Round Robin)調(diào)度算法來優(yōu)化性能。它通過調(diào)度上層的并行I/O請求的執(zhí)行,呈現(xiàn)給后端存儲系統(tǒng)更容易優(yōu)化的I/O工作負載。同時,為了避免饑餓以及滿足不同緊急程度I/O請求響應(yīng)時間的需求,提出了一種新穎的兩級deadline設(shè)置策略:動態(tài)deadline和強制...
【文章來源】:國防科技大學(xué)湖南省 211工程院校 985工程院校
【文章頁數(shù)】:159 頁
【學(xué)位級別】:博士
【部分圖文】:
Lustre體系結(jié)構(gòu)
圖 2.2 Lustre 子系統(tǒng)交互圖言,Lustre 是一個透明的文件系統(tǒng),它無需知訪問整個文件系統(tǒng)的數(shù)據(jù)。在 Lustre 文件系據(jù)的交互,包括文件 I/O 鎖操作、文件數(shù)據(jù)的
Network Data object圖 2.3 Lustre I/O 系統(tǒng)組件圖ort 對來建立客戶端服務(wù)器間的通訊通道ort,OSC 可以向 OST 發(fā)送請求或者接收通過對應(yīng)的 export 接收處理來自客戶
【參考文獻】:
博士論文
[1]機群文件系統(tǒng)服務(wù)器關(guān)鍵技術(shù)研究[D]. 吳思寧.中國科學(xué)院研究生院(計算技術(shù)研究所) 2004
[2]分布式文件系統(tǒng)高可用問題研究[D]. 史小冬.中國科學(xué)院研究生院(計算技術(shù)研究所) 2002
碩士論文
[1]藍鯨分布式文件系統(tǒng)數(shù)據(jù)一致性語義研究[D]. 范勇.中國科學(xué)院研究生院(計算技術(shù)研究所) 2006
[2]基于日志的機群文件系統(tǒng)高可用關(guān)鍵技術(shù)研究[D]. 李暉.中國科學(xué)院研究生院(計算技術(shù)研究所) 2005
本文編號:3218435
【文章來源】:國防科技大學(xué)湖南省 211工程院校 985工程院校
【文章頁數(shù)】:159 頁
【學(xué)位級別】:博士
【部分圖文】:
Lustre體系結(jié)構(gòu)
圖 2.2 Lustre 子系統(tǒng)交互圖言,Lustre 是一個透明的文件系統(tǒng),它無需知訪問整個文件系統(tǒng)的數(shù)據(jù)。在 Lustre 文件系據(jù)的交互,包括文件 I/O 鎖操作、文件數(shù)據(jù)的
Network Data object圖 2.3 Lustre I/O 系統(tǒng)組件圖ort 對來建立客戶端服務(wù)器間的通訊通道ort,OSC 可以向 OST 發(fā)送請求或者接收通過對應(yīng)的 export 接收處理來自客戶
【參考文獻】:
博士論文
[1]機群文件系統(tǒng)服務(wù)器關(guān)鍵技術(shù)研究[D]. 吳思寧.中國科學(xué)院研究生院(計算技術(shù)研究所) 2004
[2]分布式文件系統(tǒng)高可用問題研究[D]. 史小冬.中國科學(xué)院研究生院(計算技術(shù)研究所) 2002
碩士論文
[1]藍鯨分布式文件系統(tǒng)數(shù)據(jù)一致性語義研究[D]. 范勇.中國科學(xué)院研究生院(計算技術(shù)研究所) 2006
[2]基于日志的機群文件系統(tǒng)高可用關(guān)鍵技術(shù)研究[D]. 李暉.中國科學(xué)院研究生院(計算技術(shù)研究所) 2005
本文編號:3218435
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3218435.html
最近更新
教材專著