基于動態(tài)調(diào)度策略的存儲系統(tǒng)服務(wù)質(zhì)量保障研究
發(fā)布時間:2021-10-17 14:16
高性能計算(High Performance Computing,HPC)開始進(jìn)入Exascale時代,大量的數(shù)據(jù)密集型應(yīng)用在HPC系統(tǒng)中大規(guī)模運行,導(dǎo)致對存儲系統(tǒng)的需求不斷增加。同時HPC正朝著云計算方向發(fā)展,多租戶多負(fù)載場景在云HPC系統(tǒng)中越來越常見,這意味著系統(tǒng)中的存儲資源在越來越多的用戶之間進(jìn)行共享,有限的存儲資源需要服務(wù)更多的應(yīng)用。當(dāng)多個應(yīng)用同時訪問存儲系統(tǒng)時,它們將競爭I/O資源,產(chǎn)生I/O干擾,這將導(dǎo)致I/O聚合帶寬下降,應(yīng)用運行時間延長,造成嚴(yán)重的性能損失。與此同時,混合存儲架構(gòu)也在HPC環(huán)境中被廣泛應(yīng)用,如何利用存儲設(shè)備特性在物理資源有限的情況下保障應(yīng)用的服務(wù)質(zhì)量成為關(guān)鍵問題。為了解決這些問題,設(shè)計并實現(xiàn)一種基于動態(tài)調(diào)度策略的服務(wù)質(zhì)量保障方法(Deadline-Quality of Service,DDL-QoS)。DDL-QoS不盲目追求性能最大化,旨在通過以滿足應(yīng)用需求的方式來保障服務(wù)質(zhì)量,這一設(shè)計思想類似于云計算中的按需分配,并使用運行結(jié)束時間(Deadline)來定義應(yīng)用的需求。Deadline指的是應(yīng)用在單獨運行沒有I/O干擾時的運行時間。所以,DDL-Qo...
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:53 頁
【學(xué)位級別】:碩士
【部分圖文】:
高性能計算系統(tǒng)中存儲結(jié)構(gòu)示例
圖 2-5 功能模塊圖得出一種計算公式,可以用于預(yù)測將新應(yīng)用分前存儲設(shè)備的負(fù)載能力機(jī)因子”這一概念,用占比例表示隨機(jī)程度。以根據(jù)這一特征選擇合儲設(shè)備負(fù)載預(yù)測計算結(jié)
華 中 科 技 大 學(xué) 碩 士 學(xué) 位 論 文配獲得的帶寬,從而可以動態(tài)感知不同存儲設(shè)備的負(fù)載能力,幫助調(diào)度策略選擇合適的存儲設(shè)備調(diào)度 I/O 請求。3.2 隨機(jī)程度計算方法應(yīng)用訪問磁盤時,會由于磁盤需要在傳輸所有數(shù)據(jù)之前將磁頭移動到正確的位置,所以隨機(jī)訪問會導(dǎo)致明顯的查找延遲。高性能計算中的科學(xué)應(yīng)用的 I/O 行為受到許多因素的影響,例如,數(shù)據(jù)服務(wù)器數(shù)量,Unix 內(nèi)核的 I/O 子系統(tǒng),I/O 請求大小,參與 I/O 的進(jìn)程數(shù)量。所有這些因素都可能導(dǎo)致隨機(jī)訪問,并且從單個進(jìn)程的角度來說很難檢測到。高性能計算領(lǐng)域中,科學(xué)應(yīng)用的訪問模式有多種,本文主要列舉其中可以引起隨機(jī)訪問的三種[46],簡單示意圖如圖 3-3 所示:
【參考文獻(xiàn)】:
期刊論文
[1]The Sunway Taihu Light supercomputer:system and applications[J]. Haohuan FU,Junfeng LIAO,Jinzhe YANG,Lanning WANG,Zhenya SONG,Xiaomeng HUANG,Chao YANG,Wei XUE,Fangfang LIU,Fangli QIAO,Wei ZHAO,Xunqiang YIN,Chaofeng HOU,Chenglong ZHANG,Wei GE,Jian ZHANG,Yangang WANG,Chunbo ZHOU,Guangwen YANG. Science China(Information Sciences). 2016(07)
[2]一種基于固態(tài)盤和硬盤的混合存儲架構(gòu)[J]. 王峰,王偉,劉洋. 河南師范大學(xué)學(xué)報(自然科學(xué)版). 2013(04)
[3]一種用磁盤備份SSD的高性能可靠存儲系統(tǒng)[J]. 陳志廣,肖儂,劉芳,杜溢墨. 計算機(jī)研究與發(fā)展. 2013(01)
[4]基于閃存的混合存儲系統(tǒng)緩沖區(qū)管理算法[J]. 王光忠,王翰虎,陳梅,馬丹. 計算機(jī)工程與設(shè)計. 2012(06)
本文編號:3441903
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:53 頁
【學(xué)位級別】:碩士
【部分圖文】:
高性能計算系統(tǒng)中存儲結(jié)構(gòu)示例
圖 2-5 功能模塊圖得出一種計算公式,可以用于預(yù)測將新應(yīng)用分前存儲設(shè)備的負(fù)載能力機(jī)因子”這一概念,用占比例表示隨機(jī)程度。以根據(jù)這一特征選擇合儲設(shè)備負(fù)載預(yù)測計算結(jié)
華 中 科 技 大 學(xué) 碩 士 學(xué) 位 論 文配獲得的帶寬,從而可以動態(tài)感知不同存儲設(shè)備的負(fù)載能力,幫助調(diào)度策略選擇合適的存儲設(shè)備調(diào)度 I/O 請求。3.2 隨機(jī)程度計算方法應(yīng)用訪問磁盤時,會由于磁盤需要在傳輸所有數(shù)據(jù)之前將磁頭移動到正確的位置,所以隨機(jī)訪問會導(dǎo)致明顯的查找延遲。高性能計算中的科學(xué)應(yīng)用的 I/O 行為受到許多因素的影響,例如,數(shù)據(jù)服務(wù)器數(shù)量,Unix 內(nèi)核的 I/O 子系統(tǒng),I/O 請求大小,參與 I/O 的進(jìn)程數(shù)量。所有這些因素都可能導(dǎo)致隨機(jī)訪問,并且從單個進(jìn)程的角度來說很難檢測到。高性能計算領(lǐng)域中,科學(xué)應(yīng)用的訪問模式有多種,本文主要列舉其中可以引起隨機(jī)訪問的三種[46],簡單示意圖如圖 3-3 所示:
【參考文獻(xiàn)】:
期刊論文
[1]The Sunway Taihu Light supercomputer:system and applications[J]. Haohuan FU,Junfeng LIAO,Jinzhe YANG,Lanning WANG,Zhenya SONG,Xiaomeng HUANG,Chao YANG,Wei XUE,Fangfang LIU,Fangli QIAO,Wei ZHAO,Xunqiang YIN,Chaofeng HOU,Chenglong ZHANG,Wei GE,Jian ZHANG,Yangang WANG,Chunbo ZHOU,Guangwen YANG. Science China(Information Sciences). 2016(07)
[2]一種基于固態(tài)盤和硬盤的混合存儲架構(gòu)[J]. 王峰,王偉,劉洋. 河南師范大學(xué)學(xué)報(自然科學(xué)版). 2013(04)
[3]一種用磁盤備份SSD的高性能可靠存儲系統(tǒng)[J]. 陳志廣,肖儂,劉芳,杜溢墨. 計算機(jī)研究與發(fā)展. 2013(01)
[4]基于閃存的混合存儲系統(tǒng)緩沖區(qū)管理算法[J]. 王光忠,王翰虎,陳梅,馬丹. 計算機(jī)工程與設(shè)計. 2012(06)
本文編號:3441903
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3441903.html
最近更新
教材專著