本文主要進(jìn)行動態(tài)網(wǎng)格存儲研究,通過Erasure研究解決網(wǎng)格存儲的冗余和備份問題,通過DHT解決網(wǎng)格存儲的動態(tài)執(zhí)行過程,從Grid網(wǎng)格存儲入手解決動態(tài)資源調(diào)度執(zhí)行過程。研究發(fā)現(xiàn)在滿足用戶需求的前提下,可提高存儲資源的利用率,減少碎片化的概率。 

【文章來源】：信陽農(nóng)林學(xué)院學(xué)報. 2020年01期

【文章頁數(shù)】：4 頁

【部分圖文】：

SNIA存儲虛擬技術(shù)的分類圖

Storage GRID存儲和管理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的下一代對象存儲,2017年NetApp推出了NetApp Storage GRID Webscale將存儲網(wǎng)格推向新的高度,NetApp在用戶端與SAN之間添加中繼層,擴(kuò)展存儲網(wǎng)格。然而學(xué)術(shù)界尚未對網(wǎng)格存儲引起足夠重視,存儲網(wǎng)格為公有云提供了共享數(shù)據(jù),分散用戶對數(shù)據(jù)的頻繁換進(jìn)和換出,處理器以block塊為調(diào)度單位的顆粒度的較大,進(jìn)一步細(xì)分Data Blocks,提供顆粒度更細(xì)的內(nèi)容存儲,提高存儲資源的利用效率[7],圖2為DataBlocks數(shù)據(jù)結(jié)構(gòu)圖。將分散的DataBlocks定義為D={D1,D2,L,Dn},其中n表示 DataBlocks的數(shù)目,其資源在虛擬機(jī)的位置集合V={V1,V2,L,Vm},m表示虛擬機(jī)的總數(shù)。物理機(jī)上虛擬機(jī)位置向量為H={hi1,hi2,L,Dim},當(dāng)系統(tǒng)調(diào)用存儲資源時,需要消耗cpu、內(nèi)存、網(wǎng)絡(luò)帶寬和存儲用向量Pi=(SCi,SMi,SNi,SHi)表示,相應(yīng)的虛擬機(jī)的系統(tǒng)態(tài)資源GridTablei=(sci,smi,sni,shi)。F=min(Pused),物理資源使用越少,資源利用率越高。

Erasure Code對N個Data blocks原始數(shù)據(jù)塊進(jìn)行編碼,編碼后產(chǎn)生M個數(shù)據(jù)塊(M>N),從編碼后的M個數(shù)據(jù)塊進(jìn)行解碼還原出原始數(shù)據(jù)塊,而部分存儲的損失,不影響數(shù)據(jù)的恢復(fù)[9]。根據(jù)圖3可知,如n2、n4、n6出現(xiàn)存儲故障,系統(tǒng)態(tài)會從其他節(jié)點或硬盤把n2、n4、n6數(shù)據(jù)進(jìn)行重建出來,n1、n3、n5、m1、m2、m3為一個EC條帶,當(dāng)校驗塊增大時,開銷增大,圖3為DataBlack的Erasure Code冗余備份圖。Erasure code編碼解決了存儲的穩(wěn)定性,提高了空間的利用效率,但編碼、解碼尚屬于復(fù)雜的數(shù)學(xué)運算,是以犧牲一定的計算性能為代價的。目前erasure code還僅適用于對冷數(shù)據(jù)的離線處理階段,如何從根本上降低erasure code帶來的performance overhead,使得編碼存儲技術(shù)得以真正大量適用,將為大數(shù)據(jù)存儲[8]帶來不容質(zhì)疑的重大意義。當(dāng)前,Microsoft、Google、Facebook、Amazon、阿里巴巴等互聯(lián)網(wǎng)巨頭將erasure code編碼存儲技術(shù)應(yīng)用于主流存儲系統(tǒng)中。

【參考文獻(xiàn)】：
期刊論文
[1]基于Erasure code的實時流媒體傳輸系統(tǒng)[J]. 王俊博,邢凱.  計算機(jī)應(yīng)用與軟件. 2017(10)
[2]摩爾定律發(fā)展述評[J]. 逄健,劉佳.  科技管理研究. 2015(15)
[3]一種基于Erasure Code的分布式文件系統(tǒng)模型[J]. 董科軍,馮家宏,閻保平.  計算機(jī)工程. 2005(20)



本文編號：2934356