自動(dòng)分層存儲(chǔ)技術(shù)及其應(yīng)用
發(fā)布時(shí)間:2020-03-20 04:42
【摘要】:在當(dāng)今信息化的大背景下,數(shù)據(jù)量的增長(zhǎng)迅速,越來(lái)越多的數(shù)據(jù)內(nèi)容生成并存儲(chǔ)。存儲(chǔ)系統(tǒng)在各行業(yè)日益應(yīng)用廣泛,帶來(lái)管理的難度與瓶頸。由于數(shù)據(jù)具有生命周期,在不同的時(shí)期存在的意義也不同。在數(shù)據(jù)剛生成時(shí),帶來(lái)的價(jià)值最高,隨著時(shí)間推移,訪問(wèn)頻度降低,價(jià)值也隨之下降。信息量的增長(zhǎng)使存儲(chǔ)管理難度增加,將數(shù)據(jù)分級(jí)則可以簡(jiǎn)化存儲(chǔ)管理,使重要和常用的數(shù)據(jù)能在最短時(shí)間內(nèi)訪問(wèn)到,極少使用的數(shù)據(jù)放在廉價(jià)的存儲(chǔ)設(shè)備上 本文討論的重點(diǎn)便是在同一存儲(chǔ)系統(tǒng)內(nèi),如何根據(jù)數(shù)據(jù)的訪問(wèn)冷熱度不同,將存儲(chǔ)分為不同層次應(yīng)對(duì)不同的需求。隨著近些年固態(tài)閃存盤(pán)的廣泛使用,在存儲(chǔ)上通過(guò)固態(tài)閃存盤(pán)及其他類型磁盤(pán)構(gòu)建不同存儲(chǔ)層級(jí),利用各類磁盤(pán)的不同性能特點(diǎn),在自動(dòng)分層存儲(chǔ)中使用軟件層進(jìn)行控制,結(jié)合不同的算法對(duì)負(fù)荷進(jìn)行分析,通過(guò)持續(xù)監(jiān)控、熱點(diǎn)分析、數(shù)據(jù)遷移,實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)的自動(dòng)化遷移,在保持成本不變的前提下,達(dá)到滿足性能與容量的需要。 針對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)的特殊特點(diǎn),將自動(dòng)分層存儲(chǔ)的理論應(yīng)用于數(shù)據(jù)庫(kù)實(shí)際應(yīng)用,結(jié)果表明自動(dòng)分層存儲(chǔ)對(duì)數(shù)據(jù)庫(kù)性能的改善同時(shí)降低了總體擁有成本。展望自動(dòng)分層存儲(chǔ)與未來(lái)新技術(shù):虛擬內(nèi)存、存儲(chǔ)虛擬化、云技術(shù)的結(jié)合使用,具有有更廣闊的應(yīng)用。
【圖文】:
因此容量幾乎是無(wú)限大!病车诙(jié)用戶數(shù)據(jù)的特點(diǎn)分析通常情況中,用戶的各類數(shù)據(jù)占比如圖1一1所示:圖1一1用戶各類數(shù)據(jù)占比由圖中可以看出,經(jīng)常使用的數(shù)據(jù)在用戶的所有數(shù)據(jù)中占比并不高,由此可見(jiàn)數(shù)據(jù)的冷熱度不均,引申出后續(xù)問(wèn)題,如果將所有數(shù)據(jù)全部布局于高速設(shè)備上并不經(jīng)濟(jì),因?yàn)橄喈?dāng)一部分?jǐn)?shù)據(jù)對(duì)響應(yīng)速度沒(méi)有要求,但如果全部布局于低速設(shè)備又會(huì)有應(yīng)用因?yàn)轫憫?yīng)速度太慢而無(wú)法容忍。因此,引入分層的概念應(yīng)用于不同需求的數(shù)據(jù)將能有的放矢的改善現(xiàn)狀。除了不同的存儲(chǔ)需求,還有出于對(duì)于高性能高吞吐量應(yīng)用的支持,特別是現(xiàn)在風(fēng)頭正勁的虛擬化技術(shù)。為了在一臺(tái)設(shè)備上支持更多的虛擬應(yīng)用,就需要系統(tǒng)支持更大的吞吐量以及更高的性能。全部采用高速介質(zhì)在成本上現(xiàn)在依然不是可行的,也不是必須的。根據(jù)數(shù)據(jù)局部性原理,,被頻繁訪問(wèn)的數(shù)據(jù)是局部而有限的。如果把高頻率訪問(wèn)的數(shù)據(jù)放在高速存儲(chǔ)介質(zhì)
圖2一3不同類型磁盤(pán)的IOPS對(duì)比數(shù)據(jù)處理能力,同樣的Raid組情況下,每分鐘更新數(shù)據(jù)固態(tài)閃存盤(pán)是普通光纖通道磁盤(pán)的7倍多。圖2一4對(duì)比了固態(tài)閃存磁盤(pán)和普通光纖通道磁盤(pán)的每分鐘更新數(shù)據(jù)量。 TranscationPermin250002000015000D亡Crr‘亡f
本文編號(hào):2591263
【圖文】:
因此容量幾乎是無(wú)限大!病车诙(jié)用戶數(shù)據(jù)的特點(diǎn)分析通常情況中,用戶的各類數(shù)據(jù)占比如圖1一1所示:圖1一1用戶各類數(shù)據(jù)占比由圖中可以看出,經(jīng)常使用的數(shù)據(jù)在用戶的所有數(shù)據(jù)中占比并不高,由此可見(jiàn)數(shù)據(jù)的冷熱度不均,引申出后續(xù)問(wèn)題,如果將所有數(shù)據(jù)全部布局于高速設(shè)備上并不經(jīng)濟(jì),因?yàn)橄喈?dāng)一部分?jǐn)?shù)據(jù)對(duì)響應(yīng)速度沒(méi)有要求,但如果全部布局于低速設(shè)備又會(huì)有應(yīng)用因?yàn)轫憫?yīng)速度太慢而無(wú)法容忍。因此,引入分層的概念應(yīng)用于不同需求的數(shù)據(jù)將能有的放矢的改善現(xiàn)狀。除了不同的存儲(chǔ)需求,還有出于對(duì)于高性能高吞吐量應(yīng)用的支持,特別是現(xiàn)在風(fēng)頭正勁的虛擬化技術(shù)。為了在一臺(tái)設(shè)備上支持更多的虛擬應(yīng)用,就需要系統(tǒng)支持更大的吞吐量以及更高的性能。全部采用高速介質(zhì)在成本上現(xiàn)在依然不是可行的,也不是必須的。根據(jù)數(shù)據(jù)局部性原理,,被頻繁訪問(wèn)的數(shù)據(jù)是局部而有限的。如果把高頻率訪問(wèn)的數(shù)據(jù)放在高速存儲(chǔ)介質(zhì)
圖2一3不同類型磁盤(pán)的IOPS對(duì)比數(shù)據(jù)處理能力,同樣的Raid組情況下,每分鐘更新數(shù)據(jù)固態(tài)閃存盤(pán)是普通光纖通道磁盤(pán)的7倍多。圖2一4對(duì)比了固態(tài)閃存磁盤(pán)和普通光纖通道磁盤(pán)的每分鐘更新數(shù)據(jù)量。 TranscationPermin250002000015000D亡Crr‘亡f
本文編號(hào):2591263
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2591263.html
最近更新
教材專著