進(jìn)化存儲系統(tǒng)數(shù)據(jù)組織模式研究
發(fā)布時間:2021-12-31 08:28
用于網(wǎng)絡(luò)環(huán)境下的企業(yè)級海量存儲系統(tǒng)面臨如下挑戰(zhàn):數(shù)字化信息爆炸性增長、數(shù)據(jù)的重要性和安全性日益增加、大數(shù)量的用戶群和多媒體的應(yīng)用對存取性能產(chǎn)生巨大壓力、24×7的服務(wù)需求要求極高的可用性和可維護(hù)性,F(xiàn)有的技術(shù)如高性能存儲磁盤陣列、附網(wǎng)存儲、存儲區(qū)域網(wǎng)等有著各自的優(yōu)勢同時有著自身的不足。問題存在的原因是現(xiàn)有存儲系統(tǒng)物理和邏輯的組織是一種靜態(tài)的結(jié)構(gòu),而靜態(tài)組織結(jié)構(gòu)模型不能很好地刻畫處于不斷變化之中的系統(tǒng)。這種結(jié)構(gòu)往往只適合于特定的應(yīng)用需要,而且缺少適應(yīng)不斷變化的存儲要求的機(jī)制。為此,我們基于進(jìn)化存儲的概念及關(guān)鍵思想,將進(jìn)化的策略化分為物理進(jìn)化和邏輯進(jìn)化,詳細(xì)討論了物理進(jìn)化和邏輯進(jìn)化實現(xiàn)的主要思路,對進(jìn)化存儲系統(tǒng)的硬件體系結(jié)構(gòu)和軟件結(jié)構(gòu)進(jìn)行了深入的研究,并指出為實現(xiàn)進(jìn)化存儲系統(tǒng)需要解決的四個問題。進(jìn)化存儲系統(tǒng)要求存儲系統(tǒng)中數(shù)據(jù)的組織以及整個系統(tǒng)中各種不同屬性數(shù)據(jù)的分布可以隨著外在的數(shù)據(jù)流輸入輸出的變化而相應(yīng)改變,以期獲得最好的系統(tǒng)性能。為了實現(xiàn)此目標(biāo),需要獲得在某一段時間內(nèi)工作負(fù)載的分布形式,并預(yù)測未來某一段時間工作負(fù)載的分布形式。為解決這個問題,我們從兩個方面入手:一是提出了基于連續(xù)度的I...
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:127 頁
【學(xué)位級別】:博士
【部分圖文】:
異構(gòu)陣列的分條示意圖
在這個過程中,各個部件可以在線替換,不但不影響系統(tǒng)內(nèi)部數(shù)據(jù)的可用性,而且還應(yīng)該隨著部件性能提高而獲得整體性能的提升。圖2.1 進(jìn)化存儲系統(tǒng)存儲池邏輯結(jié)構(gòu)圖 2.1 說明了進(jìn)化存儲系統(tǒng)存儲單元的邏輯結(jié)構(gòu)圖。根據(jù)本文的思路,將存儲單元分成三個存儲池:運行存儲池,備用存儲池和禁用存儲池。系統(tǒng)對存儲池中的每個存儲設(shè)備進(jìn)行檢測,根據(jù)狀態(tài)來決定存儲設(shè)備不同狀態(tài)的變遷,實現(xiàn)系統(tǒng)物理結(jié)構(gòu)的進(jìn)化。例如,當(dāng)監(jiān)控程序發(fā)現(xiàn)處于待機(jī)狀態(tài)的存儲設(shè)備的物理性能參數(shù)低于設(shè)定值時或不能工作時,就將該存儲單元作禁用處理,并把該存儲單元的狀態(tài)改為禁用狀態(tài),轉(zhuǎn)入禁用存儲池,等待人工或機(jī)械更換;備用存儲池中的處于待機(jī)態(tài)的存儲單元的物理性能若大于或等于設(shè)定值時,且系統(tǒng)需要該存儲單元提供存儲服務(wù),則將該存儲設(shè)備的狀態(tài)改為運行狀態(tài)
今后的一段時間內(nèi)存儲節(jié)點(2)采用16KB的條帶單元大小能夠提供更好的性能,則存儲節(jié)點(2)的條帶單元大小會逐漸轉(zhuǎn)換為16KB。圖2.2 邏輯進(jìn)化示意圖當(dāng)決策分析模塊將優(yōu)化策略傳送給調(diào)節(jié)策略模塊后,調(diào)節(jié)策略模塊則根據(jù) I/O 負(fù)載及分布分析模塊所獲得的 I/O 特征信息來預(yù)測系統(tǒng)的空閑時刻,并根據(jù)系統(tǒng)的狀況采用合適的策略在系統(tǒng)空閑時刻對存儲池中的存儲節(jié)點進(jìn)行調(diào)節(jié)。I/O 負(fù)載及分布分析模塊和性能監(jiān)測模塊對外部的 I/O 請求和系統(tǒng)的性能進(jìn)行實時監(jiān)控,并將獲取的信息傳送給進(jìn)化規(guī)則模塊。進(jìn)化規(guī)則模塊同樣根據(jù)獲取的信息得到一個或多個系統(tǒng)優(yōu)化調(diào)節(jié)策略,發(fā)送給決策分析模塊。決策分析模塊將以前的優(yōu)化策略所產(chǎn)生的結(jié)果與現(xiàn)階段的優(yōu)化策略進(jìn)行對比,從中選擇出更適合優(yōu)化系統(tǒng)性能的策略。這樣不斷的根據(jù)外部請求特征和系統(tǒng)的性能進(jìn)行調(diào)整,使系統(tǒng)的性能能夠不斷的適應(yīng)外部的請求,以
【參考文獻(xiàn)】:
期刊論文
[1]異構(gòu)盤陣中最優(yōu)Stripe Unit Size選擇技術(shù)[J]. 劉軍,楊學(xué)軍,唐玉華,王勇獻(xiàn). 計算機(jī)學(xué)報. 2004(06)
[2]高性能磁盤陣列I/O服務(wù)時間的分析[J]. 陳瓊,張江陵. 小型微型計算機(jī)系統(tǒng). 2000(03)
本文編號:3559939
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:127 頁
【學(xué)位級別】:博士
【部分圖文】:
異構(gòu)陣列的分條示意圖
在這個過程中,各個部件可以在線替換,不但不影響系統(tǒng)內(nèi)部數(shù)據(jù)的可用性,而且還應(yīng)該隨著部件性能提高而獲得整體性能的提升。圖2.1 進(jìn)化存儲系統(tǒng)存儲池邏輯結(jié)構(gòu)圖 2.1 說明了進(jìn)化存儲系統(tǒng)存儲單元的邏輯結(jié)構(gòu)圖。根據(jù)本文的思路,將存儲單元分成三個存儲池:運行存儲池,備用存儲池和禁用存儲池。系統(tǒng)對存儲池中的每個存儲設(shè)備進(jìn)行檢測,根據(jù)狀態(tài)來決定存儲設(shè)備不同狀態(tài)的變遷,實現(xiàn)系統(tǒng)物理結(jié)構(gòu)的進(jìn)化。例如,當(dāng)監(jiān)控程序發(fā)現(xiàn)處于待機(jī)狀態(tài)的存儲設(shè)備的物理性能參數(shù)低于設(shè)定值時或不能工作時,就將該存儲單元作禁用處理,并把該存儲單元的狀態(tài)改為禁用狀態(tài),轉(zhuǎn)入禁用存儲池,等待人工或機(jī)械更換;備用存儲池中的處于待機(jī)態(tài)的存儲單元的物理性能若大于或等于設(shè)定值時,且系統(tǒng)需要該存儲單元提供存儲服務(wù),則將該存儲設(shè)備的狀態(tài)改為運行狀態(tài)
今后的一段時間內(nèi)存儲節(jié)點(2)采用16KB的條帶單元大小能夠提供更好的性能,則存儲節(jié)點(2)的條帶單元大小會逐漸轉(zhuǎn)換為16KB。圖2.2 邏輯進(jìn)化示意圖當(dāng)決策分析模塊將優(yōu)化策略傳送給調(diào)節(jié)策略模塊后,調(diào)節(jié)策略模塊則根據(jù) I/O 負(fù)載及分布分析模塊所獲得的 I/O 特征信息來預(yù)測系統(tǒng)的空閑時刻,并根據(jù)系統(tǒng)的狀況采用合適的策略在系統(tǒng)空閑時刻對存儲池中的存儲節(jié)點進(jìn)行調(diào)節(jié)。I/O 負(fù)載及分布分析模塊和性能監(jiān)測模塊對外部的 I/O 請求和系統(tǒng)的性能進(jìn)行實時監(jiān)控,并將獲取的信息傳送給進(jìn)化規(guī)則模塊。進(jìn)化規(guī)則模塊同樣根據(jù)獲取的信息得到一個或多個系統(tǒng)優(yōu)化調(diào)節(jié)策略,發(fā)送給決策分析模塊。決策分析模塊將以前的優(yōu)化策略所產(chǎn)生的結(jié)果與現(xiàn)階段的優(yōu)化策略進(jìn)行對比,從中選擇出更適合優(yōu)化系統(tǒng)性能的策略。這樣不斷的根據(jù)外部請求特征和系統(tǒng)的性能進(jìn)行調(diào)整,使系統(tǒng)的性能能夠不斷的適應(yīng)外部的請求,以
【參考文獻(xiàn)】:
期刊論文
[1]異構(gòu)盤陣中最優(yōu)Stripe Unit Size選擇技術(shù)[J]. 劉軍,楊學(xué)軍,唐玉華,王勇獻(xiàn). 計算機(jī)學(xué)報. 2004(06)
[2]高性能磁盤陣列I/O服務(wù)時間的分析[J]. 陳瓊,張江陵. 小型微型計算機(jī)系統(tǒng). 2000(03)
本文編號:3559939
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3559939.html
最近更新
教材專著