進化存儲系統(tǒng)數(shù)據(jù)組織模式研究
發(fā)布時間:2021-12-31 08:28
用于網(wǎng)絡環(huán)境下的企業(yè)級海量存儲系統(tǒng)面臨如下挑戰(zhàn):數(shù)字化信息爆炸性增長、數(shù)據(jù)的重要性和安全性日益增加、大數(shù)量的用戶群和多媒體的應用對存取性能產生巨大壓力、24×7的服務需求要求極高的可用性和可維護性。現(xiàn)有的技術如高性能存儲磁盤陣列、附網(wǎng)存儲、存儲區(qū)域網(wǎng)等有著各自的優(yōu)勢同時有著自身的不足。問題存在的原因是現(xiàn)有存儲系統(tǒng)物理和邏輯的組織是一種靜態(tài)的結構,而靜態(tài)組織結構模型不能很好地刻畫處于不斷變化之中的系統(tǒng)。這種結構往往只適合于特定的應用需要,而且缺少適應不斷變化的存儲要求的機制。為此,我們基于進化存儲的概念及關鍵思想,將進化的策略化分為物理進化和邏輯進化,詳細討論了物理進化和邏輯進化實現(xiàn)的主要思路,對進化存儲系統(tǒng)的硬件體系結構和軟件結構進行了深入的研究,并指出為實現(xiàn)進化存儲系統(tǒng)需要解決的四個問題。進化存儲系統(tǒng)要求存儲系統(tǒng)中數(shù)據(jù)的組織以及整個系統(tǒng)中各種不同屬性數(shù)據(jù)的分布可以隨著外在的數(shù)據(jù)流輸入輸出的變化而相應改變,以期獲得最好的系統(tǒng)性能。為了實現(xiàn)此目標,需要獲得在某一段時間內工作負載的分布形式,并預測未來某一段時間工作負載的分布形式。為解決這個問題,我們從兩個方面入手:一是提出了基于連續(xù)度的I...
【文章來源】:華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:127 頁
【學位級別】:博士
【部分圖文】:
異構陣列的分條示意圖
在這個過程中,各個部件可以在線替換,不但不影響系統(tǒng)內部數(shù)據(jù)的可用性,而且還應該隨著部件性能提高而獲得整體性能的提升。圖2.1 進化存儲系統(tǒng)存儲池邏輯結構圖 2.1 說明了進化存儲系統(tǒng)存儲單元的邏輯結構圖。根據(jù)本文的思路,將存儲單元分成三個存儲池:運行存儲池,備用存儲池和禁用存儲池。系統(tǒng)對存儲池中的每個存儲設備進行檢測,根據(jù)狀態(tài)來決定存儲設備不同狀態(tài)的變遷,實現(xiàn)系統(tǒng)物理結構的進化。例如,當監(jiān)控程序發(fā)現(xiàn)處于待機狀態(tài)的存儲設備的物理性能參數(shù)低于設定值時或不能工作時,就將該存儲單元作禁用處理,并把該存儲單元的狀態(tài)改為禁用狀態(tài),轉入禁用存儲池,等待人工或機械更換;備用存儲池中的處于待機態(tài)的存儲單元的物理性能若大于或等于設定值時,且系統(tǒng)需要該存儲單元提供存儲服務,則將該存儲設備的狀態(tài)改為運行狀態(tài)
今后的一段時間內存儲節(jié)點(2)采用16KB的條帶單元大小能夠提供更好的性能,則存儲節(jié)點(2)的條帶單元大小會逐漸轉換為16KB。圖2.2 邏輯進化示意圖當決策分析模塊將優(yōu)化策略傳送給調節(jié)策略模塊后,調節(jié)策略模塊則根據(jù) I/O 負載及分布分析模塊所獲得的 I/O 特征信息來預測系統(tǒng)的空閑時刻,并根據(jù)系統(tǒng)的狀況采用合適的策略在系統(tǒng)空閑時刻對存儲池中的存儲節(jié)點進行調節(jié)。I/O 負載及分布分析模塊和性能監(jiān)測模塊對外部的 I/O 請求和系統(tǒng)的性能進行實時監(jiān)控,并將獲取的信息傳送給進化規(guī)則模塊。進化規(guī)則模塊同樣根據(jù)獲取的信息得到一個或多個系統(tǒng)優(yōu)化調節(jié)策略,發(fā)送給決策分析模塊。決策分析模塊將以前的優(yōu)化策略所產生的結果與現(xiàn)階段的優(yōu)化策略進行對比,從中選擇出更適合優(yōu)化系統(tǒng)性能的策略。這樣不斷的根據(jù)外部請求特征和系統(tǒng)的性能進行調整,使系統(tǒng)的性能能夠不斷的適應外部的請求,以
【參考文獻】:
期刊論文
[1]異構盤陣中最優(yōu)Stripe Unit Size選擇技術[J]. 劉軍,楊學軍,唐玉華,王勇獻. 計算機學報. 2004(06)
[2]高性能磁盤陣列I/O服務時間的分析[J]. 陳瓊,張江陵. 小型微型計算機系統(tǒng). 2000(03)
本文編號:3559939
【文章來源】:華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:127 頁
【學位級別】:博士
【部分圖文】:
異構陣列的分條示意圖
在這個過程中,各個部件可以在線替換,不但不影響系統(tǒng)內部數(shù)據(jù)的可用性,而且還應該隨著部件性能提高而獲得整體性能的提升。圖2.1 進化存儲系統(tǒng)存儲池邏輯結構圖 2.1 說明了進化存儲系統(tǒng)存儲單元的邏輯結構圖。根據(jù)本文的思路,將存儲單元分成三個存儲池:運行存儲池,備用存儲池和禁用存儲池。系統(tǒng)對存儲池中的每個存儲設備進行檢測,根據(jù)狀態(tài)來決定存儲設備不同狀態(tài)的變遷,實現(xiàn)系統(tǒng)物理結構的進化。例如,當監(jiān)控程序發(fā)現(xiàn)處于待機狀態(tài)的存儲設備的物理性能參數(shù)低于設定值時或不能工作時,就將該存儲單元作禁用處理,并把該存儲單元的狀態(tài)改為禁用狀態(tài),轉入禁用存儲池,等待人工或機械更換;備用存儲池中的處于待機態(tài)的存儲單元的物理性能若大于或等于設定值時,且系統(tǒng)需要該存儲單元提供存儲服務,則將該存儲設備的狀態(tài)改為運行狀態(tài)
今后的一段時間內存儲節(jié)點(2)采用16KB的條帶單元大小能夠提供更好的性能,則存儲節(jié)點(2)的條帶單元大小會逐漸轉換為16KB。圖2.2 邏輯進化示意圖當決策分析模塊將優(yōu)化策略傳送給調節(jié)策略模塊后,調節(jié)策略模塊則根據(jù) I/O 負載及分布分析模塊所獲得的 I/O 特征信息來預測系統(tǒng)的空閑時刻,并根據(jù)系統(tǒng)的狀況采用合適的策略在系統(tǒng)空閑時刻對存儲池中的存儲節(jié)點進行調節(jié)。I/O 負載及分布分析模塊和性能監(jiān)測模塊對外部的 I/O 請求和系統(tǒng)的性能進行實時監(jiān)控,并將獲取的信息傳送給進化規(guī)則模塊。進化規(guī)則模塊同樣根據(jù)獲取的信息得到一個或多個系統(tǒng)優(yōu)化調節(jié)策略,發(fā)送給決策分析模塊。決策分析模塊將以前的優(yōu)化策略所產生的結果與現(xiàn)階段的優(yōu)化策略進行對比,從中選擇出更適合優(yōu)化系統(tǒng)性能的策略。這樣不斷的根據(jù)外部請求特征和系統(tǒng)的性能進行調整,使系統(tǒng)的性能能夠不斷的適應外部的請求,以
【參考文獻】:
期刊論文
[1]異構盤陣中最優(yōu)Stripe Unit Size選擇技術[J]. 劉軍,楊學軍,唐玉華,王勇獻. 計算機學報. 2004(06)
[2]高性能磁盤陣列I/O服務時間的分析[J]. 陳瓊,張江陵. 小型微型計算機系統(tǒng). 2000(03)
本文編號:3559939
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3559939.html
最近更新
教材專著