【摘要】： 信息化的飛速發(fā)展推動(dòng)存儲(chǔ)系統(tǒng)在規(guī)模、體系結(jié)構(gòu)等方面都出現(xiàn)了新的改變,朝著大規(guī)模、復(fù)雜化的方向演化。同時(shí)系統(tǒng)所服務(wù)的I/O負(fù)載也呈現(xiàn)出多樣性、不平衡性和動(dòng)態(tài)性。而當(dāng)前海量存儲(chǔ)系統(tǒng)往往直接繼承傳統(tǒng)小規(guī)模存儲(chǔ)系統(tǒng)結(jié)構(gòu)和運(yùn)行機(jī)制,還很難適應(yīng)具有動(dòng)態(tài)、并發(fā)、多樣等特性的大規(guī)模I/O負(fù)載要求�，F(xiàn)有的存儲(chǔ)系統(tǒng)物理和邏輯的組織基于靜態(tài)的結(jié)構(gòu),該結(jié)構(gòu)很難感知外部負(fù)載請求特征和系統(tǒng)的運(yùn)行狀態(tài)動(dòng)態(tài)改變,從而無法調(diào)整自身的存儲(chǔ)組織結(jié)構(gòu)以滿足不同I/O負(fù)載在時(shí)間和空間上的變化,無法有效和自動(dòng)提高系統(tǒng)的整體存儲(chǔ)效率。面對上述問題,設(shè)計(jì)針對海量存儲(chǔ)系統(tǒng)的數(shù)據(jù)分布進(jìn)化機(jī)制,對存儲(chǔ)系統(tǒng)的動(dòng)態(tài)數(shù)據(jù)存取負(fù)載特性進(jìn)行分析,根據(jù)數(shù)據(jù)的歷史訪問信息通過熱度模型對未來訪問趨勢加以預(yù)測,將不同熱度的數(shù)據(jù)與不同性能等特征級別的存儲(chǔ)資源組加以匹配映射,動(dòng)態(tài)對數(shù)據(jù)進(jìn)行遷移和重新分布,以達(dá)到提升整體存儲(chǔ)效率的目的。數(shù)據(jù)分布進(jìn)化的過程完全是自動(dòng)化的,由進(jìn)化規(guī)則進(jìn)行控制,通過進(jìn)化規(guī)則管理系統(tǒng)進(jìn)行調(diào)度。 闡述了能夠根據(jù)當(dāng)前運(yùn)行環(huán)境自動(dòng)調(diào)整存儲(chǔ)組織模式的海量存儲(chǔ)系統(tǒng)中的數(shù)據(jù)分布進(jìn)化技術(shù)。該系統(tǒng)能在運(yùn)行過程中根據(jù)I/O負(fù)載及自身狀態(tài)的變化,自動(dòng)選擇最適合當(dāng)前存取負(fù)載特征的數(shù)據(jù)分布模式,滿足多用戶環(huán)境下負(fù)載對于性能和可靠性等方面的要求。 建立了數(shù)據(jù)存取的熱度計(jì)算模型,對數(shù)據(jù)存取負(fù)載的數(shù)據(jù)熱點(diǎn)進(jìn)行量化計(jì)算和預(yù)測。和一般的熱度研究結(jié)果僅僅涉及數(shù)據(jù)集的訪問次數(shù)和頻率不同,改進(jìn)后的熱度還綜合考慮到訪問請求的時(shí)間序列因素,使之能夠更加有效的體現(xiàn)負(fù)載的歷史信息,從而能更準(zhǔn)確的反映存取負(fù)載未來趨勢。分別針對文件和LUN的熱度進(jìn)行了分析和定義,以真實(shí)的trace數(shù)據(jù)對熱度計(jì)算模型加以測試,深入的分析了熱度公式的實(shí)際數(shù)據(jù)表現(xiàn)。測試中發(fā)現(xiàn),數(shù)據(jù)的熱度和訪問次數(shù)和頻率正相關(guān),和訪問的時(shí)間間隔負(fù)相關(guān),實(shí)驗(yàn)證明熱度公式能夠較好的對未來的訪問行為進(jìn)行趨勢預(yù)測。 設(shè)計(jì)了根據(jù)數(shù)據(jù)熱度進(jìn)行數(shù)據(jù)分布進(jìn)化的數(shù)據(jù)遷移機(jī)制。數(shù)據(jù)分布進(jìn)化中,需要?jiǎng)討B(tài)調(diào)整數(shù)據(jù)的分布,以適應(yīng)系統(tǒng)工作負(fù)載的變化,從而提升整體系統(tǒng)的效率。在一般的設(shè)計(jì)中,根據(jù)RAID級別或RAID組對系統(tǒng)存儲(chǔ)資源進(jìn)行分級,而在進(jìn)化存儲(chǔ)系統(tǒng)中,對系統(tǒng)內(nèi)所有存儲(chǔ)資源按照性能和可靠性等特性進(jìn)行分級。依據(jù)程序訪問的局部性原理,針對不同行為特性和需求的熱點(diǎn)數(shù)據(jù),匹配以相應(yīng)級別的存儲(chǔ)資源,從而有效的利用存儲(chǔ)池中的不同存儲(chǔ)資源,以顯著提高進(jìn)化存儲(chǔ)系統(tǒng)的整體效率。數(shù)據(jù)遷移策略中還對數(shù)據(jù)遷移的觸發(fā)條件和開銷進(jìn)行了定義,并設(shè)計(jì)了進(jìn)化存儲(chǔ)系統(tǒng)的數(shù)據(jù)替換策略。在實(shí)驗(yàn)部分,通過原型系統(tǒng)驗(yàn)證了分級存儲(chǔ)數(shù)據(jù)遷移對性能提升的效果。 設(shè)計(jì)了獨(dú)立的進(jìn)化規(guī)則管理系統(tǒng),實(shí)現(xiàn)海量存儲(chǔ)系統(tǒng)的自動(dòng)化管理。在大規(guī)模存儲(chǔ)系統(tǒng)中,無論存儲(chǔ)系統(tǒng)的物理管理和海量數(shù)據(jù)的邏輯組織和分布都是極為復(fù)雜和動(dòng)態(tài)的,僅僅依賴人工管理是不可行的,因此需要設(shè)計(jì)基于一系列存儲(chǔ)規(guī)則的系統(tǒng)來管理和調(diào)度系統(tǒng)運(yùn)行狀態(tài)。在通常的系統(tǒng)中,規(guī)則的所有參數(shù)都硬編碼在代碼中,使得規(guī)則的定義、更改和查詢非常困難。在規(guī)則管理系統(tǒng)中,通過對規(guī)則詞匯的定義,并引入決策表和決策樹的管理,使得系統(tǒng)可以靈活、清晰、快速地定義、查詢和變更規(guī)則,并且通過規(guī)則的引用記錄來統(tǒng)計(jì)和分析規(guī)則的使用情況。 研究工作設(shè)計(jì)和構(gòu)造可適應(yīng)自身運(yùn)行環(huán)境的進(jìn)化存儲(chǔ)系統(tǒng),對數(shù)據(jù)分布進(jìn)化中存取負(fù)載特性分析和數(shù)據(jù)遷移機(jī)制,以及進(jìn)化規(guī)則的管理都做出了新的嘗試,實(shí)驗(yàn)證明具有良好的運(yùn)行效果。
【圖文】：

華中科技大學(xué)博士學(xué)位論文陣列可以使用不同容量和不同性能等規(guī)格的異構(gòu)磁盤。AutoRAID系統(tǒng)的另一個(gè)是動(dòng)態(tài)數(shù)據(jù)轉(zhuǎn)移，它是系統(tǒng)內(nèi)的一種管理和性能優(yōu)化機(jī)制，通過不間斷監(jiān)控磁列中的設(shè)備運(yùn)行狀態(tài)和性能，來判斷是應(yīng)該將數(shù)據(jù)寫入或存放在Cache里面，將數(shù)據(jù)從Cache中倒入到RAIDI的磁盤陣列，或是將數(shù)據(jù)從Cache中倒入到RA盤陣列。這種管理和性能優(yōu)化機(jī)制非常適合變化的外部數(shù)據(jù)訪問環(huán)境，在不影據(jù)可靠性的前提下保證系統(tǒng)的高性能，同時(shí)降低了系統(tǒng)的成本。對復(fù)雜的外部(如事務(wù)處理和大塊文件訪問)訪問環(huán)境，這種方法非常有效[0]。

圖1.4MapReduee執(zhí)行順序MapReduee是一種處理和產(chǎn)生大規(guī)模數(shù)據(jù)集的編程模型，同時(shí)也是一種高效的任務(wù)調(diào)度模型。缺點(diǎn)是它更多的是從編程和數(shù)據(jù)處理上提供并行計(jì)算優(yōu)化，沒有結(jié)合系統(tǒng)的物理結(jié)構(gòu)和負(fù)載特征對系統(tǒng)進(jìn)行優(yōu)化，也沒有針對并行存儲(chǔ)環(huán)境中的數(shù)據(jù)邏輯組織結(jié)構(gòu)進(jìn)行數(shù)據(jù)的動(dòng)態(tài)分布，對整個(gè)系統(tǒng)的性能優(yōu)化方面還有局限性。1.2.7塊重組(BORG)技術(shù)BORG(B10ck一reORGanization)是一種自我優(yōu)化的存儲(chǔ)系統(tǒng)中基于觀察到的FO負(fù)載的自動(dòng)塊重組技術(shù)[26]。BORG基于Fo負(fù)載的3個(gè)特征:非統(tǒng)一的訪問頻率分布，非持久的位置和不連續(xù)訪問中的局部決定論。為了實(shí)現(xiàn)目標(biāo)，，BORG管理著一8
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2010
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 王宇德;謝長生;姜國松;陸正武;;一種自適應(yīng)存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[J];小型微型計(jì)算機(jī)系統(tǒng);2008年10期

本文編號：2588769