【摘要】：由于全球數(shù)據(jù)量的呈指數(shù)性增長(zhǎng),各大存儲(chǔ)服務(wù)商擔(dān)負(fù)著巨大的存儲(chǔ)壓力。分層存儲(chǔ)已經(jīng)成為同時(shí)實(shí)現(xiàn)高效訪問和廉價(jià)存儲(chǔ)的必要方案。但單一的分層存儲(chǔ)系統(tǒng)面臨著重復(fù)數(shù)據(jù)的問題,一方面,呈指數(shù)增長(zhǎng)的重復(fù)數(shù)據(jù)不斷降低分層存儲(chǔ)系統(tǒng)在效率和成本上的收益,另一方面,目前重復(fù)數(shù)據(jù)刪除技術(shù)與分層存儲(chǔ)技術(shù)的簡(jiǎn)單疊加關(guān)系使兩者無法充分發(fā)揮各自的優(yōu)勢(shì)。本文結(jié)合分層存儲(chǔ)和重復(fù)數(shù)據(jù)刪除技術(shù)的優(yōu)點(diǎn),提出一種基于變長(zhǎng)數(shù)據(jù)塊的重復(fù)數(shù)據(jù)感知分層存儲(chǔ)模型DAMS。為了進(jìn)行更有效的緩存替換,我們分析了ARC算法的缺陷,提出一種高效、可變、兼容的緩存替換算法D-ARC,適宜應(yīng)用在DAMS模型中。作為可行性驗(yàn)證,本文基于DAMS模型實(shí)現(xiàn)了一種宜廣泛應(yīng)用的存儲(chǔ)系統(tǒng)實(shí)例Store X,Store X使用D-ARC進(jìn)行緩存替換,并在細(xì)節(jié)技術(shù)上有創(chuàng)新實(shí)現(xiàn),如引入數(shù)據(jù)塊長(zhǎng)度以降低hash沖突率,聯(lián)合存儲(chǔ)活躍度信息和數(shù)據(jù)指紋信息以節(jié)省空間。最后,通過兩個(gè)測(cè)試工具生成隨機(jī)數(shù)據(jù),在不同參數(shù)下對(duì)Store X進(jìn)行全面評(píng)估,對(duì)D-ARC算法做出對(duì)比實(shí)驗(yàn)。本文針對(duì)高效、大容量存儲(chǔ)的需求,進(jìn)行深入研究,具體工作內(nèi)容如下。(1)分析數(shù)據(jù)量過大的問題,歸納該問題的研究現(xiàn)狀,總結(jié)出增量數(shù)據(jù)訪問局部性、大量重復(fù)數(shù)據(jù)的兩個(gè)基本特點(diǎn),以此作為研究的突破點(diǎn)。(2)提出基于變長(zhǎng)數(shù)據(jù)塊的重復(fù)數(shù)據(jù)感知分層存儲(chǔ)模型DAMS,模型通過橋梁結(jié)構(gòu)結(jié)合了分層存儲(chǔ)和重復(fù)數(shù)據(jù)刪除的優(yōu)勢(shì),對(duì)強(qiáng)關(guān)聯(lián)部分進(jìn)行重疊,是高效、大容量存儲(chǔ)的解決方案。(3)提出D-ARC。通過對(duì)ARC緩存替換算法進(jìn)行分析,總結(jié)出4個(gè)缺陷,D-ARC在保留ARC優(yōu)勢(shì)的基礎(chǔ)上進(jìn)行了3方面的改進(jìn),在小幅提高效率的前提下,具有更高的命中率、可變性和兼容性。(4)在DAMS模型的基礎(chǔ)上,實(shí)現(xiàn)了可廣泛應(yīng)用的存儲(chǔ)系統(tǒng)實(shí)例Store X。Store X使用D-ARC進(jìn)行數(shù)據(jù)調(diào)度,涉及數(shù)據(jù)分割、指紋存儲(chǔ)等技術(shù)的具體實(shí)現(xiàn),并在實(shí)現(xiàn)細(xì)節(jié)進(jìn)行創(chuàng)新,如引入數(shù)據(jù)長(zhǎng)度以降低hash沖突率、聯(lián)合存儲(chǔ)數(shù)據(jù)活躍度信息和數(shù)據(jù)塊指紋以充分利用hash表的優(yōu)勢(shì)。(5)分析可能的過擬合,實(shí)現(xiàn)重復(fù)數(shù)據(jù)生成工具和模擬讀取工具,在可控參數(shù)的情況下生成隨機(jī)測(cè)試數(shù)據(jù),得出對(duì)Store X和D-ARC的全面評(píng)估。
【學(xué)位授予單位】：中南民族大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333
【圖文】：

圖 1.3 數(shù)據(jù)活躍度的差異層存儲(chǔ)由多種具有不同效率、容量、價(jià)格等特征的存儲(chǔ)設(shè)備構(gòu)成，術(shù)使其成為一個(gè)整體。對(duì)不同存儲(chǔ)設(shè)備之間的特征進(jìn)行利用，揚(yáng)長(zhǎng)儲(chǔ)設(shè)備的特征可以將整個(gè)存儲(chǔ)器至少分為兩個(gè)存儲(chǔ)層。被頻繁訪問少的一部分，只需要少量高級(jí)存儲(chǔ)空間用于存儲(chǔ)活躍數(shù)據(jù)，發(fā)揮高存取的優(yōu)勢(shì)；下層存儲(chǔ)器占據(jù)了總空間的大部分，用于存儲(chǔ)活躍度揮低速存儲(chǔ)器大容量、廉價(jià)的優(yōu)勢(shì)。將這兩個(gè)存儲(chǔ)層相結(jié)合后，大集中在上層存儲(chǔ)器，大量存儲(chǔ)需求都集中于下層存儲(chǔ)器，最終整個(gè)率趨近于高速存儲(chǔ)器，存儲(chǔ)空間和成本趨近于大容量存儲(chǔ)器，因此[9, 10]。存替換算法是分層存儲(chǔ)維持其效率的根本。在存儲(chǔ)器的運(yùn)行過程中的不斷訪問模式并不固定，每個(gè)數(shù)據(jù)的活躍度是隨時(shí)變化的，因此的用途是檢查數(shù)據(jù)活躍度的變化，將活躍度被改變的數(shù)據(jù)進(jìn)行遷移處于合適的存儲(chǔ)層中[11, 12]。緩存替換算法保持分層存儲(chǔ)系統(tǒng)始終性帶來的收益。

隨機(jī)性能 壽命圖 2.2 不同類型存儲(chǔ)器的特點(diǎn)度策略用于優(yōu)化計(jì)算機(jī)程序或維護(hù)存儲(chǔ)機(jī)制而設(shè)計(jì)的算數(shù)據(jù)被訪問的頻率與數(shù)據(jù)活躍度強(qiáng)關(guān)聯(lián)，數(shù)據(jù)活處于相對(duì)穩(wěn)定的狀態(tài)。因此，僅僅對(duì)數(shù)據(jù)進(jìn)行一存儲(chǔ)系統(tǒng)的運(yùn)行，用戶關(guān)注的熱點(diǎn)會(huì)逐漸改變，，原來被忽略的數(shù)據(jù)可能重新被關(guān)注。緩存調(diào)度活躍狀態(tài)，在活躍度被改變時(shí)對(duì)改變數(shù)據(jù)進(jìn)行遷中[26, 30]。用 LRU(Least Recently Used)算法是古老的緩存紀(jì) 60 年代。該算法以用戶訪問數(shù)據(jù)的時(shí)間間隔 的本質(zhì)是一個(gè)隊(duì)列，當(dāng)用戶訪問數(shù)據(jù)，被訪問的。LRU 建立在局部性原理之上，每次替換會(huì)換

未協(xié)調(diào)的用戶存儲(chǔ)大量冗余

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 吳明禮;張宏安;;數(shù)據(jù)存儲(chǔ)技術(shù)綜述[J];北方工業(yè)大學(xué)學(xué)報(bào);2015年01期

2 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

3 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

本文編號(hào)：2753889