【摘要】：隨著信息技術(shù)的飛速發(fā)展,數(shù)據(jù)呈爆炸式增長,高效存儲數(shù)據(jù)給大規(guī)模存儲系統(tǒng)的設(shè)計、建設(shè)和運(yùn)行帶來了巨大的挑戰(zhàn)。在大規(guī)模存儲系統(tǒng)中,各種計算、傳輸和存儲設(shè)備無論在性能上還是在可靠性等特性上都存在很大物理差異;同時,實(shí)際業(yè)務(wù)負(fù)載對于存儲設(shè)備的數(shù)據(jù)存取也并不均勻,在空間和時間上存在很大差異。如果將數(shù)據(jù)全部存儲在高性能設(shè)備上是不現(xiàn)實(shí)也是不明智的。分級存儲概念的提出有效地解決了這個問題,它能對數(shù)據(jù)存取負(fù)載進(jìn)行有效監(jiān)控,并能夠根據(jù)負(fù)載和應(yīng)用需求按照不同存儲資源特性進(jìn)行優(yōu)化配置。 通過分析文件級數(shù)據(jù)遷移機(jī)制的不足,設(shè)計了一種基于邏輯卷的分級存儲系統(tǒng),其能夠根據(jù)邏輯卷的實(shí)時熱度自動分配相應(yīng)的存儲資源,從整體上提高了系統(tǒng)數(shù)據(jù)存儲效率。 首先介紹了分級存儲系統(tǒng)的應(yīng)用環(huán)境,討論了系統(tǒng)實(shí)現(xiàn)過程中涉及的關(guān)鍵技術(shù),分析了基于用戶訪問頻度和存儲設(shè)備性能的分級存儲系統(tǒng)所引發(fā)的相關(guān)問題。 其次,對原型系統(tǒng)進(jìn)行設(shè)計和實(shí)現(xiàn),構(gòu)建了由客戶端、管理器和存儲資源代理三個部分組成的系統(tǒng)架構(gòu),每個部分都包含多個模塊,其中用戶需求監(jiān)控模塊、存儲虛擬化模塊和數(shù)據(jù)遷移模塊是核心。用戶需求監(jiān)控模塊通過對邏輯卷訪問熱度的監(jiān)控,實(shí)現(xiàn)了基于用戶訪問頻度的分級存儲;存儲虛擬化模塊通過對存儲設(shè)備按性能分級實(shí)現(xiàn)了對異構(gòu)資源的統(tǒng)一;數(shù)據(jù)遷移模塊實(shí)現(xiàn)了數(shù)據(jù)在不同性能的存儲設(shè)備上的遷移,該系統(tǒng)不僅支持在線遷移,保證了前臺應(yīng)用的不中斷,而且還可以對遷移速率進(jìn)行控制,從而有效地提高了用戶的訪問性能。 最后,通過實(shí)驗驗證了該系統(tǒng)所具有的部分功能,對系統(tǒng)的訪問性能進(jìn)行了評測,并分析了數(shù)據(jù)遷移對用戶訪問性能的影響。同時,實(shí)驗數(shù)據(jù)表明通過對數(shù)據(jù)遷移速率進(jìn)行控制,可以提高10%-40%的前臺應(yīng)用吞吐量。
【圖文】：

的分級存儲系統(tǒng)的不足后，據(jù)實(shí)時監(jiān)控邏輯卷的熱度和上不僅減少了存儲成本，還 教 育 部 信 息 存 儲 重 點(diǎn) 實(shí)海量存儲系統(tǒng)關(guān)鍵技術(shù)”中研究目標(biāo)如下所示：訪問頻度和存儲設(shè)備性能的速和慢速存儲設(shè)備的三級存構(gòu)；存儲虛擬化軟件協(xié)調(diào)工作，

FUSE 是在用戶態(tài)實(shí)現(xiàn)的一個文件系統(tǒng)框架，因此它屏蔽了文件系統(tǒng)使用戶只要在用戶空間上實(shí)現(xiàn)相關(guān)的文件系統(tǒng)接口就可以實(shí)現(xiàn)一個文E 的工作原理如圖 2.1 所示，程序員使用 FUSE 的工作流程如下所示：（1）掛載文件系統(tǒng)到一個目錄如/tmp/fuse；（2）接受用戶的請求如 ls -l /tmp/fuse，引發(fā)相應(yīng)的 IO 請求，通過相關(guān)請求傳入內(nèi)核，，并交由 VFS 處理；（3）VFS 將請求傳遞給具體的文件系統(tǒng) FUSE，F(xiàn)USE 解析用戶空間的（4）經(jīng)過 FUSE 的轉(zhuǎn)換，用戶空間庫調(diào)用用戶空間的相應(yīng)接口進(jìn)行處理（5）用戶空間庫將結(jié)果返回給內(nèi)核；（6）內(nèi)核將結(jié)果返回給調(diào)用者；遠(yuǎn)程過程調(diào)用RPC 主要應(yīng)用在分級存儲系統(tǒng)的各個節(jié)點(diǎn)，它的主要功能是實(shí)現(xiàn)兩個
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2011
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 羅敏;;數(shù)據(jù)分級存儲策略[J];城建檔案;2009年05期

2 芥末;;虛擬存儲技術(shù)的基本實(shí)現(xiàn)和常用方式[J];中國傳媒科技;2007年01期

3 陳瑋娜;在Linux下編制RPC程序[J];電腦編程技巧與維護(hù);2001年11期

4 劉世靖;謝慶勝;陳靚;王偉;;網(wǎng)絡(luò)負(fù)載均衡技術(shù)在網(wǎng)站服務(wù)器上的應(yīng)用與探討[J];電腦知識與技術(shù);2010年20期

5 任戎;;淺談硬盤數(shù)據(jù)恢復(fù)技術(shù)[J];四川文理學(xué)院學(xué)報;2009年05期

6 王常亮;張春琴;王大偉;;數(shù)據(jù)恢復(fù)技術(shù)[J];計算機(jī)安全;2008年08期

7 鄭培強(qiáng);;RPC技術(shù)在多層分布式應(yīng)用系統(tǒng)中的實(shí)現(xiàn)[J];福建電腦;2006年03期

8 唐興峰;淺談數(shù)據(jù)備份[J];信息技術(shù);2001年08期

9 吳蔚;網(wǎng)絡(luò)站點(diǎn)的負(fù)載均衡技術(shù)探索[J];計算機(jī)時代;2004年07期

10 曹健;;海量數(shù)據(jù)分級管理提升應(yīng)用效力[J];通信世界;2009年04期

相關(guān)會議論文 前1條

1 韋建民;;計算機(jī)安全管理及數(shù)據(jù)備份和災(zāi)難恢復(fù)[A];甘肅保險論文集[C];2004年

相關(guān)碩士學(xué)位論文 前3條

1 張莉;電子商務(wù)文件歸檔管理研究[D];吉林大學(xué);2007年

2 趙德銘;分級存儲系統(tǒng)中文件訪問重定向的設(shè)計與實(shí)現(xiàn)[D];大連海事大學(xué);2008年

3 黃南鳳;檔案數(shù)據(jù)備份研究[D];蘇州大學(xué);2009年

本文編號：2590445