本文關(guān)鍵詞：網(wǎng)絡(luò)文庫中海量存儲系統(tǒng)的文件分級存儲方法與應(yīng)用研究

  更多相關(guān)文章： 網(wǎng)絡(luò)文庫 分級存儲 數(shù)據(jù)遷移 I/O熱度 遷移策略

【摘要】：在當(dāng)今信息化大背景下,計算機數(shù)據(jù)呈爆炸式增長。網(wǎng)絡(luò)文庫作為一個新興的媒介,其存儲數(shù)據(jù)量增速驚人。面對數(shù)據(jù)資源爆炸式增長的挑戰(zhàn),如何有效組織和存儲這些龐大的數(shù)據(jù),怎樣控制成本的不斷增長,是目前存儲管理者需要研究的內(nèi)容。面對海量的數(shù)據(jù),企業(yè)直接面臨的是存儲成本的問題。對網(wǎng)絡(luò)文庫中海量數(shù)據(jù)存儲系統(tǒng)的設(shè)計,如何既降低存儲成本,又盡可能的不影響業(yè)務(wù)的訪問效率呢?這就需要一個合適的數(shù)據(jù)存儲系統(tǒng)的支持,需要多種創(chuàng)新方式有效的存儲數(shù)據(jù),降低存儲復(fù)雜性,提高經(jīng)濟效益。 若仍將系統(tǒng)中所有的數(shù)據(jù)都存放性能相同或相近的存儲設(shè)備中,就需要大量擴充該存儲設(shè)備。如果這些數(shù)據(jù)都存儲在高性能的存儲設(shè)備中,那么這將是難以承受的一大筆開銷,如果將他們都存儲在低性能的存儲設(shè)備中,必定會影響業(yè)務(wù)的效率,而且這樣做會增加企業(yè)管理這些存儲設(shè)備的復(fù)雜性。為了兼顧成本和性能這兩個特征,本論文提出對網(wǎng)絡(luò)文庫中海量數(shù)據(jù)實行分級存儲管理。 分級存儲管理理論是基于信息生命周期管理理論的。信息生命周期管理理論認(rèn)為信息剛產(chǎn)生的時候訪問量比較大,而過了一段時間它就訪問量就很少,甚至不再被訪問。在此基礎(chǔ)上分級存儲管理理論認(rèn)為應(yīng)該把存儲系統(tǒng)中的數(shù)據(jù)分開存放在不同的存儲設(shè)備上。那些剛創(chuàng)建的數(shù)據(jù)訪問量大應(yīng)該被放置在高性能的存儲設(shè)備上,而那些訪問量很少的數(shù)據(jù)應(yīng)該被放置在價格較便宜的低性能的存儲設(shè)備上。這樣一個數(shù)據(jù)中心只需要配置少量的高性能存儲設(shè)備,其他的大部分只需要配置廉價的存儲設(shè)備就可以。這樣做既降低了存儲系統(tǒng)的組建成本,也保證了系統(tǒng)的性能。 論文首先介紹了分級存儲系統(tǒng)理論,分析了分級存儲系統(tǒng)應(yīng)用的現(xiàn)狀和面臨的挑戰(zhàn)。通過對網(wǎng)絡(luò)文庫中數(shù)據(jù)特性的分析,論證了對網(wǎng)絡(luò)文庫中海量數(shù)據(jù)存儲系統(tǒng)實行分級存儲的必要性。 接著通過對現(xiàn)有主流磁盤介紹性能和價格的對比,以及對當(dāng)今數(shù)據(jù)中心存在的主要問題的分析,針對網(wǎng)絡(luò)文庫中海量數(shù)據(jù)存儲系統(tǒng)提出了SSD+MAID+自動磁帶庫的基于文件的三級分級存儲系統(tǒng)架構(gòu)。該系統(tǒng)在保證存儲系統(tǒng)性能的同時還可以有效的降低數(shù)據(jù)中心的能耗。 然后針對網(wǎng)絡(luò)文庫海量數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)的特性,提出了基于平均I/0熱度的動態(tài)閥值法。此遷移算法準(zhǔn)確的評價了文件價值,同時在每次文件遷移的時候不需要對所有的文件價值從新排序,節(jié)省了系統(tǒng)資源。
【學(xué)位授予單位】：昆明理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前9條

1 項文新;;多媒體電子文件海量數(shù)據(jù)的分級存儲[J];辦公自動化;2005年12期

2 敖莉;于得水;舒繼武;薛巍;;一種海量數(shù)據(jù)分級存儲系統(tǒng)TH-TS[J];計算機研究與發(fā)展;2011年06期

3 張菁;任怡;廖湘科;;多級存儲數(shù)據(jù)價值評定研究[J];計算機研究與發(fā)展;2012年S1期

4 王偉能;王鶴群;;固態(tài)硬盤概述[J];記錄媒體技術(shù);2009年01期

5 胡娜;李戰(zhàn)懷;張曉;;分級存儲中自適應(yīng)選擇遷移策略的研究[J];計算機科學(xué);2012年03期

6 呂帥;劉光明;徐凱;劉欣;;海量信息分級存儲數(shù)據(jù)遷移策略研究[J];計算機工程與科學(xué);2009年S1期

7 舒繼武;;網(wǎng)絡(luò)存儲專欄 分級存儲與管理[J];中國教育網(wǎng)絡(luò);2007年07期

8 魯豐玲;李朝永;;淺析網(wǎng)絡(luò)存儲技術(shù)[J];科技信息;2009年26期

9 史曉燕;;數(shù)據(jù)遷移的研究[J];浙江工商職業(yè)技術(shù)學(xué)院學(xué)報;2007年03期

，

本文編號：1159786