本文關(guān)鍵詞：云存儲中元數(shù)據(jù)管理關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)

  更多相關(guān)文章： 云存儲 元數(shù)據(jù)管理 分布算法 元數(shù)據(jù)緩存替換 云網(wǎng)盤系統(tǒng)

【摘要】：云存儲已經(jīng)得到越來越廣泛的應(yīng)用,而它的構(gòu)建離不開分布式文件系統(tǒng)的支持。當(dāng)前主流的分布式文件系統(tǒng)都是把元數(shù)據(jù)和數(shù)據(jù)分離開來進(jìn)行管理,元數(shù)據(jù)被單獨(dú)保存在元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)上,而文件數(shù)據(jù)存放在數(shù)據(jù)存儲節(jié)點(diǎn)中。顯然,元數(shù)據(jù)節(jié)點(diǎn)的性能關(guān)系到整個存儲系統(tǒng)的性能。本文首先對云存儲底層支撐中的分布式文件系統(tǒng)的關(guān)鍵架構(gòu)技術(shù)進(jìn)行了研究,發(fā)現(xiàn)很多主流分布式文件系統(tǒng)使用單個節(jié)點(diǎn)來管理系統(tǒng)中的元數(shù)據(jù),這種架構(gòu)在面對云存儲的海量數(shù)據(jù)環(huán)境下,很容易因?yàn)楣?jié)點(diǎn)自身的內(nèi)存以及某些熱點(diǎn)數(shù)據(jù)和網(wǎng)絡(luò)帶寬等給整個系統(tǒng)帶來性能瓶頸。然后,本文分析了元數(shù)據(jù)管理策略的特性和主要技術(shù),針對元數(shù)據(jù)管理的關(guān)鍵問題展開了深入研究。研究中發(fā)現(xiàn),目前大部分元數(shù)據(jù)管理策略存在一些不足:(1)當(dāng)文件重命名和目錄修改時需要遷移大量元數(shù)據(jù),從而造成大量網(wǎng)絡(luò)開銷。(2)由于大量客戶在同一時間集中訪問某一元數(shù)據(jù),而使集中式的單元數(shù)據(jù)服務(wù)器(Metadata Server,MDS)成為訪問“熱點(diǎn)”,從而造成負(fù)載失衡,影響系統(tǒng)的性能。元數(shù)據(jù)緩存可有效減少M(fèi)DS與數(shù)據(jù)庫服務(wù)器之間的交互,從而減少系統(tǒng)響應(yīng)時間,提高系統(tǒng)性能。針對上述問題,本文借鑒當(dāng)前主流分布式文件系統(tǒng)的設(shè)計(jì)理念,提出了一種適合云存儲環(huán)境的元數(shù)據(jù)管理方案。主要包含以下幾點(diǎn):(1)用分布式的元數(shù)據(jù)服務(wù)器集群來代替單一的元數(shù)據(jù)服務(wù)器。(2)使用基于偽隨機(jī)序列的分布算法,并以目錄為粒度來分布元數(shù)據(jù)。(3)把元數(shù)據(jù)緩存技術(shù)引入元數(shù)據(jù)管理中,并提出了元數(shù)據(jù)保留值的概念,根據(jù)云存儲環(huán)境中元數(shù)據(jù)的訪問特性設(shè)計(jì)了計(jì)算元數(shù)據(jù)緩存保留值的規(guī)則,給出了基于保留值的緩存替換算法和緩存寫回算法。通過仿真實(shí)驗(yàn),發(fā)現(xiàn)本文提出的偽隨機(jī)分布算法能使元數(shù)據(jù)分布的均衡性顯著提高,并能從統(tǒng)計(jì)意義上保證遷移的數(shù)據(jù)量最優(yōu),算法的執(zhí)行效率也非�？捎^。而本文提出的基于保留值的緩存替換算法與傳統(tǒng)典型替換算法相比,不僅更能提高緩存命中率,還更具備穩(wěn)定性和靈活性,從而使云存儲中元數(shù)據(jù)管理的效率明顯提高。最后介紹了云網(wǎng)盤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),并在實(shí)現(xiàn)中應(yīng)用了上文元數(shù)據(jù)管理策略的研究成果,以此來驗(yàn)證其可行性。
【關(guān)鍵詞】：云存儲 元數(shù)據(jù)管理 分布算法 元數(shù)據(jù)緩存替換 云網(wǎng)盤系統(tǒng)
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333;TP311.13
，

本文編號：836759