本文選題：元數(shù)據(jù)管理 + 一致性Hash　； 參考：《計算機研究與發(fā)展》2015年04期

【摘要】：高效的、去中心化的元數(shù)據(jù)管理方案對大型分布式存儲系統(tǒng)的可靠性、可擴展性起至關(guān)重要的作用.針對基于Hash劃分和基于子樹劃分的元數(shù)據(jù)管理方案擴展代價巨大、對集群變動敏感等問題,提出一種基于一致性Hash結(jié)構(gòu)的元數(shù)據(jù)服務(wù)器(metadata server,MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虛擬MDS(Virtual MDS),有效平衡MDS集群負(fù)載;將Standby機制與延遲更新策略融合并應(yīng)用于MDS集群,實現(xiàn)MDS快速失效恢復(fù)以及集群變動時零數(shù)據(jù)遷移量.闡述了CH-MMS的體系結(jié)構(gòu),介紹了核心數(shù)據(jù)結(jié)構(gòu)layout-table、虛擬MDS結(jié)構(gòu)、延遲更新機制及相關(guān)算法,并對CH-MMS擴展性、容錯性作了定性分析.最后通過原型系統(tǒng)和模擬實驗說明,CH-MMS具有元數(shù)據(jù)平衡分布、快速失效恢復(fù)、靈活的擴展性以及零結(jié)點變動數(shù)據(jù)遷移量等特點,能滿足數(shù)據(jù)量不斷增加的大規(guī)模存儲集群元數(shù)據(jù)靈活、高效管理的需求.
[Abstract]:An efficient and decentralized metadata management scheme plays an important role in the reliability and scalability of large distributed storage systems.The extension of metadata management scheme based on Hash partition and subtree partition is costly and sensitive to cluster changes.This paper presents a cluster scheme of metadata server metadata server based on conformance Hash structure: CH-MMS-based Hash based metadata management schema).CH-MMS introduces virtual MDS(Virtual MDSs into the conformance MDS cluster to effectively balance the load of MDS cluster.The Standby mechanism is combined with the delayed update strategy and applied to the MDS cluster to achieve fast MDS failure recovery and zero data migration when the cluster changes.This paper describes the architecture of CH-MMS, introduces the core data structure layout-table, virtual MDS, delay update mechanism and related algorithms, and makes a qualitative analysis of the extensibility and fault-tolerance of CH-MMS.Finally, the prototype system and simulation experiments show that CH-MMS has the characteristics of balanced distribution of metadata, fast failure recovery, flexible expansibility and zero node change data migration.It can meet the needs of flexible and efficient management of large scale storage cluster metadata with increasing amount of data.
【作者單位】： 廣西大學(xué)計算機與電子信息學(xué)院;中國科學(xué)院軟件研究所軟件工程技術(shù)研究開發(fā)中心;
【基金】：國家自然科學(xué)基金項目(61063012,61363003) 廣西自然科學(xué)基金項目(2012GXNSFAA053222) 廣西高校優(yōu)秀人才資助計劃項目([2011]40) 廣西科學(xué)研究與技術(shù)開發(fā)計劃項目(桂科軟13180015,桂科攻1348020-7) 南寧市科學(xué)研究與技術(shù)開發(fā)計劃項目(201109016A)
【分類號】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前2條

1 劉建亮;張永樂;楊琳;郭明陽;劉振軍;許魯;;SAC:Exploiting Stable Set Model to Enhance CacheFiles[J];Journal of Computer Science & Technology;2014年02期

2 王健;崔永;趙樹林;;一種新型森林監(jiān)測云平臺文件系統(tǒng)的研究[J];森林工程;2014年04期

相關(guān)碩士學(xué)位論文 前2條

1 徐瓊瑤;分級存儲中數(shù)據(jù)遷移機制的實現(xiàn)[D];華中科技大學(xué);2013年

2 肖中正;面向大規(guī)模數(shù)據(jù)的分布式存儲系統(tǒng)可靠性保障技術(shù)研究[D];廣西大學(xué);2014年

【相似文獻(xiàn)】

相關(guān)期刊論文 前4條

1 牛德姣;蔡濤;詹永照;鞠時光;;海量存儲系統(tǒng)中的元數(shù)據(jù)分級索引算法[J];計算機應(yīng)用研究;2012年02期

2 陳起;陳左寧;蔣金虎;;MDDS:一種面向高性能計算的并行文件系統(tǒng)元數(shù)據(jù)性能提升方法[J];計算機研究與發(fā)展;2014年08期

3 曾賽峰;周建威;張福;李強;;CAS中媒體對象的元數(shù)據(jù)自動提取與利用[J];計算機工程與應(yīng)用;2010年36期

4 ;[J];;年期

相關(guān)會議論文 前1條

1 廖軼;黃磊;袁芳;;元數(shù)據(jù)在高校數(shù)據(jù)中心的應(yīng)用探索[A];中國高等教育學(xué)會教育信息化分會第十二次學(xué)術(shù)年會論文集[C];2014年

相關(guān)碩士學(xué)位論文 前5條

1 王飛;基于關(guān)聯(lián)特征的多維元數(shù)據(jù)組織方法研究[D];華中科技大學(xué);2013年

2 陳起;高性能計算中并行文件系統(tǒng)可擴展元數(shù)據(jù)服務(wù)的研究[D];華中科技大學(xué);2013年

3 馮幼樂;分布式文件系統(tǒng)元數(shù)據(jù)管理技術(shù)研究與實現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2010年

4 方圓;基于對象存儲元數(shù)據(jù)管理策略的研究與實現(xiàn)[D];解放軍信息工程大學(xué);2012年

5 尚鵬舉;Windows客戶端屬性操作與元數(shù)據(jù)預(yù)取研究[D];華中科技大學(xué);2007年

，

本文編號：1744011