本文關(guān)鍵詞： 元數(shù)據(jù) HDFS Hash 目錄樹 負載均衡　出處：《計算機系統(tǒng)應用》2016年09期 　論文類型：期刊論文

【摘要】：高效、可擴展的元數(shù)據(jù)管理系統(tǒng)是提高分布式存儲系統(tǒng)整體性能的關(guān)鍵.傳統(tǒng)的元數(shù)據(jù)分配策略會導致元數(shù)據(jù)負載不均衡,以及在多進程資源搶占的情況下,會存在響應處理用戶請求效率不高,存儲文件數(shù)目受限等問題.上述問題在高并發(fā)、低延遲的數(shù)據(jù)存儲需求中尤為突出.提出了一個基于一致性Hash與目錄樹的元數(shù)據(jù)管理策略,并實現(xiàn)了相應的分布式元數(shù)據(jù)管理系統(tǒng):利用負載均衡算法,對元數(shù)據(jù)進行遷移,保證了粗粒度負載信息收集,細粒度調(diào)整的均衡策略.多項實驗的結(jié)果表明,該策略能實現(xiàn)元數(shù)據(jù)負載均衡,降低用戶請求處理延遲,提高分布式系統(tǒng)的可擴展性和可用性.
[Abstract]:Efficient and scalable metadata management system is the key to improve the overall performance of distributed storage system. The traditional metadata allocation strategy will lead to the imbalance of metadata load and the preemption of multi-process resources. There will be some problems such as inefficient response to user requests, limited number of files stored, etc. These problems are especially prominent in high concurrency and low latency data storage requirements. A metadata management strategy based on consistent Hash and directory tree is proposed. The corresponding distributed metadata management system is implemented: the load balancing algorithm is used to migrate the metadata, which ensures the balancing strategy of the coarse granularity load information collection and fine-grained adjustment. The results of many experiments show that, This strategy can achieve metadata load balancing, reduce user request processing latency, and improve the scalability and availability of distributed systems.
【作者單位】： 中國科學院軟件研究所基礎(chǔ)軟件國家工程研究中心;中國科學院大學;
【分類號】：TP333

【參考文獻】

相關(guān)期刊論文 前1條

1 黃秋蘭;程耀東;杜然;陳剛;;可擴展的分布式元數(shù)據(jù)管理系統(tǒng)設計[J];計算機工程;2015年05期

【共引文獻】

相關(guān)期刊論文 前2條

1 王麗淑;張鴻駿;芮建武;楊驍;;一種新型分布式元數(shù)據(jù)管理策略[J];計算機系統(tǒng)應用;2016年09期

2 邵志驊;崔林山;盧夢奇;;基于Hadoop集群的公安交通信息云共享技術(shù)應用研究[J];中國公共安全(學術(shù)版);2016年01期

【二級參考文獻】

相關(guān)期刊論文 前3條

1 汪璐;程耀東;陳剛;;海量存儲系統(tǒng)元數(shù)據(jù)服務器的設計及性能優(yōu)化[J];計算機工程;2012年02期

2 黃秋蘭;朱隨江;程耀東;陳剛;;GRASS文件預留系統(tǒng)的設計與實現(xiàn)[J];核電子學與探測技術(shù);2011年09期

3 張小林;;基于ssh和rsync的郵件系統(tǒng)自動備份實現(xiàn)[J];黃石理工學院學報;2009年02期

【相似文獻】

相關(guān)期刊論文 前10條

1 李琳;郭易;蓋優(yōu)普;武煒;朱吉生;;水利元數(shù)據(jù)管理系統(tǒng)的設計和實現(xiàn)[J];水利技術(shù)監(jiān)督;2012年06期

2 ;構(gòu)建企業(yè)級元數(shù)據(jù)管理體系[J];金融電子化;2013年05期

3 曹薊光,王申康;元數(shù)據(jù)管理策略的比較研究[J];計算機應用;2001年02期

4 高睿,劉修國;空間元數(shù)據(jù)管理與發(fā)布技術(shù)研究[J];計算機應用研究;2005年09期

5 向浩翔;寧洪;;元數(shù)據(jù)管理解決方案中查詢檢索部件的設計與實現(xiàn)[J];計算機應用;2006年11期

6 劉仲;周興銘;;基于目錄路徑的元數(shù)據(jù)管理方法[J];軟件學報;2007年02期

7 聶茹;李政偉;;基于本體和語義網(wǎng)格的空間元數(shù)據(jù)管理研究[J];計算機工程與設計;2007年08期

8 施銀盾;吳佳明;;PowerDesigner 15.0 Repository——元數(shù)據(jù)管理工具的新特性[J];鐵路計算機應用;2009年04期

9 黃如花;劉貴玉;;開放存取資源元數(shù)據(jù)管理的對策[J];情報理論與實踐;2009年10期

10 王斌;潘新華;譚珂;;企業(yè)級元數(shù)據(jù)管理在醫(yī)療信息化中的應用[J];價值工程;2012年13期

相關(guān)會議論文 前10條

1 張繼紅;陳小全;;海量交通安全數(shù)據(jù)的元數(shù)據(jù)管理研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 鄖文聚;王志剛;彭茹燕;周勇;戴維彬;譚斌;郭暢;;農(nóng)用地分等定級估價元數(shù)據(jù)管理系統(tǒng)的設計與實現(xiàn)[A];節(jié)約集約用地 促進可持續(xù)發(fā)展[C];2005年

3 徐財江;陳和平;陳志榮;;土地利用現(xiàn)狀數(shù)據(jù)元數(shù)據(jù)管理系統(tǒng)的設計與實現(xiàn)[A];2006年中國土地學會學術(shù)年會論文集[C];2006年

4 吳杰;謝昆青;蔡穎琨;;空間數(shù)據(jù)庫中的元數(shù)據(jù)管理[A];第十九屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2002年

5 李天印;;元數(shù)據(jù)管理在煙草商業(yè)數(shù)據(jù)中心建設中的應用淺析[A];河南省煙草學會2008年學術(shù)交流獲獎論文集（上）[C];2008年

6 劉莉;張定祥;黃思紅;耿沖;;基于元數(shù)據(jù)管理的土地數(shù)據(jù)資料庫服務系統(tǒng)建設[A];2006年中國土地學會學術(shù)年會論文集[C];2006年

7 楊正道;閻保平;;科學數(shù)據(jù)庫中元數(shù)據(jù)技術(shù)及應用研究[A];全國計算機網(wǎng)絡應用年會論文集（2001）[C];2001年

8 雷琦;寧洪;李姍姍;汪昌健;;基于CWM的元數(shù)據(jù)管理系統(tǒng)的研究[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2004年

9 齊暢;邢春曉;郭杭;周立柱;;基于Topic Maps的元數(shù)據(jù)管理系統(tǒng)[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2003年

10 李順;魏斌;王橋;;適合我國環(huán)境數(shù)據(jù)的元數(shù)據(jù)管理系統(tǒng)的設計與開發(fā)[A];中國地理信息系統(tǒng)協(xié)會第三次代表大會暨第七屆年會論文集[C];2003年

相關(guān)重要報紙文章 前9條

1 趙旭;元數(shù)據(jù)管理的五種成熟度[N];計算機世界;2006年

2 劉慶;高屋建瓴,而非空中樓閣[N];網(wǎng)絡世界;2006年

3 本報記者 張承東;抓住精髓[N];網(wǎng)絡世界;2006年

4 ;元數(shù)據(jù)管理—控制BI之源[N];網(wǎng)絡世界;2006年

5 ;元數(shù)據(jù)管理：構(gòu)建BI第一步[N];人民郵電;2006年

6 特約記者 趙琳;我國元數(shù)據(jù)管理系統(tǒng)被CCOP采納[N];中國礦業(yè)報;2011年

7 ;保證高伸縮性的對象存儲[N];網(wǎng)絡世界;2003年

8 ;Gartner呼吁重視十大IT技術(shù)[N];網(wǎng)絡世界;2007年

9 徐洪禹;ITSM落戶中國鐵路[N];中國計算機報;2004年

相關(guān)博士學位論文 前1條

1 李冰;云計算環(huán)境下動態(tài)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學;2012年

相關(guān)碩士學位論文 前10條

1 魏光輝;分布式系統(tǒng)上的元數(shù)據(jù)管理系統(tǒng)g？櫚氖迪諿D];復旦大學;2013年

2 葛暉;面向交通物流大數(shù)據(jù)處理的元數(shù)據(jù)管理系統(tǒng)[D];上海交通大學;2015年

3 趙穩(wěn);云存儲中元數(shù)據(jù)管理關(guān)鍵技術(shù)的研究與實現(xiàn)[D];電子科技大學;2014年

4 于千城;商務智能系統(tǒng)中元數(shù)據(jù)管理和應用研究[D];北方民族大學;2008年

5 邵強;對象存儲文件系統(tǒng)中元數(shù)據(jù)管理集群關(guān)鍵技術(shù)研究與實現(xiàn)[D];國防科學技術(shù)大學;2005年

6 李瑞;基于語義分析的元數(shù)據(jù)管理工具的設計與實現(xiàn)[D];華中科技大學;2012年

7 程東方;海量數(shù)據(jù)分析平臺元數(shù)據(jù)管理的設計與實現(xiàn)[D];北京郵電大學;2015年

8 朱雙濤;網(wǎng)格數(shù)據(jù)庫中元數(shù)據(jù)管理機制的研究[D];華中科技大學;2007年

9 應英;電子政務元數(shù)據(jù)管理系統(tǒng)的研究與設計[D];西北工業(yè)大學;2007年

10 張燕;虛擬篩選元數(shù)據(jù)管理系統(tǒng)的研究[D];蘭州大學;2013年

，

本文編號：1550092