本文關(guān)鍵詞： 元數(shù)據(jù) HDFS Hash 目錄樹(shù) 負(fù)載均衡　出處：《計(jì)算機(jī)系統(tǒng)應(yīng)用》2016年09期 　論文類型：期刊論文

【摘要】：高效、可擴(kuò)展的元數(shù)據(jù)管理系統(tǒng)是提高分布式存儲(chǔ)系統(tǒng)整體性能的關(guān)鍵.傳統(tǒng)的元數(shù)據(jù)分配策略會(huì)導(dǎo)致元數(shù)據(jù)負(fù)載不均衡,以及在多進(jìn)程資源搶占的情況下,會(huì)存在響應(yīng)處理用戶請(qǐng)求效率不高,存儲(chǔ)文件數(shù)目受限等問(wèn)題.上述問(wèn)題在高并發(fā)、低延遲的數(shù)據(jù)存儲(chǔ)需求中尤為突出.提出了一個(gè)基于一致性Hash與目錄樹(shù)的元數(shù)據(jù)管理策略,并實(shí)現(xiàn)了相應(yīng)的分布式元數(shù)據(jù)管理系統(tǒng):利用負(fù)載均衡算法,對(duì)元數(shù)據(jù)進(jìn)行遷移,保證了粗粒度負(fù)載信息收集,細(xì)粒度調(diào)整的均衡策略.多項(xiàng)實(shí)驗(yàn)的結(jié)果表明,該策略能實(shí)現(xiàn)元數(shù)據(jù)負(fù)載均衡,降低用戶請(qǐng)求處理延遲,提高分布式系統(tǒng)的可擴(kuò)展性和可用性.
[Abstract]:Efficient and scalable metadata management system is the key to improve the overall performance of distributed storage system. The traditional metadata allocation strategy will lead to the imbalance of metadata load and the preemption of multi-process resources. There will be some problems such as inefficient response to user requests, limited number of files stored, etc. These problems are especially prominent in high concurrency and low latency data storage requirements. A metadata management strategy based on consistent Hash and directory tree is proposed. The corresponding distributed metadata management system is implemented: the load balancing algorithm is used to migrate the metadata, which ensures the balancing strategy of the coarse granularity load information collection and fine-grained adjustment. The results of many experiments show that, This strategy can achieve metadata load balancing, reduce user request processing latency, and improve the scalability and availability of distributed systems.
【作者單位】： 中國(guó)科學(xué)院軟件研究所基礎(chǔ)軟件國(guó)家工程研究中心;中國(guó)科學(xué)院大學(xué);
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 黃秋蘭;程耀東;杜然;陳剛;;可擴(kuò)展的分布式元數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)[J];計(jì)算機(jī)工程;2015年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前2條

1 王麗淑;張鴻駿;芮建武;楊驍;;一種新型分布式元數(shù)據(jù)管理策略[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2016年09期

2 邵志驊;崔林山;盧夢(mèng)奇;;基于Hadoop集群的公安交通信息云共享技術(shù)應(yīng)用研究[J];中國(guó)公共安全(學(xué)術(shù)版);2016年01期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 汪璐;程耀東;陳剛;;海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)服務(wù)器的設(shè)計(jì)及性能優(yōu)化[J];計(jì)算機(jī)工程;2012年02期

2 黃秋蘭;朱隨江;程耀東;陳剛;;GRASS文件預(yù)留系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];核電子學(xué)與探測(cè)技術(shù);2011年09期

3 張小林;;基于ssh和rsync的郵件系統(tǒng)自動(dòng)備份實(shí)現(xiàn)[J];黃石理工學(xué)院學(xué)報(bào);2009年02期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李琳;郭易;蓋優(yōu)普;武煒;朱吉生;;水利元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J];水利技術(shù)監(jiān)督;2012年06期

2 ;構(gòu)建企業(yè)級(jí)元數(shù)據(jù)管理體系[J];金融電子化;2013年05期

3 曹薊光,王申康;元數(shù)據(jù)管理策略的比較研究[J];計(jì)算機(jī)應(yīng)用;2001年02期

4 高睿,劉修國(guó);空間元數(shù)據(jù)管理與發(fā)布技術(shù)研究[J];計(jì)算機(jī)應(yīng)用研究;2005年09期

5 向浩翔;寧洪;;元數(shù)據(jù)管理解決方案中查詢檢索部件的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2006年11期

6 劉仲;周興銘;;基于目錄路徑的元數(shù)據(jù)管理方法[J];軟件學(xué)報(bào);2007年02期

7 聶茹;李政偉;;基于本體和語(yǔ)義網(wǎng)格的空間元數(shù)據(jù)管理研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2007年08期

8 施銀盾;吳佳明;;PowerDesigner 15.0 Repository——元數(shù)據(jù)管理工具的新特性[J];鐵路計(jì)算機(jī)應(yīng)用;2009年04期

9 黃如花;劉貴玉;;開(kāi)放存取資源元數(shù)據(jù)管理的對(duì)策[J];情報(bào)理論與實(shí)踐;2009年10期

10 王斌;潘新華;譚珂;;企業(yè)級(jí)元數(shù)據(jù)管理在醫(yī)療信息化中的應(yīng)用[J];價(jià)值工程;2012年13期

相關(guān)會(huì)議論文 前10條

1 張繼紅;陳小全;;海量交通安全數(shù)據(jù)的元數(shù)據(jù)管理研究[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

2 鄖文聚;王志剛;彭茹燕;周勇;戴維彬;譚斌;郭暢;;農(nóng)用地分等定級(jí)估價(jià)元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];節(jié)約集約用地 促進(jìn)可持續(xù)發(fā)展[C];2005年

3 徐財(cái)江;陳和平;陳志榮;;土地利用現(xiàn)狀數(shù)據(jù)元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年中國(guó)土地學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2006年

4 吳杰;謝昆青;蔡穎琨;;空間數(shù)據(jù)庫(kù)中的元數(shù)據(jù)管理[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

5 李天印;;元數(shù)據(jù)管理在煙草商業(yè)數(shù)據(jù)中心建設(shè)中的應(yīng)用淺析[A];河南省煙草學(xué)會(huì)2008年學(xué)術(shù)交流獲獎(jiǎng)?wù)撐募ㄉ希C];2008年

6 劉莉;張定祥;黃思紅;耿沖;;基于元數(shù)據(jù)管理的土地?cái)?shù)據(jù)資料庫(kù)服務(wù)系統(tǒng)建設(shè)[A];2006年中國(guó)土地學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2006年

7 楊正道;閻保平;;科學(xué)數(shù)據(jù)庫(kù)中元數(shù)據(jù)技術(shù)及應(yīng)用研究[A];全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用年會(huì)論文集（2001）[C];2001年

8 雷琦;寧洪;李?yuàn)檴?汪昌健;;基于CWM的元數(shù)據(jù)管理系統(tǒng)的研究[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

9 齊暢;邢春曉;郭杭;周立柱;;基于Topic Maps的元數(shù)據(jù)管理系統(tǒng)[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

10 李順;魏斌;王橋;;適合我國(guó)環(huán)境數(shù)據(jù)的元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第三次代表大會(huì)暨第七屆年會(huì)論文集[C];2003年

相關(guān)重要報(bào)紙文章 前9條

1 趙旭;元數(shù)據(jù)管理的五種成熟度[N];計(jì)算機(jī)世界;2006年

2 劉慶;高屋建瓴,而非空中樓閣[N];網(wǎng)絡(luò)世界;2006年

3 本報(bào)記者 張承東;抓住精髓[N];網(wǎng)絡(luò)世界;2006年

4 ;元數(shù)據(jù)管理—控制BI之源[N];網(wǎng)絡(luò)世界;2006年

5 ;元數(shù)據(jù)管理：構(gòu)建BI第一步[N];人民郵電;2006年

6 特約記者 趙琳;我國(guó)元數(shù)據(jù)管理系統(tǒng)被CCOP采納[N];中國(guó)礦業(yè)報(bào);2011年

7 ;保證高伸縮性的對(duì)象存儲(chǔ)[N];網(wǎng)絡(luò)世界;2003年

8 ;Gartner呼吁重視十大IT技術(shù)[N];網(wǎng)絡(luò)世界;2007年

9 徐洪禹;ITSM落戶中國(guó)鐵路[N];中國(guó)計(jì)算機(jī)報(bào);2004年

相關(guān)博士學(xué)位論文 前1條

1 李冰;云計(jì)算環(huán)境下動(dòng)態(tài)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 魏光輝;分布式系統(tǒng)上的元數(shù)據(jù)管理系統(tǒng)g？櫚氖迪諿D];復(fù)旦大學(xué);2013年

2 葛暉;面向交通物流大數(shù)據(jù)處理的元數(shù)據(jù)管理系統(tǒng)[D];上海交通大學(xué);2015年

3 趙穩(wěn);云存儲(chǔ)中元數(shù)據(jù)管理關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

4 于千城;商務(wù)智能系統(tǒng)中元數(shù)據(jù)管理和應(yīng)用研究[D];北方民族大學(xué);2008年

5 邵強(qiáng);對(duì)象存儲(chǔ)文件系統(tǒng)中元數(shù)據(jù)管理集群關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

6 李瑞;基于語(yǔ)義分析的元數(shù)據(jù)管理工具的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2012年

7 程?hào)|方;海量數(shù)據(jù)分析平臺(tái)元數(shù)據(jù)管理的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

8 朱雙濤;網(wǎng)格數(shù)據(jù)庫(kù)中元數(shù)據(jù)管理機(jī)制的研究[D];華中科技大學(xué);2007年

9 應(yīng)英;電子政務(wù)元數(shù)據(jù)管理系統(tǒng)的研究與設(shè)計(jì)[D];西北工業(yè)大學(xué);2007年

10 張燕;虛擬篩選元數(shù)據(jù)管理系統(tǒng)的研究[D];蘭州大學(xué);2013年

，

本文編號(hào)：1550092