本文選題：元數(shù)據(jù)服務(wù)器 + MDS集群��； 參考：《計算機研究與發(fā)展》2014年S1期

【摘要】：大數(shù)據(jù)應(yīng)用對信息系統(tǒng)的底層存儲提出了極大挑戰(zhàn),其首選方案為元數(shù)據(jù)服務(wù)器(metadata server,MDS)集群架構(gòu).MDS集群系統(tǒng)為了實現(xiàn)負(fù)載均衡,采用的基本機制為元數(shù)據(jù)服務(wù)的負(fù)載遷移.當(dāng)前主流方案存在遷移時間長,遷移中寫相關(guān)元數(shù)據(jù)訪問需要阻塞的問題.提出細(xì)粒度的元數(shù)據(jù)服務(wù)負(fù)載遷移方案,由遷出端恢復(fù)遷移機制和細(xì)粒度控制遷移機制2部分組成.在遷移過程中,以文件為粒度在遷入端重建遷出端的元數(shù)據(jù)相關(guān)狀態(tài)結(jié)構(gòu),并根據(jù)被訪問狀態(tài)的類型選擇在遷出端或遷入端進行立即響應(yīng),而非阻塞操作直到遷移完成.在藍(lán)鯨MDS集群系統(tǒng)上實現(xiàn)了此方案,測試和分析表明,在10 000規(guī)模的遷移場景中,遷移時間控制在800ms以下,元數(shù)據(jù)或狀態(tài)寫入延遲最高為215ms.與系統(tǒng)原方案中90s的固有延時相比,此方案有效解決了MDS集群中負(fù)載遷移時間過長的問題,并且極大地降低了遷移過程對正常元數(shù)據(jù)訪問的影響.
[Abstract]:Big data's application poses a great challenge to the underlying storage of information system. The preferred scheme is metadata server / MDS cluster architecture. In order to achieve load balancing, the basic mechanism adopted by big data is the load migration of metadata service.The current mainstream scheme has the problem of long migration time and the problem of blocking the access to the relevant metadata in the migration.A fine-grained load migration scheme for metadata service is proposed, which consists of two parts: the migration mechanism of migration end recovery and the mechanism of fine-grained control migration.In the migration process, the file granularity is used to reconstruct the metadata correlation state structure of the migration end, and according to the type of the accessed state, it is selected to respond immediately at the outgoing or incoming end, instead of blocking the operation until the migration is completed.The scheme is implemented on the blue whale MDS cluster system. The test and analysis show that the migration time is controlled below 800ms and the metadata or state write delay is up to 215msin the 10 000 scale migration scenario.Compared with the inherent delay of 90 s in the original scheme of the system, this scheme effectively solves the problem of long load migration time in MDS cluster, and greatly reduces the impact of migration process on normal metadata access.
【作者單位】： 中國科學(xué)院計算技術(shù)研究所;中國科學(xué)院大學(xué);
【基金】：國家“九七三”重點基礎(chǔ)研究發(fā)展計劃基金項目(2011CB302304) 國家“八六三”高技術(shù)研究發(fā)展計劃基金項目(2011AA01A102,2013AA013205) 中國科學(xué)院戰(zhàn)略性先導(dǎo)專項課題(XDA06010401) 中國科學(xué)院重點部署基金項目(KGZD-EW-103-5(7))
【分類號】：TP368.5

【參考文獻】

相關(guān)期刊論文 前1條

1 周江;王偉平;孟丹;馬燦;古曉艷;蔣杰;;面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J];計算機研究與發(fā)展;2014年02期

【共引文獻】

相關(guān)期刊論文 前5條

1 蘇洋;劉曉軍;唐勇;黃洋;;游戲大數(shù)據(jù)平臺研究與實踐[J];電信科學(xué);2014年10期

2 尤海浪;錢鋒;黃祥為;胡亮亮;;基于大數(shù)據(jù)挖掘構(gòu)建游戲平臺個性化推薦系統(tǒng)的研究與實踐[J];電信科學(xué);2014年10期

3 劉國良;馬留英;閆鵬飛;張帥;劉瀏;;GeoFS:一個廣域文件系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機研究與發(fā)展;2014年S1期

4 馬留英;蔡杰明;劉瀏;劉振軍;;一種加速廣域文件系統(tǒng)讀寫訪問的緩存策略[J];計算機研究與發(fā)展;2014年S1期

5 何昆;;銀行自助設(shè)備備付金預(yù)測模型探索[J];中小企業(yè)管理與科技(上旬刊);2015年01期

【二級參考文獻】

相關(guān)期刊論文 前2條

1 馮幼樂;朱六璋;;CEPH動態(tài)元數(shù)據(jù)管理方法分析與改進[J];電子技術(shù);2010年09期

2 熊勁,范志華,馬捷,唐榮鋒,李暉,孟丹;DCFS2的元數(shù)據(jù)一致性策略[J];計算機研究與發(fā)展;2005年06期

【相似文獻】

相關(guān)期刊論文 前10條

1 孫偉;李艷靈;周文勇;;細(xì)粒度基于傳遞功能的約束委托模型[J];信陽師范學(xué)院學(xué)報(自然科學(xué)版);2013年03期

2 夏汛;陳玲;;基于攔截器的細(xì)粒度權(quán)限設(shè)計[J];福建電腦;2012年11期

3 歐陽純萍;陽小華;雷龍艷;徐強;余穎;劉志明;;多策略中文微博細(xì)粒度情緒分析研究[J];北京大學(xué)學(xué)報(自然科學(xué)版);2014年01期

4 史大偉;袁天偉;;一種粗細(xì)粒度結(jié)合的動態(tài)污點分析方法[J];計算機工程;2014年03期

5 戢彥泓,郭常杰,鐘玉琢,孫立峰;基于細(xì)粒度可擴展編碼的多源視頻流化方案[J];清華大學(xué)學(xué)報(自然科學(xué)版);2004年04期

6 涂登彪;譚光明;孫凝暉;;無鎖同步的細(xì)粒度并行介度中心算法[J];軟件學(xué)報;2011年05期

7 張宇軒;魏廷存;樊曉椏;張萌;;面向流體系的細(xì)粒度異步訪存調(diào)度[J];計算機應(yīng)用研究;2012年03期

8 原子;于莉莉;劉超;;引入缺陷的細(xì)粒度軟件變更識別方法[J];北京航空航天大學(xué)學(xué)報;2014年09期

9 王寬;;基于細(xì)粒度調(diào)整的同步播放控制算法[J];山西電子技術(shù);2008年05期

10 華秀麗;徐凡;王中卿;李培峰;;細(xì)粒度科技論文摘要句子分類方法[J];計算機工程;2012年14期

相關(guān)會議論文 前6條

1 葉蘊芳;楊榆;羅鑫;徐國愛;;Appfuse系統(tǒng)中細(xì)粒度權(quán)限控制的研究與實現(xiàn)[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

2 江偉玉;高能;劉澤藝;林雪燕;;一種云計算中的多重身份認(rèn)證與授權(quán)方案[A];第27次全國計算機安全學(xué)術(shù)交流會論文集[C];2012年

3 郭磊;唐玉華;周杰;董亞卓;;基于FPGA的Cholesky分解細(xì)粒度并行結(jié)構(gòu)與實現(xiàn)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

4 李俊青;謝圣獻;劉廣亮;陳晨;;P2P網(wǎng)絡(luò)基于蟻群優(yōu)化的動態(tài)細(xì)粒度訪問控制框架[A];2008年全國開放式分布與并行計算機學(xué)術(shù)會議論文集(下冊)[C];2008年

5 盛振華;吳羽;江錦華;壽黎但;陳剛;;InfoSigs:一種面向WEB對象的細(xì)粒度聚類算法[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（A輯）[C];2009年

6 何全勝;;基于端口認(rèn)證和堆疊VLAN兩種技術(shù)在LAN接入中的應(yīng)用分析[A];2007中國科協(xié)年會——通信與信息發(fā)展高層論壇論文集[C];2007年

相關(guān)重要報紙文章 前2條

1 趙曉濤;巡展中的三大熱門[N];網(wǎng)絡(luò)世界;2007年

2 樂天邋編譯;編織一張更好的Web[N];計算機世界;2007年

相關(guān)博士學(xué)位論文 前2條

1 時杰;關(guān)系數(shù)據(jù)庫細(xì)粒度訪問控制研究[D];華中科技大學(xué);2010年

2 朱倩;面向自由文本的細(xì)粒度關(guān)系抽取的關(guān)鍵技術(shù)研究[D];江蘇大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 張s，

本文編號：1743901