本文選題：元數(shù)據(jù)服務(wù)器 + MDS集群��； 參考：《計(jì)算機(jī)研究與發(fā)展》2014年S1期

【摘要】：大數(shù)據(jù)應(yīng)用對(duì)信息系統(tǒng)的底層存儲(chǔ)提出了極大挑戰(zhàn),其首選方案為元數(shù)據(jù)服務(wù)器(metadata server,MDS)集群架構(gòu).MDS集群系統(tǒng)為了實(shí)現(xiàn)負(fù)載均衡,采用的基本機(jī)制為元數(shù)據(jù)服務(wù)的負(fù)載遷移.當(dāng)前主流方案存在遷移時(shí)間長(zhǎng),遷移中寫(xiě)相關(guān)元數(shù)據(jù)訪問(wèn)需要阻塞的問(wèn)題.提出細(xì)粒度的元數(shù)據(jù)服務(wù)負(fù)載遷移方案,由遷出端恢復(fù)遷移機(jī)制和細(xì)粒度控制遷移機(jī)制2部分組成.在遷移過(guò)程中,以文件為粒度在遷入端重建遷出端的元數(shù)據(jù)相關(guān)狀態(tài)結(jié)構(gòu),并根據(jù)被訪問(wèn)狀態(tài)的類(lèi)型選擇在遷出端或遷入端進(jìn)行立即響應(yīng),而非阻塞操作直到遷移完成.在藍(lán)鯨MDS集群系統(tǒng)上實(shí)現(xiàn)了此方案,測(cè)試和分析表明,在10 000規(guī)模的遷移場(chǎng)景中,遷移時(shí)間控制在800ms以下,元數(shù)據(jù)或狀態(tài)寫(xiě)入延遲最高為215ms.與系統(tǒng)原方案中90s的固有延時(shí)相比,此方案有效解決了MDS集群中負(fù)載遷移時(shí)間過(guò)長(zhǎng)的問(wèn)題,并且極大地降低了遷移過(guò)程對(duì)正常元數(shù)據(jù)訪問(wèn)的影響.
[Abstract]:Big data's application poses a great challenge to the underlying storage of information system. The preferred scheme is metadata server / MDS cluster architecture. In order to achieve load balancing, the basic mechanism adopted by big data is the load migration of metadata service.The current mainstream scheme has the problem of long migration time and the problem of blocking the access to the relevant metadata in the migration.A fine-grained load migration scheme for metadata service is proposed, which consists of two parts: the migration mechanism of migration end recovery and the mechanism of fine-grained control migration.In the migration process, the file granularity is used to reconstruct the metadata correlation state structure of the migration end, and according to the type of the accessed state, it is selected to respond immediately at the outgoing or incoming end, instead of blocking the operation until the migration is completed.The scheme is implemented on the blue whale MDS cluster system. The test and analysis show that the migration time is controlled below 800ms and the metadata or state write delay is up to 215msin the 10 000 scale migration scenario.Compared with the inherent delay of 90 s in the original scheme of the system, this scheme effectively solves the problem of long load migration time in MDS cluster, and greatly reduces the impact of migration process on normal metadata access.
【作者單位】： 中國(guó)科學(xué)院計(jì)算技術(shù)研究所;中國(guó)科學(xué)院大學(xué);
【基金】：國(guó)家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃基金項(xiàng)目(2011CB302304) 國(guó)家“八六三”高技術(shù)研究發(fā)展計(jì)劃基金項(xiàng)目(2011AA01A102,2013AA013205) 中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)專(zhuān)項(xiàng)課題(XDA06010401) 中國(guó)科學(xué)院重點(diǎn)部署基金項(xiàng)目(KGZD-EW-103-5(7))
【分類(lèi)號(hào)】：TP368.5

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 周江;王偉平;孟丹;馬燦;古曉艷;蔣杰;;面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2014年02期

【共引文獻(xiàn)】

相關(guān)期刊論文 前5條

1 蘇洋;劉曉軍;唐勇;黃洋;;游戲大數(shù)據(jù)平臺(tái)研究與實(shí)踐[J];電信科學(xué);2014年10期

2 尤海浪;錢(qián)鋒;黃祥為;胡亮亮;;基于大數(shù)據(jù)挖掘構(gòu)建游戲平臺(tái)個(gè)性化推薦系統(tǒng)的研究與實(shí)踐[J];電信科學(xué);2014年10期

3 劉國(guó)良;馬留英;閆鵬飛;張帥;劉瀏;;GeoFS:一個(gè)廣域文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)研究與發(fā)展;2014年S1期

4 馬留英;蔡杰明;劉瀏;劉振軍;;一種加速?gòu)V域文件系統(tǒng)讀寫(xiě)訪問(wèn)的緩存策略[J];計(jì)算機(jī)研究與發(fā)展;2014年S1期

5 何昆;;銀行自助設(shè)備備付金預(yù)測(cè)模型探索[J];中小企業(yè)管理與科技(上旬刊);2015年01期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 馮幼樂(lè);朱六璋;;CEPH動(dòng)態(tài)元數(shù)據(jù)管理方法分析與改進(jìn)[J];電子技術(shù);2010年09期

2 熊勁,范志華,馬捷,唐榮鋒,李暉,孟丹;DCFS2的元數(shù)據(jù)一致性策略[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫偉;李艷靈;周文勇;;細(xì)粒度基于傳遞功能的約束委托模型[J];信陽(yáng)師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2013年03期

2 夏汛;陳玲;;基于攔截器的細(xì)粒度權(quán)限設(shè)計(jì)[J];福建電腦;2012年11期

3 歐陽(yáng)純萍;陽(yáng)小華;雷龍艷;徐強(qiáng);余穎;劉志明;;多策略中文微博細(xì)粒度情緒分析研究[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年01期

4 史大偉;袁天偉;;一種粗細(xì)粒度結(jié)合的動(dòng)態(tài)污點(diǎn)分析方法[J];計(jì)算機(jī)工程;2014年03期

5 戢彥泓,郭常杰,鐘玉琢,孫立峰;基于細(xì)粒度可擴(kuò)展編碼的多源視頻流化方案[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年04期

6 涂登彪;譚光明;孫凝暉;;無(wú)鎖同步的細(xì)粒度并行介度中心算法[J];軟件學(xué)報(bào);2011年05期

7 張宇軒;魏廷存;樊曉椏;張萌;;面向流體系的細(xì)粒度異步訪存調(diào)度[J];計(jì)算機(jī)應(yīng)用研究;2012年03期

8 原子;于莉莉;劉超;;引入缺陷的細(xì)粒度軟件變更識(shí)別方法[J];北京航空航天大學(xué)學(xué)報(bào);2014年09期

9 王寬;;基于細(xì)粒度調(diào)整的同步播放控制算法[J];山西電子技術(shù);2008年05期

10 華秀麗;徐凡;王中卿;李培峰;;細(xì)粒度科技論文摘要句子分類(lèi)方法[J];計(jì)算機(jī)工程;2012年14期

相關(guān)會(huì)議論文 前6條

1 葉蘊(yùn)芳;楊榆;羅鑫;徐國(guó)愛(ài);;Appfuse系統(tǒng)中細(xì)粒度權(quán)限控制的研究與實(shí)現(xiàn)[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)通信與信息技術(shù)會(huì)議論文集（上冊(cè)）[C];2008年

2 江偉玉;高能;劉澤藝;林雪燕;;一種云計(jì)算中的多重身份認(rèn)證與授權(quán)方案[A];第27次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2012年

3 郭磊;唐玉華;周杰;董亞卓;;基于FPGA的Cholesky分解細(xì)粒度并行結(jié)構(gòu)與實(shí)現(xiàn)[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

4 李俊青;謝圣獻(xiàn);劉廣亮;陳晨;;P2P網(wǎng)絡(luò)基于蟻群優(yōu)化的動(dòng)態(tài)細(xì)粒度訪問(wèn)控制框架[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

5 盛振華;吳羽;江錦華;壽黎但;陳剛;;InfoSigs:一種面向WEB對(duì)象的細(xì)粒度聚類(lèi)算法[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（A輯）[C];2009年

6 何全勝;;基于端口認(rèn)證和堆疊VLAN兩種技術(shù)在LAN接入中的應(yīng)用分析[A];2007中國(guó)科協(xié)年會(huì)——通信與信息發(fā)展高層論壇論文集[C];2007年

相關(guān)重要報(bào)紙文章 前2條

1 趙曉濤;巡展中的三大熱門(mén)[N];網(wǎng)絡(luò)世界;2007年

2 樂(lè)天邋編譯;編織一張更好的Web[N];計(jì)算機(jī)世界;2007年

相關(guān)博士學(xué)位論文 前2條

1 時(shí)杰;關(guān)系數(shù)據(jù)庫(kù)細(xì)粒度訪問(wèn)控制研究[D];華中科技大學(xué);2010年

2 朱倩;面向自由文本的細(xì)粒度關(guān)系抽取的關(guān)鍵技術(shù)研究[D];江蘇大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 張s，

本文編號(hào)：1743901