本文關(guān)鍵詞：分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)的負(fù)載均衡框架

  更多相關(guān)文章： 元數(shù)據(jù)服務(wù)器 分布式文件系統(tǒng) 負(fù)載均衡 預(yù)取 緩存

【摘要】：請(qǐng)求負(fù)載均衡,是分布式文件系統(tǒng)元數(shù)據(jù)管理需要面對(duì)的核心問(wèn)題.以最大化元數(shù)據(jù)服務(wù)器集群吞吐量為目標(biāo),在已有元數(shù)據(jù)管理層之上設(shè)計(jì)實(shí)現(xiàn)了一種分布式緩存框架,專(zhuān)門(mén)管理熱點(diǎn)元數(shù)據(jù),均衡不斷變化的負(fù)載.與已有的元數(shù)據(jù)負(fù)載均衡架構(gòu)相比,這種兩層的負(fù)載均衡架構(gòu)靈活度更高,對(duì)負(fù)載的感知能力更強(qiáng),并且避免了熱點(diǎn)元數(shù)據(jù)重新分布、遷移引起的元數(shù)據(jù)命名空間結(jié)構(gòu)被破壞的情況.經(jīng)觀察分析,元數(shù)據(jù)尺寸小、數(shù)量大,預(yù)取錯(cuò)誤元數(shù)據(jù)帶來(lái)的代價(jià)遠(yuǎn)遠(yuǎn)小于預(yù)取錯(cuò)誤數(shù)據(jù)帶來(lái)的代價(jià).針對(duì)元數(shù)據(jù)的以上鮮明特點(diǎn),提出一種元數(shù)據(jù)預(yù)取策略和基于預(yù)取機(jī)制的元數(shù)據(jù)緩存替換算法,加強(qiáng)了上述分布式緩存層的性能,這種兩層的元數(shù)據(jù)負(fù)載均衡框架同時(shí)考慮了緩存一致性的問(wèn)題.最后,在一個(gè)真實(shí)的分布式文件系統(tǒng)中驗(yàn)證了框架及方法的有效性.
【作者單位】： 中國(guó)科學(xué)院軟件研究所;中國(guó)科學(xué)院大學(xué);
【關(guān)鍵詞】： 元數(shù)據(jù)服務(wù)器 分布式文件系統(tǒng) 負(fù)載均衡 預(yù)取 緩存
【基金】：國(guó)家自然科學(xué)基金(61170074,61202065,U1435220) 國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863)(2013AA041301) 國(guó)家科技支撐計(jì)劃(2015BAH18F02)~~
【分類(lèi)號(hào)】：TP333
【正文快照】： 2(中國(guó)科學(xué)院大學(xué),北京100190)www.jos.org.cn/1000-9825/4930.htm英文引用格式:Sun Y,Liu J,Ye D,Zhong H.Load balancing framework for metadata service of distributed file systems.RuanJian Xue Bao/Journal of Software,2016,27(12):3192?3207(in Chinese).http://www

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計(jì)算機(jī)應(yīng)用;2011年S2期

2 郎為民;楊德鵬;;云計(jì)算中的分布式文件系統(tǒng)[J];電信快報(bào);2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應(yīng)用級(jí)分布式文件系統(tǒng)接口標(biāo)準(zhǔn)化探索[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年10期

4 應(yīng)朝暉，高洪奎，，黃若衡;分布式文件系統(tǒng)[J];計(jì)算機(jī)工程與科學(xué);1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動(dòng)Agent的新型分布式文件系統(tǒng)研究[J];計(jì)算機(jī)科學(xué);2002年10期

6 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

7 黃華,張建剛,許魯;藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶(hù)端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2007年S2期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專(zhuān)家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 冷志強(qiáng);基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2014年

2 黎斌;基于HDFS的分布式文件系統(tǒng)存儲(chǔ)研究與優(yōu)化[D];電子科技大學(xué);2015年

3 何雄;大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議[D];電子科技大學(xué);2015年

4 焦晨宇;可伸縮分布式文件系統(tǒng)及其應(yīng)用[D];北京理工大學(xué);2015年

5 譙林飛;云計(jì)算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問(wèn)題研究[D];電子科技大學(xué);2014年

6 秦小寒;優(yōu)化性能的分布式存儲(chǔ)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 牛升;分布式文件系統(tǒng)的負(fù)載均衡策略研究[D];電子科技大學(xué);2014年

8 郭建國(guó);基于分布式文件系統(tǒng)FastDFS的圖片服務(wù)器件設(shè)計(jì)與應(yīng)用[D];中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

9 白鋮;一種分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

10 吳霖;分布式微信公眾平臺(tái)爬蟲(chóng)系統(tǒng)的研究與應(yīng)用[D];南華大學(xué);2015年

本文編號(hào)：935464