本文選題：分布式文件系統(tǒng)　切入點(diǎn)：數(shù)據(jù)容錯(cuò)　出處：《計(jì)算機(jī)工程與應(yīng)用》2017年06期

【摘要】：在云存儲(chǔ)技術(shù)中,云存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)十分重要,直接關(guān)系到整個(gè)系統(tǒng)的可用性。當(dāng)前多數(shù)分布式存儲(chǔ)系統(tǒng)通過(guò)多副本來(lái)保證數(shù)據(jù)的可用性,然而,多副本存儲(chǔ)方式也使得數(shù)據(jù)存儲(chǔ)空間翻倍增加,為了降低存儲(chǔ)空間,提高數(shù)據(jù)可用性,有些分布式存儲(chǔ)系統(tǒng)開(kāi)始采用糾錯(cuò)碼技術(shù)來(lái)提高數(shù)據(jù)可用性和降低數(shù)據(jù)存儲(chǔ)空間占用。通過(guò)對(duì)MooseFS分布式文件系統(tǒng)進(jìn)行分析,提出了一種基于MooseFS的糾錯(cuò)碼實(shí)現(xiàn)方法。通過(guò)數(shù)據(jù)存儲(chǔ)效率測(cè)試,該方法能夠保證常用的"熱數(shù)據(jù)"按照多副本存儲(chǔ),不常用的"冷數(shù)據(jù)"按照糾錯(cuò)碼方式存儲(chǔ),在保證可靠性的同時(shí)極大地降低了多副本方式空間占用量。
[Abstract]:In cloud storage technology, the data tolerance of cloud storage system is very important, which is directly related to the availability of the whole system.At present, most distributed storage systems guarantee the availability of data through multi-replicas. However, multi-replica storage also doubles the data storage space, in order to reduce the storage space and improve the availability of data.Some distributed storage systems begin to use error-correcting code technology to improve data availability and reduce data storage space.Based on the analysis of MooseFS distributed file system, an error correcting code implementation method based on MooseFS is proposed.By testing the efficiency of data storage, the method can ensure that the commonly used "hot data" is stored according to multiple replicas, and the "cold data" that is not commonly used is stored in error correction code mode.At the same time, the reliability is guaranteed and the space consumption of multi-replica mode is greatly reduced.
【作者單位】： 河南理工大學(xué)電氣工程與自動(dòng)化學(xué)院;河南理工大學(xué)萬(wàn)方科技學(xué)院;
【基金】：河南省科技攻關(guān)重點(diǎn)資助項(xiàng)目(No.142102210435)
【分類(lèi)號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計(jì)算機(jī)應(yīng)用;2011年S2期

2 郎為民;楊德鵬;;云計(jì)算中的分布式文件系統(tǒng)[J];電信快報(bào);2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應(yīng)用級(jí)分布式文件系統(tǒng)接口標(biāo)準(zhǔn)化探索[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年10期

4 應(yīng)朝暉，高洪奎，，黃若衡;分布式文件系統(tǒng)[J];計(jì)算機(jī)工程與科學(xué);1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動(dòng)Agent的新型分布式文件系統(tǒng)研究[J];計(jì)算機(jī)科學(xué);2002年10期

6 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

7 黃華,張建剛,許魯;藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2007年S2期

相關(guān)會(huì)議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專(zhuān)家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

相關(guān)博士學(xué)位論文 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

相關(guān)碩士學(xué)位論文 前10條

1 冷志強(qiáng);基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2014年

2 黎斌;基于HDFS的分布式文件系統(tǒng)存儲(chǔ)研究與優(yōu)化[D];電子科技大學(xué);2015年

3 何雄;大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議[D];電子科技大學(xué);2015年

4 焦晨宇;可伸縮分布式文件系統(tǒng)及其應(yīng)用[D];北京理工大學(xué);2015年

5 譙林飛;云計(jì)算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問(wèn)題研究[D];電子科技大學(xué);2014年

6 秦小寒;優(yōu)化性能的分布式存儲(chǔ)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 牛升;分布式文件系統(tǒng)的負(fù)載均衡策略研究[D];電子科技大學(xué);2014年

8 郭建國(guó);基于分布式文件系統(tǒng)FastDFS的圖片服務(wù)器件設(shè)計(jì)與應(yīng)用[D];中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

9 白鋮;一種分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

10 吳霖;分布式微信公眾平臺(tái)爬蟲(chóng)系統(tǒng)的研究與應(yīng)用[D];南華大學(xué);2015年

本文編號(hào)：1699682