本文選題：分布式文件系統(tǒng)　切入點：數(shù)據(jù)容錯　出處：《計算機工程與應(yīng)用》2017年06期

【摘要】：在云存儲技術(shù)中,云存儲系統(tǒng)的數(shù)據(jù)容錯十分重要,直接關(guān)系到整個系統(tǒng)的可用性。當前多數(shù)分布式存儲系統(tǒng)通過多副本來保證數(shù)據(jù)的可用性,然而,多副本存儲方式也使得數(shù)據(jù)存儲空間翻倍增加,為了降低存儲空間,提高數(shù)據(jù)可用性,有些分布式存儲系統(tǒng)開始采用糾錯碼技術(shù)來提高數(shù)據(jù)可用性和降低數(shù)據(jù)存儲空間占用。通過對MooseFS分布式文件系統(tǒng)進行分析,提出了一種基于MooseFS的糾錯碼實現(xiàn)方法。通過數(shù)據(jù)存儲效率測試,該方法能夠保證常用的"熱數(shù)據(jù)"按照多副本存儲,不常用的"冷數(shù)據(jù)"按照糾錯碼方式存儲,在保證可靠性的同時極大地降低了多副本方式空間占用量。
[Abstract]:In cloud storage technology, the data tolerance of cloud storage system is very important, which is directly related to the availability of the whole system.At present, most distributed storage systems guarantee the availability of data through multi-replicas. However, multi-replica storage also doubles the data storage space, in order to reduce the storage space and improve the availability of data.Some distributed storage systems begin to use error-correcting code technology to improve data availability and reduce data storage space.Based on the analysis of MooseFS distributed file system, an error correcting code implementation method based on MooseFS is proposed.By testing the efficiency of data storage, the method can ensure that the commonly used "hot data" is stored according to multiple replicas, and the "cold data" that is not commonly used is stored in error correction code mode.At the same time, the reliability is guaranteed and the space consumption of multi-replica mode is greatly reduced.
【作者單位】： 河南理工大學電氣工程與自動化學院;河南理工大學萬方科技學院;
【基金】：河南省科技攻關(guān)重點資助項目(No.142102210435)
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計算機應(yīng)用;2011年S2期

2 郎為民;楊德鵬;;云計算中的分布式文件系統(tǒng)[J];電信快報;2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應(yīng)用級分布式文件系統(tǒng)接口標準化探索[J];信息技術(shù)與標準化;2012年10期

4 應(yīng)朝暉，高洪奎，，黃若衡;分布式文件系統(tǒng)[J];計算機工程與科學;1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動Agent的新型分布式文件系統(tǒng)研究[J];計算機科學;2002年10期

6 寒江約叟;N個資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

7 黃華,張建剛,許魯;藍鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計算機研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計算機科學;2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的物理資源管理模型[J];計算機工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進[J];計算機應(yīng)用;2007年S2期

相關(guān)會議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計與實現(xiàn)[A];2006年全國開放式分布與并行計算學術(shù)會議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術(shù)工作者聯(lián)合會2008年學術(shù)年會論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時代的交管綜合應(yīng)用云平臺[A];第八屆中國智能交通年會論文集[C];2013年

相關(guān)重要報紙文章 前10條

1 國家高性能計算機工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國計算機報;2005年

2 國家高性能計算機工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國計算機報;2005年

3 國防科學技術(shù)大學計算機學院軟件所 董勇 周恩強;構(gòu)建分布式文件系統(tǒng)[N];中國計算機報;2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報;2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動搖了MapReduce對Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計算和物聯(lián)網(wǎng)的美妙融合[N];學習時報;2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

相關(guān)博士學位論文 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學;2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學院研究生院（計算技術(shù)研究所）;2002年

3 黃華;藍鯨分布式文件系統(tǒng)的資源管理[D];中國科學院研究生院（計算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴展元數(shù)據(jù)服務(wù)關(guān)鍵問題研究[D];中國科學院研究生院（計算技術(shù)研究所）;2008年

相關(guān)碩士學位論文 前10條

1 冷志強;基于分布式文件系統(tǒng)GlusterFS的橫向擴展云存儲的研究與實現(xiàn)[D];復旦大學;2014年

2 黎斌;基于HDFS的分布式文件系統(tǒng)存儲研究與優(yōu)化[D];電子科技大學;2015年

3 何雄;大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議[D];電子科技大學;2015年

4 焦晨宇;可伸縮分布式文件系統(tǒng)及其應(yīng)用[D];北京理工大學;2015年

5 譙林飛;云計算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問題研究[D];電子科技大學;2014年

6 秦小寒;優(yōu)化性能的分布式存儲子系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學;2014年

7 牛升;分布式文件系統(tǒng)的負載均衡策略研究[D];電子科技大學;2014年

8 郭建國;基于分布式文件系統(tǒng)FastDFS的圖片服務(wù)器件設(shè)計與應(yīng)用[D];中國科學院大學(工程管理與信息技術(shù)學院);2015年

9 白鋮;一種分布式文件系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學;2015年

10 吳霖;分布式微信公眾平臺爬蟲系統(tǒng)的研究與應(yīng)用[D];南華大學;2015年

本文編號：1699682