本文選題：云存儲(chǔ) + 數(shù)據(jù)容錯(cuò)　； 參考：《計(jì)算機(jī)科學(xué)》2015年S1期

【摘要】：Hadoop默認(rèn)采用副本冗余方式實(shí)現(xiàn)數(shù)據(jù)容錯(cuò),但這種容錯(cuò)方式存在著空間占用過(guò)大、存儲(chǔ)效率低等問(wèn)題。為此,在分析了ARC緩存淘汰算法的基礎(chǔ)上,提出了一種面向云存儲(chǔ)數(shù)據(jù)容錯(cuò)的ARC緩存淘汰機(jī)制ARCMFF。在文件的訪問(wèn)過(guò)程中,ARCMFF通過(guò)維護(hù)一個(gè)LRU隊(duì)列和一個(gè)LFU隊(duì)列統(tǒng)計(jì)出訪問(wèn)頻率高的文件并將其加入緩存系統(tǒng)中,以提高訪問(wèn)性能;在ARCMFF中,大部分文件采用的是糾刪碼方式容錯(cuò)存儲(chǔ),只有緩存中的文件才用副本冗余方式存儲(chǔ)。糾刪碼的編碼效率很高,因此系統(tǒng)能夠節(jié)省大量的存儲(chǔ)空間。實(shí)驗(yàn)結(jié)果表明,在分布式文件系統(tǒng)中,ARCMFF能夠節(jié)省文件存儲(chǔ)空間,大大地提高Hadoop的存儲(chǔ)效率,且能夠在一定程度上提高文件的寫(xiě)入性能。
[Abstract]:By default, Hadoop adopts replica redundancy to implement data fault-tolerance, but this fault tolerance has many problems, such as excessive space occupation and low storage efficiency. Based on the analysis of the ARC cache elimination algorithm, an ARCMFF-based ARC cache elimination mechanism for cloud storage data fault tolerance is proposed. ARCMFF improves access performance by maintaining a LRU queue and a LFU queue to count files with high access frequency and add them to the cache system; in ARCMFF, Most files are stored fault-tolerant by erasure code, only files in the cache are stored in duplicate redundancy. The coding efficiency of erasure code is very high, so the system can save a lot of storage space. The experimental results show that ARCMFF can save the file storage space, greatly improve the storage efficiency of Hadoop, and improve the file writing performance to a certain extent.
【作者單位】： 華南師范大學(xué)計(jì)算機(jī)學(xué)院;華南理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;
【基金】：國(guó)家自然基金項(xiàng)目(61402183) 廣東省科技計(jì)劃項(xiàng)目(2013B010401005,2013B010401024) 廣州市科技計(jì)劃項(xiàng)目(2013Y200077) 中央高校基本科研業(yè)務(wù)費(fèi)重點(diǎn)項(xiàng)目(2013ZZ0044) 華南師范大學(xué)研究生科研創(chuàng)新基金資助項(xiàng)目(C1074522)資助
【分類(lèi)號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

2 康殿統(tǒng);王文娟;楊雯;;關(guān)于Pareto分布的一個(gè)綜合研究[J];河西學(xué)院學(xué)報(bào);2008年02期

3 羅象宏;舒繼武;;存儲(chǔ)系統(tǒng)中的糾刪碼研究綜述[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

4 利業(yè)韃;林偉偉;;一種Hadoop數(shù)據(jù)復(fù)制優(yōu)化方法[J];計(jì)算機(jī)工程與應(yīng)用;2012年21期

5 林偉偉;劉波;;基于動(dòng)態(tài)帶寬分配的Hadoop數(shù)據(jù)負(fù)載均衡方法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年09期

6 林偉偉;賀品嘉;劉波;;云存儲(chǔ)系統(tǒng)的能耗優(yōu)化節(jié)點(diǎn)管理方法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊進(jìn);王亮明;唐德玉;;RS糾刪碼在電子健康檔案云存儲(chǔ)中的應(yīng)用[J];廣東藥學(xué)院學(xué)報(bào);2012年04期

2 宋秀麗;陳龍;肖敏;;云存儲(chǔ)中支持XOR旋轉(zhuǎn)編碼的可恢復(fù)性驗(yàn)證方案[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期

3 武娟;黃海;錢(qián)鋒;李擁軍;壽質(zhì)彬;;基于多變量動(dòng)態(tài)算法的Hadoop負(fù)載均衡優(yōu)化與實(shí)現(xiàn)[J];電信科學(xué);2012年12期

4 萬(wàn)武南;王拓;索望;;一種三容錯(cuò)數(shù)據(jù)布局[J];電子與信息學(xué)報(bào);2013年10期

5 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲(chǔ)探索[J];鞍山師范學(xué)院學(xué)報(bào);2013年04期

6 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設(shè)計(jì)[J];電信科學(xué);2013年12期

7 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

8 馬飛;;多云工作流優(yōu)化傳輸費(fèi)用的數(shù)據(jù)布局策略[J];電腦知識(shí)與技術(shù);2014年10期

9 劉鵬曦;許王燕;;一種冗余地理數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];大眾科技;2014年01期

10 楊關(guān)建;華澤璽;楊彬;;Hadoop平臺(tái)在智能變電站中的應(yīng)用研究[J];電源技術(shù)應(yīng)用;2014年03期

相關(guān)會(huì)議論文 前5條

1 祁昊穎;;大數(shù)據(jù)時(shí)代電信運(yùn)營(yíng)商文件系統(tǒng)新思考[A];2013年中國(guó)信息通信研究新進(jìn)展論文集[C];2014年

2 田原;王營(yíng)康;肖達(dá);楊榆;;云存儲(chǔ)系統(tǒng)中的存儲(chǔ)與數(shù)據(jù)拆分方案[A];第十九屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

3 汪中琳;喬自知;郭景贊;;移動(dòng)運(yùn)維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國(guó)無(wú)線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2014年

4 祁昊穎;;大數(shù)據(jù)時(shí)代電信運(yùn)營(yíng)商文件系統(tǒng)新思考[A];2013年中國(guó)信息通信研究新進(jìn)展論文集[C];2014年

5 龔琪慧;劉偉;李坤;游攀利;;基于大數(shù)據(jù)的水利數(shù)據(jù)中心建設(shè)[A];大數(shù)據(jù)時(shí)代的信息化建設(shè)——2015（第三屆）中國(guó)水利信息化與數(shù)字水利技術(shù)論壇論文集[C];2015年

相關(guān)博士學(xué)位論文 前10條

1 龐麗莉;無(wú)線網(wǎng)絡(luò)儀器的時(shí)鐘同步、定位及數(shù)據(jù)安全存儲(chǔ)算法研究[D];吉林大學(xué);2013年

2 肖宜龍;隨機(jī)化數(shù)據(jù)冗余方法及其在存儲(chǔ)系統(tǒng)中的應(yīng)用[D];電子科技大學(xué);2013年

3 楊永全;飲食健康中的食物體積估算云計(jì)算技術(shù)研究[D];中國(guó)海洋大學(xué);2013年

4 孫茂華;安全多方計(jì)算及其應(yīng)用研究[D];北京郵電大學(xué);2013年

5 胡德鵬;基于農(nóng)業(yè)本體問(wèn)句分析的問(wèn)答系統(tǒng)研究與架構(gòu)設(shè)計(jì)[D];中國(guó)農(nóng)業(yè)科學(xué)院;2013年

6 王金寶;云計(jì)算系統(tǒng)中索引與查詢(xún)處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

7 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

8 董超;基于網(wǎng)絡(luò)流量監(jiān)測(cè)的移動(dòng)互聯(lián)網(wǎng)特征研究[D];北京郵電大學(xué);2013年

9 姜春茂;基于移動(dòng)P2P的分布式存儲(chǔ)和傳輸機(jī)制研究[D];哈爾濱工程大學(xué);2013年

10 陳軍;基于G/S模式的空間分析云服務(wù)關(guān)鍵技術(shù)研究[D];成都理工大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 王曉園;貝葉斯方法在保險(xiǎn)精算中的應(yīng)用研究[D];重慶理工大學(xué);2011年

2 張凱;分布式存儲(chǔ)系統(tǒng)中節(jié)點(diǎn)修復(fù)問(wèn)題研究[D];西南交通大學(xué);2012年

3 董祥橋;GARCH族模型研究及農(nóng)業(yè)板塊實(shí)證分析[D];西北農(nóng)林科技大學(xué);2012年

4 董其文;基于HDFS的小文件存儲(chǔ)方法的研究[D];大連海事大學(xué);2013年

5 楊甫恒;基于Hadoop的大數(shù)據(jù)動(dòng)態(tài)資源調(diào)節(jié)服務(wù)研究[D];成都理工大學(xué);2013年

6 潘運(yùn)軍;基于Hadoop的建筑信息檢索平臺(tái)架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2013年

7 楊昊溟;云存儲(chǔ)系統(tǒng)的數(shù)據(jù)副本放置算法研究[D];電子科技大學(xué);2013年

8 張興;基于Hadoop的云存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

9 李東升;基于Chord環(huán)的MongoDB數(shù)據(jù)均衡系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];重慶大學(xué);2013年

10 陳席林;分布式持久化緩存系統(tǒng)的研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳吉義;傅建慶;平玲娣;謝琪;;一種對(duì)等結(jié)構(gòu)的云存儲(chǔ)系統(tǒng)研究[J];電子學(xué)報(bào);2011年05期

2 林偉偉;齊德昱;劉波;;基于資源融合的網(wǎng)格任務(wù)調(diào)度模型與算法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年01期

3 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

4 趙全忠;王曉敏;康殿統(tǒng);;有關(guān)函數(shù)凸性的幾個(gè)新概念及其性質(zhì)[J];河西學(xué)院學(xué)報(bào);2006年05期

5 欒亞建;黃爛，

本文編號(hào)：1860312