本文選題：HDFS　切入點(diǎn)：海量文件　出處：《計(jì)算機(jī)科學(xué)》2017年S2期 　論文類型：期刊論文

【摘要】：HDFS在存儲海量文件時具有明顯的優(yōu)勢,但在存儲小文件占絕大多數(shù)的海量文件時,HDFS單個NameNode的存儲架構(gòu)會導(dǎo)致其性能嚴(yán)重降低。為此,提出一種基于合并思想的方案,即將小文件合并為大文件,同時建立小文件到合并文件的映射關(guān)系,并將其存于HBase中。為了提高讀取速度,建立了基于LRU的預(yù)取機(jī)制。實(shí)驗(yàn)表明,該方法能明顯提高HDFS在處理海量文件時的整體性能。
[Abstract]:HDFS has obvious advantages in storing large files, but the storage architecture of single NameNode will cause serious degradation when storing large files with small files. Therefore, a scheme based on merging idea is proposed. In order to improve the speed of reading, the prefetching mechanism based on LRU is established, and the mapping relationship between small file and merged file is established, and the mapping relationship between small file and merged file is established. The experimental results show that, in order to improve the speed of reading, a prefetching mechanism based on LRU is established. This method can obviously improve the overall performance of HDFS in processing massive files.
【作者單位】： 華東理工大學(xué)信息科學(xué)與工程學(xué)院;
【基金】：國家自然科學(xué)基金資助項(xiàng)目(61672227)資助
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 建華;怎樣看懂DVD光盤的文件[J];電子世界;2003年01期

2 亓蘭武,周曉;OBJ文件和HEX文件相互轉(zhuǎn)換原理與實(shí)現(xiàn)[J];電子技術(shù)應(yīng)用;1996年07期

3 周力強(qiáng)，，許斌;CD-ROM文件和卷結(jié)構(gòu)標(biāo)準(zhǔn)的分析與研究[J];激光與紅外;1998年06期

4 徐俊;王慶華;趙云龍;;基于改進(jìn)HDFS的冠字號小文件分布式存儲研究[J];電腦知識與技術(shù);2014年17期

5 張明敏,潘志庚;CD—ROM光盤的卷和文件結(jié)構(gòu)(1)[J];光盤技術(shù);1995年03期

6 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預(yù)測控制策略的設(shè)計(jì)與分析[J];計(jì)算機(jī)科學(xué)與探索;2013年05期

7 樸順姬,曲秀敏,崔立緣;程序光盤目錄結(jié)構(gòu)剖析[J];佳木斯大學(xué)學(xué)報(自然科學(xué)版);2002年03期

8 楊培勇;趙志強(qiáng);孫鵬;;一種智能終端數(shù)據(jù)共享中的預(yù)取緩存技術(shù)[J];網(wǎng)絡(luò)新媒體技術(shù);2012年04期

9 王濤;姚世紅;徐正全;熊煉;;云存儲中面向訪問任務(wù)的小文件合并與預(yù)取策略[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2013年12期

10 唐麗梅;邢素霞;陳天華;;多用戶存儲中自適應(yīng)動態(tài)預(yù)取策略[J];電子技術(shù)應(yīng)用;2013年01期

相關(guān)重要報紙文章 前1條

1 春天;免費(fèi)升級DC變DV[N];中國計(jì)算機(jī)報;2004年

相關(guān)碩士學(xué)位論文 前10條

1 高澤棟;一種優(yōu)化HDFS小寫文件存儲策略研究與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

2 霍振奇;基于HDFS的創(chuàng)新知識存儲及分發(fā)架構(gòu)的研究與設(shè)計(jì)[D];河北工業(yè)大學(xué);2015年

3 黃健;基于HDFS安全云存儲模型的研究[D];廣東工業(yè)大學(xué);2016年

4 魏南琛;面向光盤庫的HDFS文件系統(tǒng)應(yīng)用研究與實(shí)現(xiàn)[D];華中科技大學(xué);2014年

5 張榮;基于HDFS的海量小文件處理性能的研究與優(yōu)化[D];電子科技大學(xué);2016年

6 王紀(jì)良;基于移動通信開放業(yè)務(wù)能力平臺的云存儲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2013年

7 李夢楠;基于HDFS的名字節(jié)點(diǎn)的性能優(yōu)化技術(shù)研究[D];沈陽工業(yè)大學(xué);2015年

8 儲雅;基于HDFS的氣象云存儲的副本管理策略研究[D];南京信息工程大學(xué);2014年

9 肖暢;安全云存儲的應(yīng)用研究[D];上海交通大學(xué);2014年

10 王洪翰;X處理器中高速寄存器文件全定制設(shè)計(jì)與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2009年

本文編號：1618715