【摘要】：為了解決HDFS(Hadoop distributed file system)在存儲海量小文件時遇到的NameNode內(nèi)存瓶頸等問題,提高HDFS處理海量小文件的效率,提出一種基于小文件合并與預(yù)取的存取優(yōu)化方案。首先通過分析大量小文件歷史訪問日志,得到小文件之間的關(guān)聯(lián)關(guān)系,然后根據(jù)文件相關(guān)性將相關(guān)聯(lián)的小文件合并成大文件后再存儲到HDFS。從HDFS中讀取數(shù)據(jù)時,根據(jù)文件之間的相關(guān)性,對接下來用戶最有可能訪問的文件進(jìn)行預(yù)取,減少了客戶端對NameNode節(jié)點(diǎn)的訪問次數(shù),提高了文件命中率和處理速度。實(shí)驗(yàn)結(jié)果證明,該方法有效提升了Hadoop對小文件的存取效率,降低了NameNode節(jié)點(diǎn)的內(nèi)存占用率。
[Abstract]:In order to solve the problem of NameNode memory bottleneck encountered by HDFS (Hadoop distributed file system) in storing large small files and improve the efficiency of HDFS in processing large amount of small files, an access optimization scheme based on small file merging and prefetching is proposed. First, by analyzing a large number of small files history access log, get the correlation between small files, then according to the file correlation associated small files are merged into large files, then stored in HDFS. When reading data from HDFS, according to the correlation between files, prefetching the files that the next user is most likely to access reduces the number of visits to NameNode nodes by the client, and improves the hit rate and processing speed of the files. Experimental results show that the proposed method can effectively improve the efficiency of Hadoop access to small files and reduce the memory occupancy of NameNode nodes.
【作者單位】： 常州大學(xué)信息科學(xué)與工程學(xué)院;
【基金】：國家自然科學(xué)基金資助項(xiàng)目(11271057,61640211) 江蘇省普通高校研究生科研創(chuàng)新計(jì)劃項(xiàng)目(SCZ1412800004)
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前8條

1 徐俊;王慶華;趙云龍;;基于改進(jìn)HDFS的冠字號小文件分布式存儲研究[J];電腦知識與技術(shù);2014年17期

2 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預(yù)測控制策略的設(shè)計(jì)與分析[J];計(jì)算機(jī)科學(xué)與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計(jì)算機(jī)應(yīng)用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術(shù)研究或概述[J];科技廣場;2012年05期

6 蔣蘇蓉;藍(lán)江橋;楊玉海;;Hadoop框架下的情報(bào)分析大數(shù)據(jù)調(diào)度超時預(yù)測方法[J];計(jì)算機(jī)科學(xué);2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲安全技術(shù)分析[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2014年08期

8 ;[J];;年期

相關(guān)碩士學(xué)位論文 前9條

1 霍振奇;基于HDFS的創(chuàng)新知識存儲及分發(fā)架構(gòu)的研究與設(shè)計(jì)[D];河北工業(yè)大學(xué);2015年

2 袁國偉;HDFS高可用性方案的研究與設(shè)計(jì)[D];杭州電子科技大學(xué);2015年

3 黃健;基于HDFS安全云存儲模型的研究[D];廣東工業(yè)大學(xué);2016年

4 魏南琛;面向光盤庫的HDFS文件系統(tǒng)應(yīng)用研究與實(shí)現(xiàn)[D];華中科技大學(xué);2014年

5 孫成煊;基于用戶行為分析的HDFS小文件問題優(yōu)化及相關(guān)I/O設(shè)計(jì)[D];華南理工大學(xué);2016年

6 張榮;基于HDFS的海量小文件處理性能的研究與優(yōu)化[D];電子科技大學(xué);2016年

7 李夢楠;基于HDFS的名字節(jié)點(diǎn)的性能優(yōu)化技術(shù)研究[D];沈陽工業(yè)大學(xué);2015年

8 儲雅;基于HDFS的氣象云存儲的副本管理策略研究[D];南京信息工程大學(xué);2014年

9 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學(xué);2013年

，

本文編號：2342179