【摘要】：為了解決HDFS(Hadoop distributed file system)在存儲海量小文件時遇到的NameNode內存瓶頸等問題,提高HDFS處理海量小文件的效率,提出一種基于小文件合并與預取的存取優(yōu)化方案。首先通過分析大量小文件歷史訪問日志,得到小文件之間的關聯(lián)關系,然后根據文件相關性將相關聯(lián)的小文件合并成大文件后再存儲到HDFS。從HDFS中讀取數(shù)據時,根據文件之間的相關性,對接下來用戶最有可能訪問的文件進行預取,減少了客戶端對NameNode節(jié)點的訪問次數(shù),提高了文件命中率和處理速度。實驗結果證明,該方法有效提升了Hadoop對小文件的存取效率,降低了NameNode節(jié)點的內存占用率。
[Abstract]:In order to solve the problem of NameNode memory bottleneck encountered by HDFS (Hadoop distributed file system) in storing large small files and improve the efficiency of HDFS in processing large amount of small files, an access optimization scheme based on small file merging and prefetching is proposed. First, by analyzing a large number of small files history access log, get the correlation between small files, then according to the file correlation associated small files are merged into large files, then stored in HDFS. When reading data from HDFS, according to the correlation between files, prefetching the files that the next user is most likely to access reduces the number of visits to NameNode nodes by the client, and improves the hit rate and processing speed of the files. Experimental results show that the proposed method can effectively improve the efficiency of Hadoop access to small files and reduce the memory occupancy of NameNode nodes.
【作者單位】： 常州大學信息科學與工程學院;
【基金】：國家自然科學基金資助項目(11271057,61640211) 江蘇省普通高校研究生科研創(chuàng)新計劃項目(SCZ1412800004)
【分類號】：TP333

【相似文獻】

相關期刊論文 前8條

1 徐俊;王慶華;趙云龍;;基于改進HDFS的冠字號小文件分布式存儲研究[J];電腦知識與技術;2014年17期

2 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預測控制策略的設計與分析[J];計算機科學與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計算機應用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據放置策略[J];計算機技術與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術研究或概述[J];科技廣場;2012年05期

6 蔣蘇蓉;藍江橋;楊玉海;;Hadoop框架下的情報分析大數(shù)據調度超時預測方法[J];計算機科學;2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲安全技術分析[J];計算機光盤軟件與應用;2014年08期

8 ;[J];;年期

相關碩士學位論文 前9條

1 霍振奇;基于HDFS的創(chuàng)新知識存儲及分發(fā)架構的研究與設計[D];河北工業(yè)大學;2015年

2 袁國偉;HDFS高可用性方案的研究與設計[D];杭州電子科技大學;2015年

3 黃健;基于HDFS安全云存儲模型的研究[D];廣東工業(yè)大學;2016年

4 魏南琛;面向光盤庫的HDFS文件系統(tǒng)應用研究與實現(xiàn)[D];華中科技大學;2014年

5 孫成煊;基于用戶行為分析的HDFS小文件問題優(yōu)化及相關I/O設計[D];華南理工大學;2016年

6 張榮;基于HDFS的海量小文件處理性能的研究與優(yōu)化[D];電子科技大學;2016年

7 李夢楠;基于HDFS的名字節(jié)點的性能優(yōu)化技術研究[D];沈陽工業(yè)大學;2015年

8 儲雅;基于HDFS的氣象云存儲的副本管理策略研究[D];南京信息工程大學;2014年

9 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學;2013年

，

本文編號：2342179