Hadoop存儲海量小文件將導(dǎo)致存儲和計算性能顯著下降。本文通過分析HDFS架構(gòu)提出了一種基于文件類型的小文件合并方法,即根據(jù)文件類型將相同類型的小文件合并為大文件,并建立小文件到合并文件的索引關(guān)系,索引關(guān)系存儲于HashMap中。為了進一步提高文件讀取速度,建立了基于HashMap的緩存機制。實驗表明該方法能顯著提高HDFS在存儲和讀取海量小文件時的整體性能。

【文章頁數(shù)】：4 頁

【文章目錄】：
1 引言(Introduction)
2 HDFS存儲小文件的不足(The lack of HDFS to store small files)
3 相關(guān)研究工作(Related research work)
4 解決方案(Solution)
    4.1 合并文件
    4.2 索引機制
    4.3 緩存機制
    4.4 文件讀取
5 實驗驗證(Experimental verification)
    5.1 寫入速度測試
    5.2 Name Node內(nèi)存占用測試
    5.3 讀取速度測試
6結(jié)論(Conclusion)



本文編號：3877034