本文關(guān)鍵詞：基于Hadoop的海量小文件合并的研究與設(shè)計

  更多相關(guān)文章： Hadoop HDFS 小文件 元數(shù)據(jù) Har HBase Sequence File

【摘要】：基于Hadoop海量小文件合并的策略研究,一方面為了減輕Name Node的元數(shù)據(jù)量,利用Eclipse開發(fā)工具實現(xiàn)了Har、HBase、Sequence File三種主流合并方案對海量小文件的合并;另一方面分析這三種主流合并方案在不同場景下性能以及應(yīng)用方面的優(yōu)劣,進而為海量小文件在Hadoop上的存儲提供一些有價值的參考.
【作者單位】： 廣東技術(shù)師范學(xué)院電子與信息學(xué)院;
【基金】：廣東省公益研究與能力建設(shè)專項資金(2014A010103032) 廣東省科技型中小企業(yè)技術(shù)創(chuàng)新專項資金項目(2016A010120010;2014A010101109;2014A010101092)資助
【分類號】：TP333;TP311.13
【正文快照】： 1引言Hadoop分布式數(shù)據(jù)存儲和處理框架憑借其高效、可靠、高容錯等優(yōu)點,漸漸成為了炙手可熱的大數(shù)據(jù)存儲和處理工具.Hadoop分布式文件系統(tǒng)(HDFS)是Hadoop的核心部分,它所具有的兩類節(jié)點以管理者-工作者的模式運行,即單一Name Node(管理者)和若干個Data Node(工作者).Name Node

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 李寧;;淺析使用電子文件的新問題及對策[J];石油化工應(yīng)用;2006年06期

2 袁敏;;電子文件在歸檔工作中幾點問題的思考[J];辦公自動化;2007年18期

3 ;[J];;年期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 左大鵬;Hadoop小文件存儲管理的研究與實現(xiàn)[D];北京交通大學(xué);2015年

，

本文編號：1148793