本文關(guān)鍵詞：基于Hadoop的海量統(tǒng)計(jì)小文件存取優(yōu)化方案

  更多相關(guān)文章： HDFS 小文件 預(yù)處理模塊 索引預(yù)取 緩存機(jī)制

【摘要】：Hadoop作為一個(gè)開源的并行計(jì)算框架,它提供了一個(gè)分布式的文件存儲系統(tǒng)HDFS.然而,當(dāng)處理海量小文件時(shí)會產(chǎn)生NameNode內(nèi)存使用率較高、存取性能并不理想的問題,導(dǎo)致NameNode成為系統(tǒng)瓶頸,從而制約了文件系統(tǒng)的可擴(kuò)展性.本文結(jié)合統(tǒng)計(jì)工作,提出了一種小文件存儲的優(yōu)化策略,在HDFS之上增加小文件預(yù)處理模塊將文件進(jìn)行分類,合并成Mapfile,并建立全局索引,另外該策略引入了索引預(yù)取機(jī)制和緩存機(jī)制.實(shí)驗(yàn)證明,該方法能有效提高大批量小文件的存取性能.
【作者單位】： 聊城大學(xué)計(jì)算機(jī)學(xué)院;山東省統(tǒng)計(jì)局?jǐn)?shù)據(jù)管理中心;
【關(guān)鍵詞】： HDFS 小文件 預(yù)處理模塊 索引預(yù)取 緩存機(jī)制
【基金】：山東省統(tǒng)計(jì)科研重點(diǎn)課題(KT15076) 山東省高校智能信息處理與網(wǎng)絡(luò)安全重點(diǎn)實(shí)驗(yàn)室(聊城大學(xué)) 聊城大學(xué)科研基金項(xiàng)目資助
【分類號】：TP333
【正文快照】： 0引言目前,統(tǒng)計(jì)工作已經(jīng)創(chuàng)新采集數(shù)據(jù)手段,采用PDA進(jìn)行現(xiàn)場登記,對普查對象空間定位、拍攝證照、采集和上傳數(shù)據(jù),海量的電子化、非結(jié)構(gòu)化數(shù)據(jù)極大的豐富了統(tǒng)計(jì)數(shù)據(jù)的來源[1],但是大量的統(tǒng)計(jì)數(shù)據(jù)和復(fù)雜的數(shù)據(jù)類型給數(shù)據(jù)的存儲和處理帶來了巨大的壓力.大數(shù)據(jù)處理技術(shù)是一系列使

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 邱震;靳世紅;王曉東;;基于FPGA的某型雷達(dá)視頻采集預(yù)處理模塊設(shè)計(jì)[J];四川兵工學(xué)報(bào);2010年05期

2 李云杰,高梅國,付佗,張友益;RCS測量高速數(shù)據(jù)采集預(yù)處理模塊的設(shè)計(jì)與實(shí)現(xiàn)[J];系統(tǒng)工程與電子技術(shù);2004年01期

3 ;購買格式程序[J];光盤技術(shù);2003年01期

4 ;[J];;年期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 潘奇;基于COMe的回波預(yù)處理模塊研究[D];南京理工大學(xué);2011年

2 秦媛媛;X射線焊縫缺陷識別系統(tǒng)預(yù)處理模塊設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2009年

，

本文編號：934848