本文關(guān)鍵詞：HDFS小文件讀寫優(yōu)化策略

  更多相關(guān)文章： HDFS 小文件存取 文件類型 用戶文件 元數(shù)據(jù)信息

【摘要】：HDFS是一種高容錯(cuò)性的分布式系統(tǒng)。它支持的數(shù)據(jù)集在GB到TB級(jí)別,然而對(duì)大量小文件存取支持不足。由于在處理大數(shù)量級(jí)的小文件時(shí),會(huì)使得Name Node內(nèi)存消耗過(guò)度,造成文件的存取性能降低。因此提出了一種根據(jù)文件類型分類小文件的合并策略。通過(guò)建立索引信息服務(wù)器來(lái)存儲(chǔ)存放在用戶文件中的小文件的元數(shù)據(jù)信息,可以達(dá)到高效讀取小文件的目的。實(shí)驗(yàn)結(jié)果表明,該優(yōu)化策略能有效降低Name Node內(nèi)存消耗,提高HDFS文件系統(tǒng)對(duì)大量小文件讀取效率。
【作者單位】： 河南大學(xué)計(jì)算機(jī)與信息工程學(xué)院;中國(guó)科學(xué)院遙感與數(shù)字地球研究所;
【關(guān)鍵詞】： HDFS 小文件存取 文件類型 用戶文件 元數(shù)據(jù)信息
【基金】：高分重大專項(xiàng)“地球表層系統(tǒng)科學(xué)研究應(yīng)用示范系統(tǒng)”(Y4D00100GF);高分重大專項(xiàng)“GF4共性產(chǎn)品真實(shí)性檢驗(yàn)”(Y6D0080038) 中科院戰(zhàn)略先導(dǎo)專項(xiàng)課題“氣溶膠關(guān)聯(lián)的云參數(shù)衛(wèi)星遙感”(Y1Y02230XD)
【分類號(hào)】：TP333
【正文快照】： 0引言隨著網(wǎng)絡(luò)和信息技術(shù)的不斷普及,人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng),大約每?jī)赡攴环?根據(jù)監(jiān)測(cè),這個(gè)速度在2020年之前會(huì)繼續(xù)保持下去,這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的數(shù)據(jù)量總和。資料顯示,2011年,全球數(shù)據(jù)規(guī)模為1.8ZB,可以填滿575億個(gè)32GB的i Pad,

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 馬丹妮;論電子文件的管理[J];秘書之友;2005年07期

2 于瑛甫;電子文件的收集與整理[J];陜西檔案;2005年03期

3 李兆明;;文件歸檔話“萬(wàn)一”[J];檔案時(shí)空(業(yè)務(wù)版);2005年12期

4 徐健;;電子文件的保存與整理[J];蘭臺(tái)世界;2006年12期

5 李婧;杜龍彩;楊溢;饒仕吉;;淺談氣象部門電子文件的檔案化管理[J];貴州氣象;2006年04期

6 高貴平;;論電子文件的管理與歸檔[J];山東檔案;2006年04期

7 李建國(guó);;試論電子文件的歸檔[J];檔案;2006年06期

8 李婷;;析電子文件的流轉(zhuǎn)及控制[J];山西檔案;2007年S1期

9 丁梅;;略談電子文件的幾個(gè)問(wèn)題[J];繼續(xù)教育研究;2007年04期

10 徐辛酉;麻新純;;論電子文件收集社會(huì)化[J];湖北檔案;2007年11期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 姜萍;;試論高校辦公自動(dòng)化條件下電子文件與紙質(zhì)文件的相互關(guān)系[A];貴州省檔案學(xué)會(huì)2004年檔案學(xué)術(shù)研討會(huì)論文集[C];2004年

2 韓艷平;;電子文件對(duì)檔案工作的影響及對(duì)策[A];齊魯檔案論壇——山東省檔案學(xué)會(huì)2008年學(xué)術(shù)年會(huì)會(huì)刊[C];2008年

3 羅廷定;劉亞文;;淺淡電子文件與電子檔案的法律證據(jù)作用[A];貴州省2007年檔案學(xué)術(shù)交流論文集[C];2007年

4 于麗華;;電子文件的歸檔與管理[A];齊魯檔案論壇——山東省檔案學(xué)會(huì)2008年學(xué)術(shù)年會(huì)會(huì)刊[C];2008年

5 李銳英;;淺議電子文件的歸檔[A];齊魯檔案論壇——山東省檔案學(xué)會(huì)2008年學(xué)術(shù)年會(huì)會(huì)刊[C];2008年

6 羅廷定;劉亞文;;淺淡電子文件與電子檔案的法律證據(jù)作用[A];紀(jì)念《中華人民共和國(guó)檔案法》頒布20周年檔案學(xué)術(shù)研討會(huì)論文集[C];2007年

7 李慎民;;文件歸檔與虛擬分類[A];機(jī)關(guān)檔案工作學(xué)術(shù)研討會(huì)交流論文集[C];2004年

8 夏江寧;;辦公自動(dòng)化的實(shí)現(xiàn)與文件歸檔工作[A];中國(guó)當(dāng)代秘書群星文選[C];1999年

9 袁發(fā)立;;淺析電子文件的歸檔[A];貴州省2007年檔案學(xué)術(shù)交流論文集[C];2007年

10 袁發(fā)立;;淺析電子文件的歸檔[A];紀(jì)念《中華人民共和國(guó)檔案法》頒布20周年檔案學(xué)術(shù)研討會(huì)論文集[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 潘勝中;南寧制定機(jī)關(guān)文件歸檔年檢辦法[N];中國(guó)檔案報(bào);2005年

2 小周;理財(cái)文件歸檔事半功倍[N];湖北日?qǐng)?bào);2001年

3 萬(wàn)麗;電子文件的檔案屬性和歸檔制度[N];黃河報(bào);2007年

4 張?jiān)?建立符合科學(xué)發(fā)展觀的文件歸檔新機(jī)制[N];中國(guó)檔案報(bào);2007年

5 特約記者 闞景奎;濰坊市財(cái)政局文件歸檔實(shí)現(xiàn)規(guī)范化[N];中國(guó)檔案報(bào);2005年

6 特約記者 李冰冰;內(nèi)蒙古巴彥淖爾市 認(rèn)真做好黨委換屆文件歸檔[N];中國(guó)檔案報(bào);2011年

7 特約記者鄒偉農(nóng);上海深化文件歸檔鑒定改革[N];中國(guó)檔案報(bào);2003年

8 一冰;安騰普新版ADA3.0 進(jìn)一步增強(qiáng)文件歸檔能力[N];電腦商報(bào);2009年

9 中遠(yuǎn)（集團(tuán)）總公司檔案室負(fù)責(zé)人 毛永芳;收好管好用好檔案 發(fā)揮檔案資源優(yōu)勢(shì)[N];中國(guó)遠(yuǎn)洋報(bào);2007年

10 劉順平;檔案部門應(yīng)最大限度地杜絕重份文件歸檔進(jìn)館[N];中國(guó)檔案報(bào);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 石峻峰;云計(jì)算環(huán)境下高校電子文件一體化管理研究[D];南京航空航天大學(xué);2015年

2 楊爽;電子文件利用效益研究[D];吉林大學(xué);2007年

3 馮潔;電子文件遷移研究[D];蘇州大學(xué);2012年

4 張莉;電子商務(wù)文件歸檔管理研究[D];吉林大學(xué);2007年

5 孫剛;電子文件真實(shí)性保障模型研究[D];天津師范大學(xué);2007年

6 趙玉龍;基于Hadoop的海量小文件處理性能研究與優(yōu)化[D];內(nèi)蒙古科技大學(xué);2014年

7 左大鵬;Hadoop小文件存儲(chǔ)管理的研究與實(shí)現(xiàn)[D];北京交通大學(xué);2015年

8 曹浩;基于文件重構(gòu)和質(zhì)量調(diào)整的冗余數(shù)據(jù)刪除技術(shù)[D];上海交通大學(xué);2013年

9 梁遠(yuǎn)亮;論電子商務(wù)交易文件的憑證性及其保障[D];廣西民族大學(xué);2012年

10 劉登峰;維、漢文件檔案信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];新疆大學(xué);2008年

，

本文編號(hào)：1103516