本文關(guān)鍵詞：基于Hadoop的云存儲系統(tǒng)文件處理與安全研究　出處：《現(xiàn)代電子技術(shù)》2016年21期 　論文類型：期刊論文

  更多相關(guān)文章： Hadoop HDFS 私有云存儲 小文件優(yōu)化

【摘要】：由于公有云存儲中存在數(shù)據(jù)泄露、丟失、存儲不穩(wěn)定等不安全因素,私有云存儲成為解決當前企業(yè)安全存儲需求的最佳選擇。針對單點內(nèi)存負載過高,寫入效率低下的問題,設(shè)計了一套處理大量小文件的模塊,通過緩存多個小文件合并,再合并文件元數(shù)據(jù)放置索引表,通過索引表中的偏移量尋找塊中小文件數(shù)據(jù)的方式,提高HDFS寫入大量小文件的系統(tǒng)性能,經(jīng)過測試驗證了優(yōu)化方案的有效性。
【作者單位】： 北華大學師范分院;
【分類號】：TP333;TP309
【正文快照】： 0引言在HDFS中,所有文件的寫入和讀取都需要通過Name Node控制,接收用戶對文件操作的請求,定位文件位置和分配文件存儲的Data Node節(jié)點,并且所有文件的信息都存儲在Name Node中的元數(shù)據(jù)里。在文件處理中,HDFS在Name Node中為每一個文件都建立了元數(shù)據(jù),用來存儲該文件信息,這樣

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 ;數(shù)字時代的辦公文件處理中心 松下多功能數(shù)碼機(續(xù))[J];信息系統(tǒng)工程;2001年11期

2 劉浩;施樂一打印新理念[J];國外科技動態(tài);1998年05期

3 ;打造辦公革命的先驅(qū)[J];計算機與網(wǎng)絡(luò);2002年05期

4 羅國昭;Sharp CEC SL-7500C掌上電腦[J];新電腦;2003年12期

5 樊超;凌捷;;改善Hadoop文件處理效率的技術(shù)研究[J];微電子學與計算機;2014年07期

6 ;三星升級版SCX-4521HS[J];辦公自動化;2013年09期

7 ;IT采購引擎[J];每周電腦報;2003年23期

8 ;[J];;年期

中國重要報紙全文數(shù)據(jù)庫 前2條

1 本報記者　梁圖強;文件處理變“聰明”了[N];經(jīng)濟日報;2002年

2 小彭;辦公文檔批量替換好輕松[N];電腦報;2004年

中國碩士學位論文全文數(shù)據(jù)庫 前2條

1 蔡睿誠;基于HDFS的小文件處理與相關(guān)MapReduce計算模型性能的優(yōu)化與改進[D];吉林大學;2012年

2 陳光景;Hadoop小文件處理技術(shù)的研究和實現(xiàn)[D];南京郵電大學;2013年

，

本文編號：1310319