本文選題：Hadoop + 海量小文件　； 參考：《計(jì)算機(jī)科學(xué)》2015年10期

【摘要】：Hadoop作為成熟的分布式云平臺(tái),能提供可靠高效的存儲(chǔ)服務(wù),常用來解決大文件的存儲(chǔ)問題,但在處理海量小文件時(shí)效率顯著降低。提出了基于Hadoop的海量教育資源中小文件的存儲(chǔ)優(yōu)化方案,即利用教育資源小文件間的關(guān)聯(lián)關(guān)系,將小文件合并成大文件以減少文件數(shù)量,并用索引機(jī)制訪問小文件及元數(shù)據(jù)緩存和關(guān)聯(lián)小文件預(yù)取機(jī)制來提高文件的讀取效率。實(shí)驗(yàn)證明,以上方法提高了Hadoop文件系統(tǒng)對(duì)小文件的存取效率。
[Abstract]:Hadoop, as a mature distributed cloud platform, can provide reliable and efficient storage services. Hadoop is often used to solve the storage problem of large files, but the efficiency of processing large and small files is significantly reduced. Based on Hadoop, a storage optimization scheme for large and small files of educational resources is proposed. That is to say, the small files are merged into large files to reduce the number of files by using the relationship between the small files of educational resources. Using index mechanism to access small files, metadata cache and associated small file prefetching mechanism to improve the efficiency of file reading. Experiments show that the proposed method improves the efficiency of Hadoop file system access to small files.
【作者單位】： 電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;
【基金】：教育部——中國移動(dòng)科研基金項(xiàng)目:海量教育資源去存儲(chǔ)與獲取關(guān)鍵技術(shù)研究與實(shí)現(xiàn)(MCM 20121041)資助
【分類號(hào)】：TP311.13;TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 趙曉永;楊揚(yáng);孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲(chǔ)架構(gòu)[J];計(jì)算機(jī)應(yīng)用;2012年06期

2 王濤;姚世紅;徐正全;熊煉;;云存儲(chǔ)中面向訪問任務(wù)的小文件合并與預(yù)取策略[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2013年12期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王劍;黃朝光;;海量農(nóng)業(yè)科學(xué)數(shù)據(jù)存儲(chǔ)體系架構(gòu)與方法研究[J];廣東農(nóng)業(yè)科學(xué);2015年02期

2 肖體偉;;基于Hadoop的云端異常流量檢測(cè)與分析平臺(tái)[J];電子技術(shù)應(yīng)用;2015年05期

3 楊芙容;王永麗;王文明;;基于Hadoop的海量氣象雷達(dá)小文件存儲(chǔ)研究[J];成都信息工程學(xué)院學(xué)報(bào);2015年03期

4 趙曉永;楊揚(yáng);孫莉莉;;一種采用聲學(xué)指紋去重的海量MP3文件存儲(chǔ)架構(gòu)[J];計(jì)算機(jī)應(yīng)用研究;2013年02期

5 趙曉永;楊揚(yáng);王寧;;基于聲學(xué)指紋的海量MP3文件近似去重方法[J];計(jì)算機(jī)工程;2013年07期

6 劉高軍;王帝澳;;基于Redis的海量小文件分布式存儲(chǔ)方法研究[J];計(jì)算機(jī)工程與科學(xué);2013年10期

7 周國安;李強(qiáng);陳新;胡旭;;海量小文件元數(shù)據(jù)的分布式存儲(chǔ)與檢索[J];空軍預(yù)警學(xué)院學(xué)報(bào);2014年06期

8 楊洪章;張軍偉;許魯;劉振軍;;基于pNFS的小文件間數(shù)據(jù)預(yù)讀機(jī)制研究[J];計(jì)算機(jī)研究與發(fā)展;2014年S1期

9 魏強(qiáng);孔廣黔;吳云;;基于Hadoop的海量醫(yī)療小文件處理系統(tǒng)[J];計(jì)算機(jī)與數(shù)字工程;2015年04期

10 王博;陳莉君;;Hadoop遠(yuǎn)程過程調(diào)用機(jī)制的分析和應(yīng)用[J];西安郵電學(xué)院學(xué)報(bào);2012年06期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 蘇勇;周敬利;姜明華;劉鋼;;分布式存儲(chǔ)系統(tǒng)中元數(shù)據(jù)系統(tǒng)的研究與設(shè)計(jì)[J];計(jì)算機(jī)工程與應(yīng)用;2006年20期

2 談華芳;侯紫峰;;大規(guī)模并行文件系統(tǒng)中的數(shù)據(jù)可靠性機(jī)制[J];計(jì)算機(jī)工程;2006年09期

3 杜聰,徐志偉;COSMOS文件系統(tǒng)的性能分析[J];計(jì)算機(jī)學(xué)報(bào);2001年07期

4 喬鑫;;MooseFS分布式文件系統(tǒng)及應(yīng)用[J];科技浪潮;2009年05期

5 王福林;;新技術(shù)對(duì)音樂產(chǎn)業(yè)的沖擊[J];遼寧行政學(xué)院學(xué)報(bào);2008年01期

6 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲(chǔ)訪問策略的研究[J];計(jì)算機(jī)研究與發(fā)展;2012年07期

7 蘇勇;;存儲(chǔ)系統(tǒng)中元數(shù)據(jù)管理方式和可靠性研究[J];武漢科技學(xué)院學(xué)報(bào);2007年07期

8 李德仁;黃俊華;邵振峰;;面向服務(wù)的數(shù)字城市共享平臺(tái)框架的設(shè)計(jì)與實(shí)現(xiàn)[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2008年09期

9 余思;桂小林;黃汝維;莊威;;一種提高云存儲(chǔ)中小文件存儲(chǔ)效率的方案[J];西安交通大學(xué)學(xué)報(bào);2011年06期

10 馬燦;孟丹;熊勁;;曙光星云分布式文件系統(tǒng):海量小文件存取[J];小型微型計(jì)算機(jī)系統(tǒng);2012年07期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧晶京;;基于電子文件的文檔服務(wù)新發(fā)展[J];蘭臺(tái)世界;2012年S3期

2 況昶;轉(zhuǎn)移Windows NT Server的快速方法[J];微計(jì)算機(jī)應(yīng)用;1999年01期

3 陳冀康;服務(wù)器,向中央集中[J];軟件世界;2005年11期

4 曼努埃爾·巴斯克斯,何嘉蓀;文件生命周期的精確期限[J];北京檔案;1997年03期

5 劉慶泰,王京太;天氣預(yù)報(bào)文件服務(wù)系統(tǒng)[J];氣象科技;1997年03期

6 ;東芝整合文件服務(wù)打造行業(yè)先驅(qū)[J];創(chuàng)業(yè)邦;2010年09期

7 韋勇桃;;東方通文件服務(wù)平臺(tái) 助推保險(xiǎn)業(yè)數(shù)據(jù)整合[J];金融電子化;2013年09期

8 尹衛(wèi)國;;開放文件彰顯政府自信[J];世紀(jì)行;2003年08期

9 冰原;;上下擴(kuò)展——博科發(fā)布兩個(gè)解決方案[J];每周電腦報(bào);2005年25期

10 冰海;;NDS-Ⅱ/VAX LINK軟件淺介[J];微計(jì)算機(jī)信息;1985年02期

相關(guān)重要報(bào)紙文章 前10條

1 楊鎮(zhèn)全;利川市文件服務(wù)中心向市民開放[N];中國檔案報(bào);2003年

2 孫紅英;解惑FAN[N];網(wǎng)絡(luò)世界;2007年

3 ;WAFS應(yīng)用漸成氣候[N];計(jì)算機(jī)世界;2005年

4 本報(bào)記者 張峰;廣域文件 高速連接[N];網(wǎng)絡(luò)世界;2005年

5 陳志鵬;衡陽檔案館集體中開放中央八個(gè)“一號(hào)文件”[N];中國檔案報(bào);2006年

6 郭濤;子公司如何遠(yuǎn)程共享文件[N];中國計(jì)算機(jī)報(bào);2005年

7 張峰;博科長出了翅膀[N];網(wǎng)絡(luò)世界;2007年

8 郭濤;文件訪問速度從40秒降到2秒[N];中國計(jì)算機(jī)報(bào);2005年

9 《網(wǎng)絡(luò)世界》評(píng)測(cè)實(shí)驗(yàn)室 何進(jìn)偉;暢通高速文件應(yīng)用[N];網(wǎng)絡(luò)世界;2002年

10 本報(bào)記者 張楠;清華學(xué)子的文件服務(wù)外包管理之路[N];中國計(jì)算機(jī)報(bào);2009年

相關(guān)碩士學(xué)位論文 前5條

1 肖文;基于Web Service的分布式文件服務(wù)系統(tǒng)[D];浙江大學(xué);2004年

2 居姍;電子文件分類與解密關(guān)鍵技術(shù)研究[D];上海交通大學(xué);2007年

3 王婧;改進(jìn)型RBAC模型在網(wǎng)絡(luò)文件服務(wù)系統(tǒng)研究與應(yīng)用[D];北京郵電大學(xué);2010年

4 汪野;基于規(guī)則的廣域網(wǎng)文件服務(wù)[D];華中科技大學(xué);2008年

5 黃維豐;DWG文件離線瀏覽ActiveX控件研究[D];南京航空航天大學(xué);2003年

，

本文編號(hào)：2042213