發(fā)布時間：2018-11-17 19:11

【摘要】：為改善應(yīng)用Hadoop分布式文件系統(tǒng)存儲大量小文件時效率低下的問題,將NameNode職責(zé)分離,使用單獨的NFS服務(wù)器同步存儲元數(shù)據(jù)信息,以降低Client數(shù)據(jù)請求壓力,提供大吞吐量數(shù)據(jù)訪問并改善訪問延遲;設(shè)計文件與數(shù)據(jù)塊的對應(yīng)模式,允許在同一塊中存儲多個小文件,并對系統(tǒng)加以實現(xiàn),為海量小文件的存儲提供了一個有效的解決方案。實驗結(jié)果表明,該機(jī)制可以在數(shù)據(jù)迅速增長的背景下實現(xiàn)海量小文件的高效存取。
[Abstract]:In order to improve the inefficiency of using Hadoop distributed file system to store a large number of small files, the NameNode is separated from its responsibilities, and the metadata information is stored synchronously by using a separate NFS server, so as to reduce the pressure of Client data request. Provide large throughput data access and improve access latency; The design of the corresponding pattern of files and data blocks allows multiple small files to be stored in the same block and implements the system, which provides an effective solution for the storage of large amounts of small files. Experimental results show that this mechanism can efficiently access large amount of small files under the background of rapid growth of data.
【作者單位】： 江蘇大學(xué)計算機(jī)科學(xué)與通信工程學(xué)院;南京理工大學(xué)計算機(jī)系;江蘇實達(dá)迪美數(shù)據(jù)處理有限公司;
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 鄧鵬;李枚毅;何誠;;Namenode單點故障解決方案研究[J];計算機(jī)工程;2012年21期

2 王鈴惠;李小勇;張軼彬;;海量小文件存儲文件系統(tǒng)研究綜述[J];計算機(jī)應(yīng)用與軟件;2012年08期

3 余思;桂小林;黃汝維;莊威;;一種提高云存儲中小文件存儲效率的方案[J];西安交通大學(xué)學(xué)報;2011年06期

4 陳旭文;黃英銘;;海量視頻點播系統(tǒng)的云計算技術(shù)與建模實現(xiàn)[J];現(xiàn)代電子技術(shù);2013年14期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董屹;王昆鵬;;云存儲在數(shù)字圖書館中的應(yīng)用[J];電腦知識與技術(shù);2013年09期

2 吳晨;朱慶;張葉廷;許偉平;;基于混合瓦片的海量DEM/DOM數(shù)據(jù)高效存儲管理方法——以應(yīng)急救災(zāi)數(shù)據(jù)庫為例[J];地理信息世界;2014年03期

3 熊安萍;黃容;鄒洋;;一種基于混合索引的HDFS小文件存儲策略[J];重慶郵電大學(xué)學(xué)報(自然科學(xué)版);2015年01期

4 陳樺;李艷明;朱美正;;一種支持大量并發(fā)用戶的瓦片緩存方案研究[J];計算機(jī)工程與科學(xué);2012年12期

5 朱媛媛;王曉京;;基于GE碼的HDFS優(yōu)化方案[J];計算機(jī)應(yīng)用;2013年03期

6 劉高軍;王帝澳;;基于Redis的海量小文件分布式存儲方法研究[J];計算機(jī)工程與科學(xué);2013年10期

7 夏敏納;龔德良;肖娟;;一種面向可靠云計算的自適應(yīng)故障檢測方法[J];計算機(jī)應(yīng)用研究;2014年02期

8 陳旭文;吳永娜;;基于云存儲的精品資源共享模式研究[J];江西科學(xué);2014年02期

9 羅學(xué)禮;徐樹振;王森;楊莉;段嘉杰;;電力企業(yè)的非結(jié)構(gòu)化數(shù)據(jù)檢索研究[J];計算機(jī)與數(shù)字工程;2014年04期

10 徐樹振;羅學(xué)禮;王森;楊莉;段嘉杰;張德剛;;企業(yè)非結(jié)構(gòu)化數(shù)據(jù)檢索研究[J];信息技術(shù);2014年04期

相關(guān)碩士學(xué)位論文 前10條

1 林旭;云存儲中的數(shù)據(jù)刪除技術(shù)研究[D];上海交通大學(xué);2011年

2 張喜;海量數(shù)據(jù)存儲模式的研究[D];廣東工業(yè)大學(xué);2012年

3 童明;基于HDFS的分布式存儲研究與應(yīng)用[D];華中科技大學(xué);2012年

4 賈少攀;基于Hadoop的XBRL數(shù)據(jù)分析系統(tǒng)設(shè)計與實現(xiàn)[D];大連理工大學(xué);2013年

5 呂培培;云計算環(huán)境的數(shù)據(jù)存儲管控技術(shù)研究[D];北方工業(yè)大學(xué);2013年

6 錢進(jìn)進(jìn);私有云安全存儲技術(shù)的研究與實現(xiàn)[D];廣東工業(yè)大學(xué);2013年

7 張釕;在線科技論文編輯和自動排版平臺研究[D];蘭州大學(xué);2013年

8 趙少鋒;云存儲系統(tǒng)關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2013年

9 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學(xué);2013年

10 吳艦;基于云存儲的數(shù)據(jù)流處理技術(shù)的研究[D];武漢理工大學(xué);2013年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 馬立平;統(tǒng)計數(shù)據(jù)標(biāo)準(zhǔn)化──無量綱化方法──現(xiàn)代統(tǒng)計分析方法的學(xué)與用(三)[J];北京統(tǒng)計;2000年03期

2 李玲;付園;麻曉珍;張海蓉;;云存儲系統(tǒng)中數(shù)據(jù)冗余策略優(yōu)化問題[J];吉林大學(xué)學(xué)報(信息科學(xué)版);2013年01期

3 陳旭文;林若波;;基于P2P的多源VOD系統(tǒng)的設(shè)計[J];測控技術(shù);2012年08期

4 許丞;劉洪;譚良;;Hadoop云平臺的一種新的任務(wù)調(diào)度和監(jiān)控機(jī)制[J];計算機(jī)科學(xué);2013年01期

5 劉立坤;武永衛(wèi);徐鵬志;楊廣文;;CorsairFS:一種面向校園網(wǎng)的分布式文件系統(tǒng)[J];西安交通大學(xué)學(xué)報;2009年08期

6 武瀅;謝里陽;李進(jìn)冬;;應(yīng)用Petri網(wǎng)的關(guān)聯(lián)矩陣求最小割集的新方法[J];中國機(jī)械工程;2008年09期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐俊;王慶華;趙云龍;;基于改進(jìn)HDFS的冠字號小文件分布式存儲研究[J];電腦知識與技術(shù);2014年17期

2 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預(yù)測控制策略的設(shè)計與分析[J];計算機(jī)科學(xué)與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計算機(jī)應(yīng)用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計算機(jī)技術(shù)與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術(shù)研究或概述[J];科技廣場;2012年05期

6 蔣蘇蓉;藍(lán)江橋;楊玉海;;Hadoop框架下的情報分析大數(shù)據(jù)調(diào)度超時預(yù)測方法[J];計算機(jī)科學(xué);2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲安全技術(shù)分析[J];計算機(jī)光盤軟件與應(yīng)用;2014年08期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)碩士學(xué)位論文 前1條

1 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學(xué);2013年

，

本文編號：2338785