本文選題：Hadoop分布式文件系統(tǒng)(HDFS) + 海量數(shù)據(jù)��； 參考：《重慶郵電大學學報(自然科學版)》2016年01期

【摘要】：基于Hadoop平臺的相關(guān)系統(tǒng)得到了廣泛應用。Hadoop分布式文件系統(tǒng)(Hadoop distributed file system,HDFS)通過分布式的工作方式,負責處理海量文件數(shù)據(jù)。對HDFS而言,海量數(shù)據(jù)中的小文件存儲問題制約著系統(tǒng)高效工作的能力。針對海量數(shù)據(jù)中小文件讀寫效率低的情況,提出一種基于HBase(Hadoop database)的海量小文件高效存儲方法,利用HBase的存儲優(yōu)勢,將小文件直接存儲于HBase,從而有效減少元數(shù)據(jù)節(jié)點服務器(NameNode)的負載,并對上層應用系統(tǒng)提供透明的訪問接口。實驗結(jié)果表明,該方法可以實現(xiàn)海量小文件的高效存儲,提高HDFS環(huán)境下小文件的讀寫效率。
[Abstract]:The related systems based on Hadoop platform have been widely used. Hadoop distributed file system (HDFs) is responsible for dealing with large amount of file data through distributed working mode. For HDFS, the problem of small file storage in massive data restricts the system's ability to work efficiently. In view of the low reading and writing efficiency of small and medium files in mass data, a high efficient storage method based on HBase (Hadoop database) is proposed, which makes use of the storage advantage of HBase. Small files are stored in HBasedirectly, which effectively reduces the load of metadata node server (name Node) and provides a transparent access interface to the upper application system. The experimental results show that this method can realize the efficient storage of large amount of small files and improve the efficiency of reading and writing of small files in HDFS environment.
【作者單位】： 重慶郵電大學計算機科學與技術(shù)學院;
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前1條

1 徐彬;轉(zhuǎn)移打印的技巧[J];微電腦世界;2000年14期

相關(guān)重要報紙文章 前10條

1 江蘇 王志軍;找回誤刪出的文件[N];電腦報;2003年

2 江蘇 顧祥華;巧將視頻文件轉(zhuǎn)為可執(zhí)行文件[N];電腦報;2003年

3 天津 寒燕天;多個VCD文件巧壓縮[N];電腦報;2004年

4 王蘭婷;用Word打印文件[N];中國電腦教育報;2005年

5 湖南 象牙蟲;找回“丟失”的數(shù)據(jù)[N];電腦報;2002年

6 廣東 楊耀祥;妙法解決Win98/Me不能關(guān)機[N];電腦報;2003年

7 天下無雙;我的光盤你別碰！[N];中國計算機報;2005年

8 文子;多重啟動光盤的制作[N];中國計算機報;2003年

9 遼寧 于海軍;合并你的MP3[N];電腦報;2002年

10 金穎云;小心！WPS Office中的自動存盤會“泄密”[N];中國電腦教育報;2003年

相關(guān)碩士學位論文 前1條

1 及瑩;海量文件分布式存取技術(shù)研究[D];北京郵電大學;2014年

，

本文編號：2065231