本文關鍵詞：SQL-DFS:一種基于HDFS的海量小文件存儲系統(tǒng)，，由筆耕文化傳播整理發(fā)布。

【摘要】：針對Hadoop分布式文件系統(tǒng)(Hadoop distributed file system,HDFS)進行小文件存儲時Name Node內(nèi)存占用率高的問題,通過分析HDFS基礎架構(gòu),提出了基于元數(shù)據(jù)存儲集群的SQL-DFS文件系統(tǒng).通過在Name Node中加入小文件處理模塊實現(xiàn)了小文件元數(shù)據(jù)由Name Node內(nèi)存到元數(shù)據(jù)存儲集群的遷移,借助關系數(shù)據(jù)庫集群實現(xiàn)了小文件元數(shù)據(jù)的快速讀寫,并對小文件讀取過程進行優(yōu)化,減少了文件客戶端對Name Node的請求次數(shù);通過將部分Data Node文件塊的校驗工作交由元數(shù)據(jù)存儲集群完成,進一步降低了Name Node節(jié)點的負載壓力.最終通過搭建HDFS和SQL-DFS實驗平臺,對HDFS和SQL-DFS 2種架構(gòu)進行了小文件讀寫的對比測試,實驗結(jié)果表明:SQLDFS在文件平均耗時(file average cost,FAC)和內(nèi)存占用率方面均明顯優(yōu)于原HDFS架構(gòu),具有更好的小文件存儲能力,可用于海量小文件的存儲.
【作者單位】： 內(nèi)蒙古工業(yè)大學信息工程學院;
【關鍵詞】： Hadoop分布式文件系統(tǒng)(HDFS) 元數(shù)據(jù)存儲集群 小文件 元數(shù)據(jù) 內(nèi)存占用率
【基金】：國家自然科學基金資助項目(61363052) 內(nèi)蒙古自治區(qū)自然科學基金資助項目(2014MS0608) 內(nèi)蒙古自治區(qū)高等學�？茖W研究項目(NJZY12052)
【分類號】：TP333
【正文快照】： Hadoop[1]在云計算領域內(nèi)的廣泛使用,使得其已經(jīng)成為海量數(shù)據(jù)并行處理的標準.Hadoop分布式文件系統(tǒng)(Hadoop distributed file system,HDFS)作為Hadoop的關鍵技術(shù)之一,其原型來自于谷歌公司(Google)的GFS文件系統(tǒng),可用于構(gòu)建大規(guī)模、可擴展、高容錯的分布式存儲平臺.HDFS開源的

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 趙曉永;楊揚;孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲架構(gòu)[J];計算機應用;2012年06期

2 谷震離;;關系數(shù)據(jù)庫查詢優(yōu)化方法研究[J];微計算機信息;2006年15期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 吳浪;;關系數(shù)據(jù)庫查詢優(yōu)化研究[J];才智;2008年10期

2 賈小恒;;XML文檔存儲在關系數(shù)據(jù)庫中的研究[J];電腦編程技巧與維護;2009年24期

3 臧勁松;;基于數(shù)據(jù)倉庫的教學管理信息系統(tǒng)的研究與應用[J];電腦開發(fā)與應用;2009年11期

4 鄒輝;揚克儉;;MiniSQL數(shù)據(jù)庫管理系統(tǒng)物理存儲結(jié)構(gòu)的設計[J];電腦知識與技術(shù);2009年10期

5 谷震離;;查詢語句對SQL Server數(shù)據(jù)庫查詢性能優(yōu)化分析[J];福建電腦;2007年03期

6 朱連軍;董雪;;數(shù)據(jù)庫中XML文檔的存儲研究[J];河南教育學院學報(自然科學版);2009年03期

7 魏威;馬國峰;;基于索引的關系數(shù)據(jù)庫查詢優(yōu)化[J];洛陽大學學報;2007年02期

8 高敬媛;趙克寶;;校園網(wǎng)數(shù)據(jù)庫性能優(yōu)化技術(shù)[J];煤炭技術(shù);2011年07期

9 趙曉永;楊揚;孫莉莉;;一種采用聲學指紋去重的海量MP3文件存儲架構(gòu)[J];計算機應用研究;2013年02期

10 趙曉永;楊揚;王寧;;基于聲學指紋的海量MP3文件近似去重方法[J];計算機工程;2013年07期

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 王福林;;新技術(shù)對音樂產(chǎn)業(yè)的沖擊[J];遼寧行政學院學報;2008年01期

2 張錚;Kingview6.5的數(shù)據(jù)庫功能開發(fā)與應用[J];微計算機信息;2005年02期

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王春靖;FAT32的優(yōu)點[J];電腦愛好者;1998年03期

2 何文才;鄭釗;劉培鶴;杜敏;;一種基于目錄數(shù)據(jù)分離存儲的文件存儲方法的研究與實現(xiàn)[J];網(wǎng)絡安全技術(shù)與應用;2014年01期

3 飛雪散花;;手機文件存儲看我的[J];電腦迷;2012年05期

4 孫有軍;張大興;;海量圖片文件存儲去重技術(shù)研究[J];計算機應用與軟件;2014年04期

5 ;金剛指——計算機文件存儲的保護神[J];信息安全與通信保密;2001年12期

6 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機研究與發(fā)展;2012年07期

7 周國安;李強;陳新;胡旭;;云環(huán)境下海量小文件存儲技術(shù)研究綜述[J];信息網(wǎng)絡安全;2014年06期

8 張美芳;電子文件存儲方式的研究[J];數(shù)字與縮微影像;2005年02期

9 陶慧;于守謙;劉夏;;適于測控系統(tǒng)的文件存儲結(jié)構(gòu)研究[J];計算機應用與軟件;2010年11期

10 方勇;史躍輝;;淺談減少地形圖電子文件存儲冗余的幾種方法[J];江西測繪;2006年02期

中國重要會議論文全文數(shù)據(jù)庫 前6條

1 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲系統(tǒng)的設計[A];第15屆全國信息存儲技術(shù)學術(shù)會議論文集[C];2008年

2 李浩;;基于制播分離的文件存儲和傳輸方式的探討[A];中國新聞技術(shù)工作者聯(lián)合會五屆二次理事會暨學術(shù)年會論文集（上篇）[C];2010年

3 陳海波;侯建衛(wèi);;針對海量詳單快速存儲檢索的實現(xiàn)方法[A];2011年通信與信息技術(shù)新進展——第八屆中國通信學會學術(shù)年會論文集[C];2011年

4 陳海波;侯建衛(wèi);;針對海量詳單快速存儲檢索的實現(xiàn)方法[A];2011全國無線及移動通信學術(shù)大會論文集[C];2011年

5 袁旦;張智君;;預覽時間對顏色判斷任務下客體文件存儲的影響[A];第十一屆全國心理學學術(shù)會議論文摘要集[C];2007年

6 黃步根;黃政;劉建軍;;SANYO數(shù)碼相機中被刪除視頻的恢復[A];第26次全國計算機安全學術(shù)交流會論文集[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前9條

1 本報記者 郭平;Isilon擴充文件存儲產(chǎn)品線[N];計算機世界;2009年

2 本報記者 郭平;容量與性能 一樣都不能少[N];計算機世界;2010年

3 張峰;統(tǒng)一存儲 業(yè)務連續(xù)[N];網(wǎng)絡世界;2006年

4 清水　編譯;基于文件存儲大行其道[N];計算機世界;2011年

5 本報記者 郭濤;HCP Anywhere：為HDS內(nèi)容云錦上添花[N];中國計算機報;2013年

6 于翔;讓IT如業(yè)務般運營的應用路徑[N];網(wǎng)絡世界;2009年

7 劉一冰;IBM SoNAS專攻高端存儲客戶[N];電腦商報;2010年

8 清水　編譯;云存儲：機遇下暗藏挑戰(zhàn)[N];計算機世界;2010年

9 沈建苗;互聯(lián)網(wǎng)存儲 你信得過嗎[N];計算機世界;2007年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 廖家趙;面向城軌線網(wǎng)的海量小文件存儲方法的研究與實現(xiàn)[D];華南理工大學;2015年

2 李長平;基于FastDFS架構(gòu)的小文件存儲系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

3 宮海林;支持事務的文件存儲技術(shù)研究與系統(tǒng)實現(xiàn)[D];國防科學技術(shù)大學;2006年

4 曹挹芬;分布式文件存儲與檢索平臺的設計與實現(xiàn)[D];湖南大學;2009年

5 黃斌;并行文件存儲系統(tǒng)關鍵技術(shù)的研究[D];華南理工大學;2012年

6 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學;2013年

7 張聰萍;錢塘分布式文件存儲系統(tǒng)性能優(yōu)化[D];浙江大學;2011年

8 周峰;互聯(lián)網(wǎng)文件存儲服務系統(tǒng)研究[D];華中科技大學;2011年

9 鄭釗;�？赜嬎銠C分離式文件存儲的研究[D];西安電子科技大學;2014年

10 何娟;基于分布式文件存儲的個人信息融合系統(tǒng)的研究與實踐[D];北京郵電大學;2010年

  本文關鍵詞：SQL-DFS:一種基于HDFS的海量小文件存儲系統(tǒng)，由筆耕文化傳播整理發(fā)布。

本文編號：452440