【摘要】：海量小文件聚合存儲技術大多以目錄或邏輯目錄為單位,將小文件聚合為實際存儲的大文件并建立小文件的元數(shù)據(jù)信息,實現(xiàn)小文件的快速訪問.傳統(tǒng)小文件聚合存儲技術讀寫操作性能受目錄結構的影響差別較大.在現(xiàn)有研究成果的基礎上,分析不同目錄結構聚合空間的特征,提出大空間聚合存儲技術和元數(shù)據(jù)分裂技術,為不同目錄結構的海量小文件存儲提供通用的解決方法,并基于開源分布式文件系統(tǒng)HDFS實現(xiàn)了一個分布式海量小文件系統(tǒng)SMDFS.測試表明,大空間聚合技術能有效支持不同目錄結構的海量小文件數(shù)據(jù),相較于SMDFS早期版本,小文件數(shù)據(jù)裝載和訪問性能均有很大程度的提高.

【相似文獻】

相關期刊論文 前10條

1 劉明;張軍平;;并行文件系統(tǒng)的應用探討[J];軟件;2010年11期

2 張在貴;張立強;李瑞東;文中領;張海濤;;一種適用于集群文件系統(tǒng)分級存儲的分布式鎖設計與分析[J];計算機研究與發(fā)展;2012年S1期

3 周恩強;董勇;張偉;盧宇彤;;對象存儲并行文件系統(tǒng)小文件性能優(yōu)化研究[J];計算機工程與科學;2013年12期

4 陳禹;;用戶心中的誤區(qū)[J];中國計算機用戶;2007年10期

5 萌萌;;老命令新用 讓閃存支持單個大容量文件[J];電腦迷;2010年03期

6 蔣玲;林海冪;;基于C++的精簡式文件系統(tǒng)在嵌入式系統(tǒng)中的應用[J];西華大學學報(自然科學版);2010年05期

7 ;施樂生產(chǎn)中心 8233/8234——工程文件系統(tǒng)簡介[J];導彈與航天運載技術;1998年01期

8 ;施樂8855數(shù)碼工程文件系統(tǒng)[J];計算機輔助設計與制造;2000年01期

9 全小寧;AIX系統(tǒng)的故障解決方法[J];鐵路計算機應用;2004年08期

10 孫凝暉;并行文件系統(tǒng)的設計[J];計算機學報;1994年12期

相關會議論文 前3條

1 王永瑞;熊劍平;;基于CF卡的特定FAT文件系統(tǒng)的軟硬件設計與實現(xiàn)[A];2008中國儀器儀表與測控技術進展大會論文集（Ⅲ）[C];2008年

2 王雪嬌;錢軍;溫東新;張展;崔忠強;;基于Linux虛擬文件系統(tǒng)故障注入器的設計與實現(xiàn)[A];第六屆中國測試學術會議論文集[C];2010年

3 錢迎進;金士堯;肖儂;;大規(guī)模集群文件系統(tǒng)中的I/O擁塞控制機制[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

相關重要報紙文章 前10條

1 李檸 許冰;Linux的“心”事[N];中國計算機報;2000年

2 河北 廉育功;Linux技巧[N];中國電腦教育報;2001年

3 陽光;一臺PC機上安裝Win98、NT、Linux[N];中國礦業(yè)報;2000年

4 小雨;FAT享年25歲——觸摸未來文件系統(tǒng)[N];電腦報;2003年

5 北京捷華潤公司 郝常杰;對象存儲：塊和文件之外的存儲形式[N];中國計算機報;2006年

6 門宣;走進Linux2.4的精彩世界[N];中國計算機報;2001年

7 ;驅動器與DOS兼容文件系統(tǒng)[N];電腦報;2002年

8 任勇;在Linux中訪問DOS的方法[N];大眾科技報;2000年

9 ;Veritas展示用于Oracle9i RAC的群集系統(tǒng)[N];計算機世界;2003年

10 趙宇明;建設完美的存儲世界[N];網(wǎng)絡世界;2008年

相關博士學位論文 前3條

1 陳杰;本地文件系統(tǒng)數(shù)據(jù)更新模式研究[D];華中科技大學;2014年

2 孫凝暉;可擴展I/O的研究和參考實現(xiàn)[D];中國科學院研究生院（計算技術研究所）;1999年

3 錢迎進;大規(guī)模Lustre集群文件系統(tǒng)關鍵技術的研究[D];國防科學技術大學;2011年

相關碩士學位論文 前10條

1 顧喜梅;文件系統(tǒng)及磁盤管理實現(xiàn)機制深入研究[D];南京航空航天大學;2002年

2 劉洋;閃存文件系統(tǒng)的底層結構與性能研究[D];復旦大學;2009年

3 蘇鵬;基于智能卡的閃存文件系統(tǒng)的研究[D];武漢科技大學;2010年

4 杜聰;機群文件系統(tǒng)的實現(xiàn)、評測與分析[D];中國科學院研究生院（計算技術研究所）;2000年

5 胡永奎;對象存儲設備中文件系統(tǒng)的設計與實現(xiàn)[D];解放軍信息工程大學;2010年

6 葉宇鵬;安全私有云存儲的文件系統(tǒng)數(shù)據(jù)組織設計[D];華南理工大學;2013年

7 劉曉東;并行文件系統(tǒng)緩存技術的研究[D];北京交通大學;2013年

8 武寧遠;基于藍光技術的UDF文件系統(tǒng)的開發(fā)與研究[D];西安電子科技大學;2009年

9 劉媛;個人云存儲技術研究[D];電子科技大學;2010年

10 慎涵;一種基于PCM的文件系統(tǒng)設計與實現(xiàn)[D];華中科技大學;2013年

，

本文編號：2572612