本文選題：Redbud并行文件系統(tǒng) + 高性能計(jì)算　； 參考：《計(jì)算機(jī)學(xué)報(bào)》2015年05期

【摘要】：數(shù)據(jù)規(guī)模和并發(fā)訪問(wèn)的需求日益增長(zhǎng),可擴(kuò)展能力成為并行文件系統(tǒng)的重要需求之一.文中提出了一種基于非對(duì)稱并行文件系統(tǒng)Redbud的高可擴(kuò)展資源管理機(jī)制.該管理機(jī)制根據(jù)數(shù)據(jù)的訪問(wèn)特征,使用不同的樹(shù)形結(jié)構(gòu)管理不同類(lèi)型的數(shù)據(jù),滿足了文件數(shù)據(jù)和元數(shù)據(jù)的并發(fā)檢索需求;該管理機(jī)制還使用文件級(jí)的數(shù)據(jù)分布機(jī)制,允許用戶利用各種策略進(jìn)行目錄和文件的管理,能滿足文件級(jí)的數(shù)據(jù)訪問(wèn)性能、目錄級(jí)數(shù)據(jù)可靠性等實(shí)際應(yīng)用需求.多個(gè)基準(zhǔn)測(cè)試程序和實(shí)際應(yīng)用程序的測(cè)試結(jié)果表明,文件的獨(dú)占訪問(wèn)能達(dá)到磁盤(pán)95%的性能;同時(shí),隨著設(shè)備和應(yīng)用節(jié)點(diǎn)的增加,數(shù)據(jù)和元數(shù)據(jù)的并發(fā)訪問(wèn)性能線性增長(zhǎng).
[Abstract]:The demand of data scale and concurrent access is increasing day by day, and extensibility becomes one of the important requirements of parallel file system. In this paper, a high extensible resource management mechanism based on asymmetric parallel file system (Redbud) is proposed. According to the characteristics of data access, the management mechanism uses different tree structures to manage different types of data, which satisfies the concurrent retrieval requirements of file data and metadata, and also uses file level data distribution mechanism. It allows users to use various strategies to manage directories and files, which can meet the requirements of file level data access performance, directory level data reliability and other practical applications. The test results of several benchmark programs and practical applications show that the exclusive access to files can achieve the performance of 95% of disk, and the concurrent access performance of data and metadata increases linearly with the increase of devices and application nodes.
【作者單位】： 清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系;
【基金】：國(guó)家自然科學(xué)基金(60873066) 國(guó)家“八六三”高技術(shù)研究發(fā)展計(jì)劃(2009AA01403) 高等學(xué)校博士學(xué)科點(diǎn)專(zhuān)項(xiàng)科研基金(20070003092)資助~~
【分類(lèi)號(hào)】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前3條

1 柴夢(mèng)竹;;基于分布式虛擬磁盤(pán)的可擴(kuò)展分布式文件系統(tǒng)設(shè)計(jì)[J];電子技術(shù)與軟件工程;2014年22期

2 王振;王雷;王宇;;基于虛擬磁盤(pán)塊存儲(chǔ)的分布式文件系統(tǒng)研究[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年S2期

3 顧純祥;王煥孝;鄭永輝;辛丹;劉楠;;基于SAT的安全協(xié)議惰性形式化分析方法[J];通信學(xué)報(bào);2014年11期

相關(guān)博士學(xué)位論文 前1條

1 萬(wàn)勇;集群系統(tǒng)中的網(wǎng)絡(luò)性能優(yōu)化方法研究[D];華中科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前9條

1 張永勝;面向代理服務(wù)的分布式文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2012年

2 袁佳;基于MAPI協(xié)議的郵件預(yù)取平臺(tái)的研究與實(shí)現(xiàn)[D];中南大學(xué);2013年

3 李穎;基于分布式文件系統(tǒng)的農(nóng)業(yè)數(shù)據(jù)云存儲(chǔ)研究[D];山東農(nóng)業(yè)大學(xué);2013年

4 劉磊;分布式塊存儲(chǔ)系統(tǒng)節(jié)能技術(shù)研究[D];華中科技大學(xué);2013年

5 陳亮亮;具有遠(yuǎn)程模型誤差診斷的MPC系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];廈門(mén)大學(xué);2014年

6 陸夢(mèng)寒;針對(duì)地震大數(shù)據(jù)的分布式文件系統(tǒng)的研究與設(shè)計(jì)[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

7 馮睿;基于位圖索引的FITS文件分布式存儲(chǔ)與索引技術(shù)研究[D];昆明理工大學(xué);2014年

8 于悅;基于相似性的分布式重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];遼寧大學(xué);2014年

9 崔磊;基于MapReduce的并行關(guān)聯(lián)規(guī)則算法在社區(qū)分析中的應(yīng)用研究[D];河北工程大學(xué);2015年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉明;張軍平;;并行文件系統(tǒng)的應(yīng)用探討[J];軟件;2010年11期

2 張?jiān)谫F;張立強(qiáng);李瑞東;文中領(lǐng);張海濤;;一種適用于集群文件系統(tǒng)分級(jí)存儲(chǔ)的分布式鎖設(shè)計(jì)與分析[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

3 周恩強(qiáng);董勇;張偉;盧宇彤;;對(duì)象存儲(chǔ)并行文件系統(tǒng)小文件性能優(yōu)化研究[J];計(jì)算機(jī)工程與科學(xué);2013年12期

4 陳禹;;用戶心中的誤區(qū)[J];中國(guó)計(jì)算機(jī)用戶;2007年10期

5 萌萌;;老命令新用 讓閃存支持單個(gè)大容量文件[J];電腦迷;2010年03期

6 蔣玲;林海冪;;基于C++的精簡(jiǎn)式文件系統(tǒng)在嵌入式系統(tǒng)中的應(yīng)用[J];西華大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年05期

7 ;施樂(lè)生產(chǎn)中心 8233/8234——工程文件系統(tǒng)簡(jiǎn)介[J];導(dǎo)彈與航天運(yùn)載技術(shù);1998年01期

8 ;施樂(lè)8855數(shù)碼工程文件系統(tǒng)[J];計(jì)算機(jī)輔助設(shè)計(jì)與制造;2000年01期

9 全小寧;AIX系統(tǒng)的故障解決方法[J];鐵路計(jì)算機(jī)應(yīng)用;2004年08期

10 孫凝暉;并行文件系統(tǒng)的設(shè)計(jì)[J];計(jì)算機(jī)學(xué)報(bào);1994年12期

相關(guān)會(huì)議論文 前3條

1 王永瑞;熊劍平;;基于CF卡的特定FAT文件系統(tǒng)的軟硬件設(shè)計(jì)與實(shí)現(xiàn)[A];2008中國(guó)儀器儀表與測(cè)控技術(shù)進(jìn)展大會(huì)論文集（Ⅲ）[C];2008年

2 王雪嬌;錢(qián)軍;溫東新;張展;崔忠強(qiáng);;基于Linux虛擬文件系統(tǒng)故障注入器的設(shè)計(jì)與實(shí)現(xiàn)[A];第六屆中國(guó)測(cè)試學(xué)術(shù)會(huì)議論文集[C];2010年

3 錢(qián)迎進(jìn);金士堯;肖儂;;大規(guī)模集群文件系統(tǒng)中的I/O擁塞控制機(jī)制[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 李檸 許冰;Linux的“心”事[N];中國(guó)計(jì)算機(jī)報(bào);2000年

2 河北 廉育功;Linux技巧[N];中國(guó)電腦教育報(bào);2001年

3 陽(yáng)光;一臺(tái)PC機(jī)上安裝Win98、NT、Linux[N];中國(guó)礦業(yè)報(bào);2000年

4 小雨;FAT享年25歲——觸摸未來(lái)文件系統(tǒng)[N];電腦報(bào);2003年

5 北京捷華潤(rùn)公司 郝常杰;對(duì)象存儲(chǔ)：塊和文件之外的存儲(chǔ)形式[N];中國(guó)計(jì)算機(jī)報(bào);2006年

6 門(mén)宣;走進(jìn)Linux2.4的精彩世界[N];中國(guó)計(jì)算機(jī)報(bào);2001年

7 ;驅(qū)動(dòng)器與DOS兼容文件系統(tǒng)[N];電腦報(bào);2002年

8 任勇;在Linux中訪問(wèn)DOS的方法[N];大眾科技報(bào);2000年

9 ;Veritas展示用于Oracle9i RAC的群集系統(tǒng)[N];計(jì)算機(jī)世界;2003年

10 趙宇明;建設(shè)完美的存儲(chǔ)世界[N];網(wǎng)絡(luò)世界;2008年

相關(guān)博士學(xué)位論文 前3條

1 陳杰;本地文件系統(tǒng)數(shù)據(jù)更新模式研究[D];華中科技大學(xué);2014年

2 孫凝暉;可擴(kuò)展I/O的研究和參考實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;1999年

3 錢(qián)迎進(jìn);大規(guī)模Lustre集群文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 顧喜梅;文件系統(tǒng)及磁盤(pán)管理實(shí)現(xiàn)機(jī)制深入研究[D];南京航空航天大學(xué);2002年

2 劉洋;閃存文件系統(tǒng)的底層結(jié)構(gòu)與性能研究[D];復(fù)旦大學(xué);2009年

3 蘇鵬;基于智能卡的閃存文件系統(tǒng)的研究[D];武漢科技大學(xué);2010年

4 杜聰;機(jī)群文件系統(tǒng)的實(shí)現(xiàn)、評(píng)測(cè)與分析[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2000年

5 胡永奎;對(duì)象存儲(chǔ)設(shè)備中文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2010年

6 葉宇鵬;安全私有云存儲(chǔ)的文件系統(tǒng)數(shù)據(jù)組織設(shè)計(jì)[D];華南理工大學(xué);2013年

7 劉曉東;并行文件系統(tǒng)緩存技術(shù)的研究[D];北京交通大學(xué);2013年

8 武寧遠(yuǎn);基于藍(lán)光技術(shù)的UDF文件系統(tǒng)的開(kāi)發(fā)與研究[D];西安電子科技大學(xué);2009年

9 劉媛;個(gè)人云存儲(chǔ)技術(shù)研究[D];電子科技大學(xué);2010年

10 慎涵;一種基于PCM的文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

，

本文編號(hào)：1805191