發(fā)布時間：2018-01-19 23:13

  本文關(guān)鍵詞： Lustre 面向?qū)ο?TCP/IP 性能優(yōu)化 測試　出處：《計算機工程與設(shè)計》2015年06期 　論文類型：期刊論文

【摘要】：針對Lustre文件系統(tǒng)主要運用在高性能計算集群系統(tǒng)上的情況,分析Lustre文件系統(tǒng)的系統(tǒng)結(jié)構(gòu)及其內(nèi)部實現(xiàn)機制,測試系統(tǒng)在不同參數(shù)影響下的性能,認(rèn)為Lustre可以運用在高性能集群系統(tǒng)上,也能運用在由普通計算機和TCP/IP網(wǎng)絡(luò)構(gòu)建的集群系統(tǒng)上。實驗結(jié)果表明,在TCP/IP協(xié)議和千兆交換機下,Lustre的并發(fā)性很難發(fā)揮,但設(shè)置合適的客戶端數(shù)和系統(tǒng)參數(shù)可以優(yōu)化其性能,相對本地磁盤系統(tǒng),Lustre系統(tǒng)仍有較大的性能提高和實用價值。
[Abstract]:Aiming at the situation that Lustre file system is mainly used in high performance computing cluster system, the system structure of Lustre file system and its internal implementation mechanism are analyzed. Testing the performance of the system under the influence of different parameters, it is considered that Lustre can be used in high performance cluster system. The experimental results show that the concurrency of TCP/IP protocol and gigabit switch is difficult to play. However, the performance can be optimized by setting the appropriate number of clients and system parameters, which is still of great performance improvement and practical value compared with the local disk system Lustre system.
【作者單位】： 華南師范大學(xué)網(wǎng)絡(luò)中心;華南師范大學(xué)計算機學(xué)院;
【基金】：國家自然科學(xué)基金項目(61370718) 教育部-中移動基金項目(MCM20130651) 廣州市科技和信息化局基金項目(2014Y2-00006) 華南師范大學(xué)青年教師科研培育基金項目(2012KJ006)
【分類號】：TP333
【正文快照】： 0引言相比于傳統(tǒng)的文件系統(tǒng)及存儲系統(tǒng)存在主機帶寬、內(nèi)存容量以及主機可用性等性能方面的限制,分布式文件系統(tǒng)不僅能為用戶提供海量的存儲空間和高聚合的I/O帶寬,并且支持眾多的客戶端同時并發(fā)訪問,具有良好的可擴展性。在分布式文件系統(tǒng)[1-3]中,面向?qū)ο蟠鎯Φ奈募到y(tǒng)成為

【參考文獻】

相關(guān)期刊論文 前3條

1 周江;王偉平;孟丹;馬燦;古曉艷;蔣杰;;面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J];計算機研究與發(fā)展;2014年02期

2 戰(zhàn)科宇;李小勇;劉海濤;;分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器高可用性設(shè)計[J];小型微型計算機系統(tǒng);2013年04期

3 程煜;李小勇;董曉明;焦圣品;;分布式存儲系統(tǒng)中高并發(fā)客戶端的設(shè)計與實現(xiàn)[J];小型微型計算機系統(tǒng);2014年01期

【共引文獻】

相關(guān)期刊論文 前10條

1 趙鐵柱;袁華強;;分布式文件系統(tǒng)性能研究[J];東莞理工學(xué)院學(xué)報;2014年01期

2 李媛媛;趙慧敏;肖鵬;王海文;尹艷輝;;基于KFS分布式文件系統(tǒng)元數(shù)據(jù)模型的改進[J];大連交通大學(xué)學(xué)報;2014年04期

3 蘇洋;劉曉軍;唐勇;黃洋;;游戲大數(shù)據(jù)平臺研究與實踐[J];電信科學(xué);2014年10期

4 尤海浪;錢鋒;黃祥為;胡亮亮;;基于大數(shù)據(jù)挖掘構(gòu)建游戲平臺個性化推薦系統(tǒng)的研究與實踐[J];電信科學(xué);2014年10期

5 張浩然;李中良;鄒騰飛;魏旭陽;楊國才;;農(nóng)業(yè)大數(shù)據(jù)綜述[J];計算機科學(xué);2014年S2期

6 劉國良;馬留英;閆鵬飛;張帥;劉瀏;;GeoFS:一個廣域文件系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機研究與發(fā)展;2014年S1期

7 馬留英;蔡杰明;劉瀏;劉振軍;;一種加速廣域文件系統(tǒng)讀寫訪問的緩存策略[J];計算機研究與發(fā)展;2014年S1期

8 劉健;張軍偉;張浩;邵冰清;楊洪章;劉振軍;;藍(lán)鯨元數(shù)據(jù)服務(wù)器集群的細(xì)粒度負(fù)載遷移[J];計算機研究與發(fā)展;2014年S1期

9 丁潔;王磊;沈荻帆;周又玲;;一種大數(shù)據(jù)異常檢測系統(tǒng)的研究與實現(xiàn)[J];海南大學(xué)學(xué)報(自然科學(xué)版);2015年01期

10 李學(xué)龍;龔海剛;;大數(shù)據(jù)系統(tǒng)綜述[J];中國科學(xué):信息科學(xué);2015年01期

相關(guān)博士學(xué)位論文 前1條

1 陳軍;基于G/S模式的空間分析云服務(wù)關(guān)鍵技術(shù)研究[D];成都理工大學(xué);2012年

相關(guān)碩士學(xué)位論文 前4條

1 董曉明;分布式存儲系統(tǒng)的管理系統(tǒng)的設(shè)計與實現(xiàn)[D];上海交通大學(xué);2013年

2 寧波;交互式互動電視系統(tǒng)的設(shè)計與實現(xiàn)[D];燕山大學(xué);2014年

3 黃靖博;分布式自動化測試平臺的研究與設(shè)計[D];復(fù)旦大學(xué);2013年

4 韓詩楠;HDFS分布式元數(shù)據(jù)管理框架的研究與實現(xiàn)[D];東北大學(xué);2011年

【二級參考文獻】

相關(guān)期刊論文 前5條

1 馮幼樂;朱六璋;;CEPH動態(tài)元數(shù)據(jù)管理方法分析與改進[J];電子技術(shù);2010年09期

2 熊勁,范志華,馬捷,唐榮鋒,李暉,孟丹;DCFS2的元數(shù)據(jù)一致性策略[J];計算機研究與發(fā)展;2005年06期

3 楊德志,黃華,張建剛,許魯;大容量、高性能、高擴展能力的藍(lán)鯨分布式文件系統(tǒng)[J];計算機研究與發(fā)展;2005年06期

4 楊德志;許魯;張建剛;;藍(lán)鯨分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)[J];計算機工程;2008年07期

5 王皓;李小勇;;分布式存儲系統(tǒng)中客戶端的設(shè)計與實現(xiàn)[J];微型電腦應(yīng)用;2012年02期

【相似文獻】

相關(guān)期刊論文 前10條

1 劉明;張軍平;;并行文件系統(tǒng)的應(yīng)用探討[J];軟件;2010年11期

2 張在貴;張立強;李瑞東;文中領(lǐng);張海濤;;一種適用于集群文件系統(tǒng)分級存儲的分布式鎖設(shè)計與分析[J];計算機研究與發(fā)展;2012年S1期

3 周恩強;董勇;張偉;盧宇彤;;對象存儲并行文件系統(tǒng)小文件性能優(yōu)化研究[J];計算機工程與科學(xué);2013年12期

4 陳禹;;用戶心中的誤區(qū)[J];中國計算機用戶;2007年10期

5 萌萌;;老命令新用 讓閃存支持單個大容量文件[J];電腦迷;2010年03期

6 蔣玲;林海冪;;基于C++的精簡式文件系統(tǒng)在嵌入式系統(tǒng)中的應(yīng)用[J];西華大學(xué)學(xué)報(自然科學(xué)版);2010年05期

7 ;施樂生產(chǎn)中心 8233/8234——工程文件系統(tǒng)簡介[J];導(dǎo)彈與航天運載技術(shù);1998年01期

8 ;施樂8855數(shù)碼工程文件系統(tǒng)[J];計算機輔助設(shè)計與制造;2000年01期

9 全小寧;AIX系統(tǒng)的故障解決方法[J];鐵路計算機應(yīng)用;2004年08期

10 孫凝暉;并行文件系統(tǒng)的設(shè)計[J];計算機學(xué)報;1994年12期

相關(guān)會議論文 前3條

1 王永瑞;熊劍平;;基于CF卡的特定FAT文件系統(tǒng)的軟硬件設(shè)計與實現(xiàn)[A];2008中國儀器儀表與測控技術(shù)進展大會論文集（Ⅲ）[C];2008年

2 王雪嬌;錢軍;溫東新;張展;崔忠強;;基于Linux虛擬文件系統(tǒng)故障注入器的設(shè)計與實現(xiàn)[A];第六屆中國測試學(xué)術(shù)會議論文集[C];2010年

3 錢迎進;金士堯;肖儂;;大規(guī)模集群文件系統(tǒng)中的I/O擁塞控制機制[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 李檸 許冰;Linux的“心”事[N];中國計算機報;2000年

2 河北 廉育功;Linux技巧[N];中國電腦教育報;2001年

3 陽光;一臺PC機上安裝Win98、NT、Linux[N];中國礦業(yè)報;2000年

4 小雨;FAT享年25歲——觸摸未來文件系統(tǒng)[N];電腦報;2003年

5 北京捷華潤公司 郝常杰;對象存儲：塊和文件之外的存儲形式[N];中國計算機報;2006年

6 門宣;走進Linux2.4的精彩世界[N];中國計算機報;2001年

7 ;驅(qū)動器與DOS兼容文件系統(tǒng)[N];電腦報;2002年

8 任勇;在Linux中訪問DOS的方法[N];大眾科技報;2000年

9 ;Veritas展示用于Oracle9i RAC的群集系統(tǒng)[N];計算機世界;2003年

10 方糧;與NAS面對面[N];計算機世界;2002年

相關(guān)博士學(xué)位論文 前3條

1 陳杰;本地文件系統(tǒng)數(shù)據(jù)更新模式研究[D];華中科技大學(xué);2014年

2 孫凝暉;可擴展I/O的研究和參考實現(xiàn)[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;1999年

3 錢迎進;大規(guī)模Lustre集群文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國防科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 顧喜梅;文件系統(tǒng)及磁盤管理實現(xiàn)機制深入研究[D];南京航空航天大學(xué);2002年

2 劉洋;閃存文件系統(tǒng)的底層結(jié)構(gòu)與性能研究[D];復(fù)旦大學(xué);2009年

3 蘇鵬;基于智能卡的閃存文件系統(tǒng)的研究[D];武漢科技大學(xué);2010年

4 杜聰;機群文件系統(tǒng)的實現(xiàn)、評測與分析[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2000年

5 胡永奎;對象存儲設(shè)備中文件系統(tǒng)的設(shè)計與實現(xiàn)[D];解放軍信息工程大學(xué);2010年

6 葉宇鵬;安全私有云存儲的文件系統(tǒng)數(shù)據(jù)組織設(shè)計[D];華南理工大學(xué);2013年

7 劉曉東;并行文件系統(tǒng)緩存技術(shù)的研究[D];北京交通大學(xué);2013年

8 武寧遠(yuǎn);基于藍(lán)光技術(shù)的UDF文件系統(tǒng)的開發(fā)與研究[D];西安電子科技大學(xué);2009年

9 劉媛;個人云存儲技術(shù)研究[D];電子科技大學(xué);2010年

10 慎涵;一種基于PCM的文件系統(tǒng)設(shè)計與實現(xiàn)[D];華中科技大學(xué);2013年

，

本文編號：1445886