本文選題：混合層次文件系統(tǒng)　切入點(diǎn)：H~FS　出處：《計(jì)算機(jī)學(xué)報(bào)》2017年09期

【摘要】：高效通信性能是影響并行文件系統(tǒng)性能與效率的重要因素.該文基于TH-2系統(tǒng)的高性能互連網(wǎng)絡(luò)——天河2高速互連網(wǎng)絡(luò)(TH-Express 2),設(shè)計(jì)并實(shí)現(xiàn)了混合層次文件系統(tǒng)H~2FS中的高速通信模塊FSE.FSE采用了TH-Express 2的短報(bào)文通信MP和遠(yuǎn)程內(nèi)存訪問RDMA相結(jié)合的方式,實(shí)現(xiàn)客戶端與ION的通信.FSE采用基于動(dòng)態(tài)鏈表的內(nèi)存注冊(cè)池減少通信延遲,提高通信效率.基于可變信用的流量控制,FSE有效降低系統(tǒng)出現(xiàn)擁塞的可能性,提高系統(tǒng)的可擴(kuò)展性和穩(wěn)定性.為了充分利用多核處理器的并發(fā)處理能力以及多RDMA引擎的傳輸能力,FSE對(duì)報(bào)文傳輸和數(shù)據(jù)處理功能采用了多維多線程方式,提高數(shù)據(jù)訪問帶寬.FSE的自適應(yīng)端點(diǎn)管理針對(duì)通信端點(diǎn)容錯(cuò)能力設(shè)計(jì),提高了系統(tǒng)彈性,有助于增強(qiáng)系統(tǒng)穩(wěn)定性.FSE實(shí)現(xiàn)優(yōu)化了數(shù)據(jù)傳輸效率,實(shí)現(xiàn)了低延遲、高帶寬、高可擴(kuò)展數(shù)據(jù)訪問.在兩個(gè)不同實(shí)際系統(tǒng)上的測(cè)試結(jié)果表明,FSE可以充分發(fā)掘TH-Express 2的特性,點(diǎn)點(diǎn)數(shù)據(jù)訪問帶寬可達(dá)8.6Gbps,使得H~2FS具有較高的數(shù)據(jù)訪問帶寬和元數(shù)據(jù)性能,并具有良好的可擴(kuò)展性.同基于TCP的通信模塊實(shí)現(xiàn)相比,FSE的讀寫延遲可低至55%和20%,最大單ION寫性能是其3.3倍;同Lustre文件系統(tǒng)相比,FSE更好地利用了高速網(wǎng)的特性來獲取較高性能,寫延遲可低至其28.6%.
[Abstract]:Efficient communication performance is an important factor affecting the performance and efficiency of parallel file systems.Based on the high performance interconnection network of TH-2 system, Tianhe2 High Speed Interconnect Network (TH-Express 2) is designed and implemented in this paper. The high speed communication module FSE.FSE of hybrid hierarchical file system H~2FS uses TH-Express 2 short message communication MP and remote memory access.Ask about the way RDMA is combined,In order to realize the communication between client and ION, the memory register pool based on dynamic linked list is used to reduce the communication delay and improve the communication efficiency.FSE based on variable credit can effectively reduce the possibility of congestion and improve the scalability and stability of the system.In order to make full use of the concurrency processing ability of multi-core processor and the transmission capability of multi-#en0# engine, the multi-dimensional multithreading mode is adopted for message transmission and data processing.The adaptive endpoint management for improving the bandwidth of data access. FSE is designed for the fault-tolerant ability of communication endpoints, which improves the flexibility of the system, enhances the stability of the system, optimizes the efficiency of data transmission, and realizes low delay and high bandwidth.High extensible data access.The test results on two different systems show that FSE can fully exploit the characteristics of TH-Express 2, and the point data access bandwidth can reach 8.6 Gbps. it makes H~2FS have higher data access bandwidth and metadata performance, and has good scalability.Compared with the implementation of the communication module based on TCP, the delay of reading and writing can be as low as 55% and 20%, and the maximum performance of single ION is 3.3 times higher than that of the Lustre file system. Compared with the Lustre file system, FSE makes better use of the characteristics of high-speed network to obtain higher performance, and the write delay can be as low as 28.6%.
【作者單位】： 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院;高性能計(jì)算國(guó)家重點(diǎn)實(shí)驗(yàn)室;中山大學(xué)國(guó)家超算廣州中心;
【基金】：國(guó)家自然科學(xué)基金(61120106005) 國(guó)家“八六三”高技術(shù)研究發(fā)展計(jì)劃項(xiàng)目基金(2012AA01A301) 國(guó)家重點(diǎn)研發(fā)計(jì)劃(2016YFB0200400) 科技部云計(jì)算與大數(shù)據(jù)重大專項(xiàng)(2016YFB1000302)資助~~
【分類號(hào)】：TP338

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐鶯,李永寧,曾曦;網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2002年12期

2 劉可嘉;梁阿磊;;實(shí)現(xiàn)實(shí)時(shí)FAT文件系統(tǒng)的一種簡(jiǎn)單方法[J];計(jì)算機(jī)工程與應(yīng)用;2008年16期

3 盧萍;陳進(jìn)才;;一種基于對(duì)象存儲(chǔ)的文件系統(tǒng)的設(shè)計(jì)[J];計(jì)算機(jī)科學(xué);2008年10期

4 李濤;梁洪亮;;具有事件恢復(fù)功能的文件系統(tǒng)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué);2009年03期

5 馮新國(guó)，，徐秋元;基于文件系統(tǒng)的封鎖機(jī)制[J];計(jì)算機(jī)工程與應(yīng)用;1995年05期

6 高天真,卞立平;三種文件系統(tǒng)之剖析[J];市場(chǎng)與電腦;1998年12期

7 符碧丹,倪曉明;群集環(huán)境下的直接文件系統(tǒng)訪問[J];四川通信技術(shù);2001年02期

8 刺猬;文件系統(tǒng)全面介紹[J];電腦愛好者;2001年09期

9 ;文件、文件系統(tǒng)、文件庫[J];電子科技文摘;2001年09期

10 曲東才;光盤文件系統(tǒng)標(biāo)準(zhǔn)[J];電腦技術(shù);2002年09期

相關(guān)會(huì)議論文 前10條

1 謝菲;錢曙霞;;并行文件系統(tǒng)技術(shù)在新華社奧運(yùn)報(bào)道系統(tǒng)中的實(shí)現(xiàn)及應(yīng)用[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

2 馮新國(guó);陶志成;;基于文件系統(tǒng)的封鎖機(jī)制[A];第十一屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1993年

3 仇建偉;鄭紅;;適用于視頻文件系統(tǒng)的有效調(diào)度方法[A];中國(guó)圖象圖形科學(xué)技術(shù)新進(jìn)展——第九屆全國(guó)圖象圖形科技大會(huì)論文集[C];1998年

4 王永瑞;熊劍平;;基于CF卡的特定FAT文件系統(tǒng)的軟硬件設(shè)計(jì)與實(shí)現(xiàn)[A];2008中國(guó)儀器儀表與測(cè)控技術(shù)進(jìn)展大會(huì)論文集（Ⅲ）[C];2008年

5 高杰;陸應(yīng)華;陳世文;;基于文件過濾驅(qū)動(dòng)的信息保護(hù)研究[A];教育部中南地區(qū)高等學(xué)校電子電氣基礎(chǔ)課教學(xué)研究會(huì)第二十屆學(xué)術(shù)年會(huì)會(huì)議論文集（下冊(cè)）[C];2010年

6 盧雪山;戴華東;顏躍進(jìn);;Ext文件系統(tǒng)檢測(cè)和修復(fù)工具的研究與改進(jìn)[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

7 鄭思;楊尹;;Checksum技術(shù)在文件系統(tǒng)中應(yīng)用的研究[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議(CACIS·2009)暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2009年

8 汪黎;章文嵩;楊學(xué)軍;;Cfslight:一個(gè)新型的輕量級(jí)對(duì)象存儲(chǔ)集群文件系統(tǒng)[A];2006年全國(guó)開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（一）[C];2006年

9 魏環(huán)宇;陽國(guó)貴;;一個(gè)基于數(shù)據(jù)庫的文件系統(tǒng)(XFS)的設(shè)計(jì)與實(shí)現(xiàn)[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上）[C];2008年

10 沈志榮;薛矛;薛巍;舒繼武;;Corslet安全文件系統(tǒng)的分析和優(yōu)化[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 谷治平;文件系統(tǒng)———結(jié)合實(shí)際重在內(nèi)容[N];中國(guó)醫(yī)藥報(bào);2003年

2 江蘇 王志軍;磁盤的文件系統(tǒng)[N];電腦報(bào);2001年

3 張群英;超級(jí)文件系統(tǒng)規(guī)模再突破[N];網(wǎng)絡(luò)世界;2006年

4 ;施樂公司推出頂級(jí)數(shù)碼工程文件系統(tǒng)[N];網(wǎng)絡(luò)世界;2000年

5 凡妮;IBM TotalStorage SAN文件系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)共享[N];電腦商報(bào);2004年

6 ;共享單一文件系統(tǒng)[N];網(wǎng)絡(luò)世界;2005年

7 黑龍江 馬憲廷;玩轉(zhuǎn)文件系統(tǒng)格式轉(zhuǎn)換[N];電腦報(bào);2003年

8 記者 楊婧瀚;管道公司召開電子文件系統(tǒng)啟動(dòng)視頻會(huì)[N];石油管道報(bào);2007年

9 樂天邋編譯;近距離觀看Snow Leopard Server[N];計(jì)算機(jī)世界;2008年

10 ;集群儲(chǔ)存技術(shù)解決“大”問題[N];計(jì)算機(jī)世界;2004年

相關(guān)博士學(xué)位論文 前10條

1 陳杰;本地文件系統(tǒng)數(shù)據(jù)更新模式研究[D];華中科技大學(xué);2014年

2 談華芳;基于共享對(duì)象存儲(chǔ)設(shè)備的并行文件系統(tǒng)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

3 夏鵬;文件系統(tǒng)語義分析技術(shù)研究[D];華中科技大學(xué);2011年

4 熊勁;大規(guī)模機(jī)群文件系統(tǒng)的關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

5 劉立坤;海量文件系統(tǒng)元數(shù)據(jù)查詢方法與技術(shù)[D];清華大學(xué);2011年

6 涂旭東;基于對(duì)象的并行文件系統(tǒng)接口語義擴(kuò)展研究[D];華中科技大學(xué);2011年

7 孫凝暉;可擴(kuò)展I/O的研究和參考實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;1999年

8 徐虎;基于SAN的安全單映像Cluster文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2003年

9 常青;瘦型服務(wù)器及個(gè)人/家庭事務(wù)處理應(yīng)用研究[D];太原理工大學(xué);2011年

10 李慶虎;基于P2P架構(gòu)的網(wǎng)格文件系統(tǒng)研究[D];清華大學(xué);2004年

相關(guān)碩士學(xué)位論文 前10條

1 劉佩;基于糾刪碼技術(shù)的HD_EC文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];曲阜師范大學(xué);2015年

2 羅思斌;嵌入式Linux支持exFAT文件系統(tǒng)研究及移植[D];電子科技大學(xué);2014年

3 陶濤;隱私信息保護(hù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

4 畢宇;注冊(cè)表文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 丘文未;基于軟硬件協(xié)同設(shè)計(jì)的閃存存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

6 賴尚校;基于ARM的嵌入式閃存驅(qū)動(dòng)與UBIFS文件系統(tǒng)的分析與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2014年

7 王維;基于Linux的手持式UHF RFID讀寫器設(shè)計(jì)[D];濟(jì)南大學(xué);2015年

8 宋亞利;Btrfs文件系統(tǒng)自動(dòng)化測(cè)試工具的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2015年

9 梁鐘麗;基于嵌入式平臺(tái)的文件系統(tǒng)研究[D];大連海事大學(xué);2016年

10 李吉樂;Linux文件系統(tǒng)性能優(yōu)化技術(shù)的研究[D];中國(guó)石油大學(xué)(華東);2014年

本文編號(hào)：1720931