本文選題：混合層次文件系統(tǒng)　切入點：H~FS　出處：《計算機學報》2017年09期

【摘要】：高效通信性能是影響并行文件系統(tǒng)性能與效率的重要因素.該文基于TH-2系統(tǒng)的高性能互連網絡——天河2高速互連網絡(TH-Express 2),設計并實現了混合層次文件系統(tǒng)H~2FS中的高速通信模塊FSE.FSE采用了TH-Express 2的短報文通信MP和遠程內存訪問RDMA相結合的方式,實現客戶端與ION的通信.FSE采用基于動態(tài)鏈表的內存注冊池減少通信延遲,提高通信效率.基于可變信用的流量控制,FSE有效降低系統(tǒng)出現擁塞的可能性,提高系統(tǒng)的可擴展性和穩(wěn)定性.為了充分利用多核處理器的并發(fā)處理能力以及多RDMA引擎的傳輸能力,FSE對報文傳輸和數據處理功能采用了多維多線程方式,提高數據訪問帶寬.FSE的自適應端點管理針對通信端點容錯能力設計,提高了系統(tǒng)彈性,有助于增強系統(tǒng)穩(wěn)定性.FSE實現優(yōu)化了數據傳輸效率,實現了低延遲、高帶寬、高可擴展數據訪問.在兩個不同實際系統(tǒng)上的測試結果表明,FSE可以充分發(fā)掘TH-Express 2的特性,點點數據訪問帶寬可達8.6Gbps,使得H~2FS具有較高的數據訪問帶寬和元數據性能,并具有良好的可擴展性.同基于TCP的通信模塊實現相比,FSE的讀寫延遲可低至55%和20%,最大單ION寫性能是其3.3倍;同Lustre文件系統(tǒng)相比,FSE更好地利用了高速網的特性來獲取較高性能,寫延遲可低至其28.6%.
[Abstract]:Efficient communication performance is an important factor affecting the performance and efficiency of parallel file systems.Based on the high performance interconnection network of TH-2 system, Tianhe2 High Speed Interconnect Network (TH-Express 2) is designed and implemented in this paper. The high speed communication module FSE.FSE of hybrid hierarchical file system H~2FS uses TH-Express 2 short message communication MP and remote memory access.Ask about the way RDMA is combined,In order to realize the communication between client and ION, the memory register pool based on dynamic linked list is used to reduce the communication delay and improve the communication efficiency.FSE based on variable credit can effectively reduce the possibility of congestion and improve the scalability and stability of the system.In order to make full use of the concurrency processing ability of multi-core processor and the transmission capability of multi-#en0# engine, the multi-dimensional multithreading mode is adopted for message transmission and data processing.The adaptive endpoint management for improving the bandwidth of data access. FSE is designed for the fault-tolerant ability of communication endpoints, which improves the flexibility of the system, enhances the stability of the system, optimizes the efficiency of data transmission, and realizes low delay and high bandwidth.High extensible data access.The test results on two different systems show that FSE can fully exploit the characteristics of TH-Express 2, and the point data access bandwidth can reach 8.6 Gbps. it makes H~2FS have higher data access bandwidth and metadata performance, and has good scalability.Compared with the implementation of the communication module based on TCP, the delay of reading and writing can be as low as 55% and 20%, and the maximum performance of single ION is 3.3 times higher than that of the Lustre file system. Compared with the Lustre file system, FSE makes better use of the characteristics of high-speed network to obtain higher performance, and the write delay can be as low as 28.6%.
【作者單位】： 國防科學技術大學計算機學院;高性能計算國家重點實驗室;中山大學國家超算廣州中心;
【基金】：國家自然科學基金(61120106005) 國家“八六三”高技術研究發(fā)展計劃項目基金(2012AA01A301) 國家重點研發(fā)計劃(2016YFB0200400) 科技部云計算與大數據重大專項(2016YFB1000302)資助~~
【分類號】：TP338

【相似文獻】

相關期刊論文 前10條

1 徐鶯,李永寧,曾曦;網絡視頻監(jiān)控系統(tǒng)中文件系統(tǒng)的設計與實現[J];現代計算機(專業(yè)版);2002年12期

2 劉可嘉;梁阿磊;;實現實時FAT文件系統(tǒng)的一種簡單方法[J];計算機工程與應用;2008年16期

3 盧萍;陳進才;;一種基于對象存儲的文件系統(tǒng)的設計[J];計算機科學;2008年10期

4 李濤;梁洪亮;;具有事件恢復功能的文件系統(tǒng)的研究與實現[J];計算機科學;2009年03期

5 馮新國，，徐秋元;基于文件系統(tǒng)的封鎖機制[J];計算機工程與應用;1995年05期

6 高天真,卞立平;三種文件系統(tǒng)之剖析[J];市場與電腦;1998年12期

7 符碧丹,倪曉明;群集環(huán)境下的直接文件系統(tǒng)訪問[J];四川通信技術;2001年02期

8 刺猬;文件系統(tǒng)全面介紹[J];電腦愛好者;2001年09期

9 ;文件、文件系統(tǒng)、文件庫[J];電子科技文摘;2001年09期

10 曲東才;光盤文件系統(tǒng)標準[J];電腦技術;2002年09期

相關會議論文 前10條

1 謝菲;錢曙霞;;并行文件系統(tǒng)技術在新華社奧運報道系統(tǒng)中的實現及應用[A];中國新聞技術工作者聯合會2008年學術年會論文集（上）[C];2008年

2 馮新國;陶志成;;基于文件系統(tǒng)的封鎖機制[A];第十一屆全國數據庫學術會議論文集[C];1993年

3 仇建偉;鄭紅;;適用于視頻文件系統(tǒng)的有效調度方法[A];中國圖象圖形科學技術新進展——第九屆全國圖象圖形科技大會論文集[C];1998年

4 王永瑞;熊劍平;;基于CF卡的特定FAT文件系統(tǒng)的軟硬件設計與實現[A];2008中國儀器儀表與測控技術進展大會論文集（Ⅲ）[C];2008年

5 高杰;陸應華;陳世文;;基于文件過濾驅動的信息保護研究[A];教育部中南地區(qū)高等學校電子電氣基礎課教學研究會第二十屆學術年會會議論文集（下冊）[C];2010年

6 盧雪山;戴華東;顏躍進;;Ext文件系統(tǒng)檢測和修復工具的研究與改進[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

7 鄭思;楊尹;;Checksum技術在文件系統(tǒng)中應用的研究[A];全國第20屆計算機技術與應用學術會議(CACIS·2009)暨全國第1屆安全關鍵技術與應用學術會議論文集（下冊）[C];2009年

8 汪黎;章文嵩;楊學軍;;Cfslight:一個新型的輕量級對象存儲集群文件系統(tǒng)[A];2006年全國開放式分布與并行計算學術會議論文集（一）[C];2006年

9 魏環(huán)宇;陽國貴;;一個基于數據庫的文件系統(tǒng)(XFS)的設計與實現[A];2008通信理論與技術新進展——第十三屆全國青年通信學術會議論文集（上）[C];2008年

10 沈志榮;薛矛;薛巍;舒繼武;;Corslet安全文件系統(tǒng)的分析和優(yōu)化[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

相關重要報紙文章 前10條

1 谷治平;文件系統(tǒng)———結合實際重在內容[N];中國醫(yī)藥報;2003年

2 江蘇 王志軍;磁盤的文件系統(tǒng)[N];電腦報;2001年

3 張群英;超級文件系統(tǒng)規(guī)模再突破[N];網絡世界;2006年

4 ;施樂公司推出頂級數碼工程文件系統(tǒng)[N];網絡世界;2000年

5 凡妮;IBM TotalStorage SAN文件系統(tǒng)實現數據共享[N];電腦商報;2004年

6 ;共享單一文件系統(tǒng)[N];網絡世界;2005年

7 黑龍江 馬憲廷;玩轉文件系統(tǒng)格式轉換[N];電腦報;2003年

8 記者 楊婧瀚;管道公司召開電子文件系統(tǒng)啟動視頻會[N];石油管道報;2007年

9 樂天邋編譯;近距離觀看Snow Leopard Server[N];計算機世界;2008年

10 ;集群儲存技術解決“大”問題[N];計算機世界;2004年

相關博士學位論文 前10條

1 陳杰;本地文件系統(tǒng)數據更新模式研究[D];華中科技大學;2014年

2 談華芳;基于共享對象存儲設備的并行文件系統(tǒng)研究[D];中國科學院研究生院（計算技術研究所）;2005年

3 夏鵬;文件系統(tǒng)語義分析技術研究[D];華中科技大學;2011年

4 熊勁;大規(guī)模機群文件系統(tǒng)的關鍵技術研究[D];中國科學院研究生院（計算技術研究所）;2006年

5 劉立坤;海量文件系統(tǒng)元數據查詢方法與技術[D];清華大學;2011年

6 涂旭東;基于對象的并行文件系統(tǒng)接口語義擴展研究[D];華中科技大學;2011年

7 孫凝暉;可擴展I/O的研究和參考實現[D];中國科學院研究生院（計算技術研究所）;1999年

8 徐虎;基于SAN的安全單映像Cluster文件系統(tǒng)關鍵技術的研究[D];國防科學技術大學;2003年

9 常青;瘦型服務器及個人/家庭事務處理應用研究[D];太原理工大學;2011年

10 李慶虎;基于P2P架構的網格文件系統(tǒng)研究[D];清華大學;2004年

相關碩士學位論文 前10條

1 劉佩;基于糾刪碼技術的HD_EC文件系統(tǒng)的設計與實現[D];曲阜師范大學;2015年

2 羅思斌;嵌入式Linux支持exFAT文件系統(tǒng)研究及移植[D];電子科技大學;2014年

3 陶濤;隱私信息保護系統(tǒng)的設計與實現[D];電子科技大學;2014年

4 畢宇;注冊表文件系統(tǒng)的設計與實現[D];電子科技大學;2014年

5 丘文未;基于軟硬件協同設計的閃存存儲系統(tǒng)關鍵技術研究與實現[D];國防科學技術大學;2013年

6 賴尚校;基于ARM的嵌入式閃存驅動與UBIFS文件系統(tǒng)的分析與實現[D];浙江工業(yè)大學;2014年

7 王維;基于Linux的手持式UHF RFID讀寫器設計[D];濟南大學;2015年

8 宋亞利;Btrfs文件系統(tǒng)自動化測試工具的設計與實現[D];吉林大學;2015年

9 梁鐘麗;基于嵌入式平臺的文件系統(tǒng)研究[D];大連海事大學;2016年

10 李吉樂;Linux文件系統(tǒng)性能優(yōu)化技術的研究[D];中國石油大學(華東);2014年

本文編號：1720931