本文關鍵詞：高性能計算中并行文件系統(tǒng)可擴展元數據服務的研究　出處：《華中科技大學》2013年碩士論文　論文類型：學位論文

  更多相關文章： 并行文件系統(tǒng) 可擴展元數據服務 元數據代理 負載均衡 高性能計算

【摘要】：隨著計算能力的增強、應用課題規(guī)模和復雜度的增加，高性能計算機對并行文件系統(tǒng)性能要求越來越高，在海量小文件頻繁創(chuàng)刪和大規(guī)模并發(fā)I/O操作的應用場景中，文件系統(tǒng)元數據吞吐率成為限制其性能的關鍵因素。針對I/O轉發(fā)架構，提出了一種基于元數據代理的高可擴展元數據服務的方案，結合作業(yè)調度系統(tǒng)，將文件系統(tǒng)元數據請求分散到多個元數據代理上，加速作業(yè)的文件系統(tǒng)元數據訪問。 并行I/O是高性能計算系統(tǒng)中主要的I/O使用方式，可分為單數據流模式和共享文件模式。其中單數據流模式給元數據服務帶來很大負載，元數據可擴展性方案面向該I/O模式提出的，主要包括元數據代理MDDS(MetaData Delegation Service)和基于MDDS的作業(yè)調度兩部分。元數據代理基于Lustre元數據集群架構CMD（ClusterMetaData）實現的，通過降低多個元數據服務間的耦合度，保證元數據集群的高可用性；使用目錄子樹方式管理元數據代理空間，避免跨節(jié)點目錄引入的分布式原子操作的復雜性和低效性；實現元數據遷移避免跨元數據服務器間文件遷移造成的數據對象移動；通過元數據代理動態(tài)增刪機制實現元數據代理的靈活部署。針對高性能計算中I/O轉發(fā)架構作業(yè)調度特點，，提出基于元數據代理的兩種作業(yè)調度策略——單作業(yè)獨占單元數據代理調度和多作業(yè)共享多元數據代理調度。前者實現了對傳統(tǒng)作業(yè)I/O訪問模式的支持，避免了多作業(yè)間元數據競爭；后者將單個作業(yè)的元數據訪問分散到多個元數據代理上，實現了作業(yè)內的元數據負載均衡。 在116臺存儲服務器上對元數據代理進了測試，同時通過模擬I/O轉發(fā)架構中作業(yè)的文件系統(tǒng)元數據訪問負載對兩種作業(yè)調度方法進行評估。結果表明，元數據代理提供了擬線性的元數據性能，在大規(guī)模的環(huán)境中較CMD方案有較好的擴展性；兩種調度方式有效分散了作業(yè)元數據的負載，改善了高性能計算中的元數據瓶頸問題。
[Abstract]:With the increase of computing power, the application project size and complexity increase, the high performance computer is the higher of the parallel file system performance requirements and application scenarios in massive small files and delete a frequent large-scale concurrent I/O operations, file system metadata throughput become the key factors for its performance. For I/O forwarding architecture. Proposes an extended metadata service based on metadata agent high scheme, combined with the scheduling system, the metadata file system requests are distributed to a plurality of metadata on the proxy, accelerate the file system meta data access operation.
I/O is a high performance parallel computing is used mainly in the I/O system can be divided into a single data stream model and file sharing mode. The single data stream model for metadata service great load metadata scalability scheme for the I/O mode, including MDDS (MetaData Delegation Service metadata agent) and MDDS operation based on the scheduling of two parts. The proxy Lustre metadata metadata cluster architecture based on CMD (ClusterMetaData) to achieve, by reducing the number of metadata service between the coupling degree, ensure high availability of metadata cluster; use the subtree management metadata agent space, to avoid the complexity of cross node directory into distributed atomic operation and low efficiency; metadata avoid cross migration file metadata server migration between data objects caused by the movement; increase delete machine through the metadata dynamic proxy For the realization of flexible deployment metadata agent. For high performance computing I/O forwarding architecture scheduling characteristics, put forward multiple agent scheduling data sharing metadata agent two scheduling strategies: single task scheduling and multi agent exclusive unit data. Based on the former work to achieve the access mode support for the traditional operation I/O, avoid the metadata competition operation; the latter will access a single job metadata distributed to multiple metadata agency, realize the operation in the metadata load balancing.
In the 116 storage server into the test metadata agent, by simulation, I/O file system metadata schema forwarding operation access to evaluate two kinds of load scheduling methods. The results show that the metadata agent provides quasi linear metadata properties, compared with the CMD scheme has good scalability in large scale environments; two scheduling modes effectively disperse the load operation of metadata, improve the metadata bottleneck in high performance computing.

【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【共引文獻】

相關期刊論文 前8條

1 孫志卓;李元章;左偉歡;萬軍;何翔;譚毓安;;LSF:一種面向S-RAID 5的能量管理算法[J];北京理工大學學報;2014年02期

2 王振;王雷;王宇;;基于虛擬磁盤塊存儲的分布式文件系統(tǒng)研究[J];華中科技大學學報(自然科學版);2013年S2期

3 房俊華;王翰虎;陳梅;馬丹;;DB-Tree:一種高性能的閃存數據庫索引結構[J];計算機應用與軟件;2013年11期

4 周江;王偉平;孟丹;馬燦;古曉艷;蔣杰;;面向大數據分析的分布式文件系統(tǒng)關鍵技術[J];計算機研究與發(fā)展;2014年02期

5 劉厚貴;邢晶;霍志剛;安學軍;;一種支持海量數據備份的可擴展分布式重復數據刪除系統(tǒng)[J];計算機研究與發(fā)展;2013年S2期

6 陳慧杰;李建偉;;動態(tài)散列目錄擴展算法的研究[J];太原科技大學學報;2013年05期

7 陳莉君;王森;康華;;日志結構云存儲中緩存的設計與實現[J];西安郵電大學學報;2013年05期

8 陳釗;余鋒;陳婷婷;;基于日志結構的閃存均衡回收策略[J];浙江大學學報(工學版);2014年01期

相關博士學位論文 前2條

1 黃玉龍;基于GPU的查詢技術并行化研究[D];華南理工大學;2013年

2 劉勇;基于GPU的內存數據庫索引技術研究[D];華南理工大學;2013年

相關碩士學位論文 前9條

1 陳席林;分布式持久化緩存系統(tǒng)的研究與實現[D];重慶大學;2013年

2 董微;基于數據關聯性聚類的數據布局算法[D];中國計量學院;2013年

3 何小春;Web信息挖掘服務平臺及數據備份技術研究[D];哈爾濱工業(yè)大學;2012年

4 牛琪鍇;基于閃存的海量非關系存儲方法研究[D];哈爾濱工業(yè)大學;2012年

5 宋英英;基于內存數據庫的塔吊遠程監(jiān)控系統(tǒng)的設計與實現[D];西安電子科技大學;2013年

6 朱愛軍;基于數據分類的P2P網絡查詢優(yōu)化研究[D];湖南大學;2013年

7 慎涵;一種基于PCM的文件系統(tǒng)設計與實現[D];華中科技大學;2013年

8 楊麗麗;云存儲網關的研究與實現[D];華中科技大學;2013年

9 汪紅敏;基于固態(tài)硬盤的倒排索引動態(tài)更新策略及其優(yōu)化研究[D];華中科技大學;2013年

本文編號：1383678