本文關(guān)鍵詞： 高性能計算 并行文件系統(tǒng) 元數(shù)據(jù)代理 I/O轉(zhuǎn)發(fā) 負(fù)載均衡　出處：《計算機研究與發(fā)展》2014年08期 　論文類型：期刊論文

【摘要】：隨著計算能力的增強、應(yīng)用課題規(guī)模和復(fù)雜度的增加,高性能計算機對并行文件系統(tǒng)性能要求越來越高.在海量小文件和大規(guī)模并發(fā)I/O操作的應(yīng)用場景中,文件系統(tǒng)元數(shù)據(jù)的吞吐率成為限制其性能的關(guān)鍵因素.設(shè)計并實現(xiàn)了元數(shù)據(jù)代理(meta data delegation service,MDDS),通過降低元數(shù)據(jù)服務(wù)間的耦合度,保證元數(shù)據(jù)集群的高可用性;使用目錄子樹方式管理元數(shù)據(jù)代理空間,避免跨節(jié)點目錄引入的分布式原子操作的復(fù)雜性和低效性.并針對高性能計算中I/O轉(zhuǎn)發(fā)架構(gòu),提出基于元數(shù)據(jù)代理的兩種作業(yè)調(diào)度策略——單作業(yè)獨占單元數(shù)據(jù)代理調(diào)度和多作業(yè)共享多元數(shù)據(jù)代理調(diào)度——實現(xiàn)作業(yè)間和作業(yè)內(nèi)的負(fù)載均衡.在116臺存儲服務(wù)器上對MDDS進(jìn)行評估,實驗結(jié)果表明,元數(shù)據(jù)代理提供了擬線性的元數(shù)據(jù)性能,在大規(guī)模的環(huán)境中較Lustre CMD方案有較好的擴展性;兩種調(diào)度方式有效分散了作業(yè)元數(shù)據(jù)的負(fù)載,改善了高性能計算中的元數(shù)據(jù)瓶頸問題.
[Abstract]:With the enhancement of computing power and the increase of application scale and complexity, the performance of parallel file system is becoming more and more demanding by high-performance computers, in the application scenarios of large numbers of small files and large-scale concurrent I / O operations. File system metadata throughput has become a key factor limiting its performance. A metadata agent, meta data delegation service, is designed and implemented. MDDS can ensure the high availability of metadata cluster by reducing the coupling degree between metadata services. The metadata agent space is managed by directory subtree to avoid the complexity and inefficiency of the distributed atomic operation introduced by cross-node directories and the I / O forwarding architecture in high-performance computing. This paper proposes two job scheduling strategies based on metadata agent- single job exclusive unit data agent scheduling and multi job sharing multiple data agent scheduling to achieve load balancing between jobs and within jobs. The MDDS is evaluated on the storage server. The experimental results show that the metadata agent provides quasilinear metadata performance and is more scalable than the Lustre CMD scheme in large-scale environments. The two scheduling methods effectively disperse the workload of the job metadata and improve the bottleneck problem of metadata in high performance computing.
【作者單位】： 江南計算技術(shù)研究所;
【基金】：國家“八六三”高技術(shù)研究發(fā)展計劃基金項目(2011BAH04B03,2013AA013203)
【分類號】：TP38
【正文快照】： 高性能計算系統(tǒng)被廣泛應(yīng)用在科學(xué)研究、工業(yè)生產(chǎn)、國防軍事等各種領(lǐng)域,在能源、航天、氣象、生命科學(xué)、金融、動漫等各個行業(yè)發(fā)揮著重大作用,其按功能可分為存儲子系統(tǒng)和計算子系統(tǒng)兩部分.存儲子系統(tǒng)為整機提供全局一致的共享存儲空間,計算子系統(tǒng)以全局存儲空間為紐帶相互協(xié)作

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 虞海江;馬建剛;葉丹;李建峰;;基于發(fā)布訂閱模式的數(shù)據(jù)集成中間件系統(tǒng)設(shè)計實現(xiàn)[J];計算機系統(tǒng)應(yīng)用;2007年11期

2 周亞;;2001—2008年國內(nèi)元數(shù)據(jù)自動抽取研究綜述[J];科技情報開發(fā)與經(jīng)濟;2009年23期

3 金均強,王艷東,龔健雅;基于元數(shù)據(jù)的空間數(shù)據(jù)管理分發(fā)系統(tǒng)的設(shè)計與實現(xiàn)[J];測繪信息與工程;2005年05期

4 樊小泊;陳紅;;海量影像數(shù)據(jù)庫管理系統(tǒng)關(guān)鍵技術(shù)研究[J];計算機工程與應(yīng)用;2006年30期

5 孫素云;;基于元數(shù)據(jù)集成檢索系統(tǒng)的設(shè)計與實現(xiàn)[J];廣東輕工職業(yè)技術(shù)學(xué)院學(xué)報;2007年02期

6 高敏;黃樹桃;王樹紅;鐘霞;;高放廢物地質(zhì)處置元數(shù)據(jù)設(shè)計與編輯模塊開發(fā)[J];世界核地質(zhì)科學(xué);2010年03期

7 高峰;趙芳;;元數(shù)據(jù)技術(shù)在MDSS實時氣象數(shù)據(jù)庫系統(tǒng)建設(shè)中的應(yīng)用[J];氣象科技;2006年S1期

8 王良清;;關(guān)于建設(shè)省級地理空間數(shù)據(jù)交換中心的思考[J];現(xiàn)代測繪;2006年06期

9 葉國權(quán);寧洪;;元倉庫與源數(shù)據(jù)庫的元數(shù)據(jù)同步策略的研究與設(shè)計[J];現(xiàn)代電子技術(shù);2010年17期

10 王會娜,聶時貴,劉玫;地理數(shù)據(jù)庫元數(shù)據(jù)標(biāo)準(zhǔn)框架的研究[J];現(xiàn)代測繪;2005年S1期

相關(guān)會議論文 前10條

1 趙培翔;張銘;楊冬青;唐世渭;;數(shù)字化文檔元數(shù)據(jù)的自動提取[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2003年

2 沈衛(wèi)超;陳虹;夏芳;宋磊;;元數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

3 陳勝鵬;邱文;;基于元數(shù)據(jù)的空間地理信息管理系統(tǒng)整合的研究與實現(xiàn)[A];中國測繪學(xué)會第九次全國會員代表大會暨學(xué)會成立50周年紀(jì)念大會論文集[C];2009年

4 高峰;;實時氣象資料數(shù)據(jù)庫分系統(tǒng)[A];信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用論文集（二）[C];2006年

5 王會娜;聶時貴;劉玫;;地理數(shù)據(jù)庫元數(shù)據(jù)標(biāo)準(zhǔn)框架的研究[A];'2005數(shù)字江蘇論壇——電子政務(wù)與地理信息技術(shù)論文專輯[C];2005年

6 王會娜;聶時貴;劉玫;;地理數(shù)據(jù)庫元數(shù)據(jù)標(biāo)準(zhǔn)框架的研究[A];'2005數(shù)字江蘇論壇電子政務(wù)與地理信息技術(shù)論文專輯[C];2005年

7 壽志勤;崇大志;;四庫建設(shè)中的元數(shù)據(jù)標(biāo)準(zhǔn)的確定與存儲實現(xiàn)[A];第11屆海峽兩岸信息管理發(fā)展策略研討會論文集[C];2005年

8 高麗娟;劉燕軍;陳志成;;構(gòu)件互操作描述語言的定義與實現(xiàn)[A];2006通信理論與技術(shù)新進(jìn)展——第十一屆全國青年通信學(xué)術(shù)會議論文集[C];2006年

9 潘定;潘云姍;;DW 2.0環(huán)境中的元數(shù)據(jù)版本管理[A];第二十九屆中國控制會議論文集[C];2010年

10 徐平均;王弘X;肖麗;廖麗;夏芳;;并行分布可視化系統(tǒng)JaVis中的I/O優(yōu)化機制[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

相關(guān)重要報紙文章 前10條

1 趙旭;元數(shù)據(jù)管理的五種成熟度[N];計算機世界;2006年

2 畢建濤 曹彥榮 何建邦 池天河;共享海量遙感影像數(shù)據(jù)[N];計算機世界;2006年

3 中國傳媒大學(xué)計算機學(xué)院 朱立谷邋柳昊 孫志偉 郅斌;非結(jié)構(gòu)化數(shù)據(jù)的歸檔術(shù)[N];中國計算機報;2007年

4 張峰;存儲信息 迅速搜索[N];網(wǎng)絡(luò)世界;2007年

5 浪潮存儲產(chǎn)品部研發(fā)工程師 宮興斌;基于PVFS的并行文件系統(tǒng)[N];網(wǎng)絡(luò)世界;2005年

6 中國科學(xué)院計算技術(shù)研究所 常亮邋史忠植;語義Web的邏輯基礎(chǔ)[N];計算機世界;2007年

7 吳彬松;安徽省電子文件中心系統(tǒng)接收與長久保存電子文件的策略[N];中國檔案報;2007年

8 謝海燕;Vista 的WSD機制[N];計算機世界;2007年

9 陳凱鋒;Linux服務(wù)器維護(hù)要點[N];中國電腦教育報;2002年

10 潘柏君;湖南省第三測繪院科學(xué)發(fā)展成績喜人[N];中國測繪報;2011年

相關(guān)博士學(xué)位論文 前10條

1 萬繼光;集群多媒體存儲系統(tǒng)的數(shù)據(jù)組織研究[D];華中科技大學(xué);2007年

2 南凱;面向關(guān)系型數(shù)據(jù)共享的數(shù)據(jù)網(wǎng)格中間件研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2006年

3 王曉蕊;華北克拉通地球化學(xué)科學(xué)數(shù)據(jù)的管理及應(yīng)用研究[D];中國地質(zhì)大學(xué);2008年

4 柴勝;空間資源中信息語義注冊與檢索相關(guān)技術(shù)研究[D];吉林大學(xué);2008年

5 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲系統(tǒng)研究[D];電子科技大學(xué);2009年

6 董寶力;Web制造資源的語義發(fā)現(xiàn)關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

7 韋亞星;基于數(shù)據(jù)網(wǎng)格的地理空間信息協(xié)作共享系統(tǒng)研究[D];中國科學(xué)技術(shù)大學(xué);2007年

8 袁慶霓;基于網(wǎng)絡(luò)化制造環(huán)境的制造資源共享服務(wù)語義關(guān)鍵技術(shù)研究[D];西南交通大學(xué);2010年

9 吳砥;學(xué)習(xí)資源管理與服務(wù)關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2006年

10 左瓊;基于MPEG-7的通用多媒體數(shù)據(jù)庫模型研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 延婭妮;基于RDF語義元數(shù)據(jù)的構(gòu)件動態(tài)組裝系統(tǒng)[D];北京郵電大學(xué);2008年

2 任廣治;基于元數(shù)據(jù)的氣象信息共享平臺的設(shè)計與實現(xiàn)[D];山東大學(xué);2008年

3 李方偉;基于元數(shù)據(jù)的教育資源非結(jié)構(gòu)化數(shù)據(jù)組織管理[D];內(nèi)蒙古大學(xué);2008年

4 張曉鳳;復(fù)雜產(chǎn)品項目中管理要素元數(shù)據(jù)的提取與管理研究[D];江蘇科技大學(xué);2013年

5 郭健;科技期刊開放存取的研究與實現(xiàn)[D];吉林大學(xué);2007年

6 李武;面向現(xiàn)代服務(wù)業(yè)的大規(guī)模分布式文件存儲系統(tǒng)設(shè)計和實現(xiàn)[D];浙江大學(xué);2008年

7 劉高嶺;海洋信息元數(shù)據(jù)目錄服務(wù)系統(tǒng)的設(shè)計與實現(xiàn)[D];中國海洋大學(xué);2008年

8 盧佳;基于元數(shù)據(jù)的構(gòu)件軟件回歸測試技術(shù)[D];大連海事大學(xué);2009年

9 韓雨;基于構(gòu)件軟件集成測試的研究和應(yīng)用[D];西安建筑科技大學(xué);2009年

10 連曉佳;基于元數(shù)據(jù)的油田信息可視化模型研究與設(shè)計[D];電子科技大學(xué);2009年

，

本文編號：1448632