本文關(guān)鍵詞：面向Lustre文件系統(tǒng)的存儲(chǔ)系統(tǒng)模擬器的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 存儲(chǔ)系統(tǒng) Lustre 模擬器

【摘要】：近年來(lái),高性能計(jì)算機(jī)技術(shù)和應(yīng)用技術(shù)飛速發(fā)展,在科學(xué)研究與國(guó)民經(jīng)濟(jì)建設(shè)中正發(fā)揮著日益重要的作用。以國(guó)家超級(jí)計(jì)算天津中心為例,該中心使用的天河一號(hào)超級(jí)計(jì)算機(jī)(TH-1A),應(yīng)用領(lǐng)域廣泛,主要應(yīng)用領(lǐng)域包括石油勘探數(shù)據(jù)處理、生物醫(yī)藥研發(fā)、氣象氣候和海洋環(huán)境研究、航空航天飛行器研制、工程仿真等。TH-1A超級(jí)計(jì)算機(jī)在天津超算中心運(yùn)行已4年多,實(shí)際運(yùn)行表明:系統(tǒng)設(shè)計(jì)合理、綜合性能好,系統(tǒng)穩(wěn)定可靠,成功地完成了許多大規(guī)模、典型和復(fù)雜的計(jì)算任務(wù)。TH-1A采用Lustre文件系統(tǒng)作為存儲(chǔ)系統(tǒng),實(shí)踐表明,Lustre系統(tǒng)為TH-1A的存儲(chǔ)系統(tǒng)提供了良好的性能支撐,Lustre配置的靈活性使得TH-1A在面對(duì)不同應(yīng)用時(shí)可以通過(guò)不同的配置參數(shù)實(shí)現(xiàn)應(yīng)用性能的調(diào)優(yōu),特別是在超大規(guī)模的石油數(shù)據(jù)處理中的應(yīng)用,獲得了較好的應(yīng)用,對(duì)充分發(fā)揮TH-1A系統(tǒng)的整體應(yīng)用性能起到了非常重要的作用。同時(shí),隨著TH-1A應(yīng)用服務(wù)范圍的不斷擴(kuò)展,以及應(yīng)用程序所處理的數(shù)據(jù)量的不斷增加,TH-1A存儲(chǔ)系統(tǒng)在海量數(shù)據(jù)存儲(chǔ)和處理上也表現(xiàn)出了一些問(wèn)題。如某些I/O密集型應(yīng)用要求存儲(chǔ)系統(tǒng)具有較快的讀寫速度,而Lustre文件系統(tǒng)易于在元數(shù)據(jù)存儲(chǔ)和處理上形成瓶頸,影響存儲(chǔ)系統(tǒng)整體的讀寫速度。另外,由于受限于內(nèi)部高速互連網(wǎng)絡(luò)端口的數(shù)量,使得OST的數(shù)量難以大幅擴(kuò)充,以大容量磁盤(如3TB或者更大容量)替換目前的1-2TB磁盤來(lái)擴(kuò)大存儲(chǔ)系統(tǒng)的容量又會(huì)在磁盤失效時(shí)帶來(lái)過(guò)長(zhǎng)的數(shù)據(jù)恢復(fù)時(shí)間,影響存儲(chǔ)系統(tǒng)的可維性,這兩個(gè)原因使得TH-1A的存儲(chǔ)系統(tǒng)在擴(kuò)充存儲(chǔ)容量時(shí)遇到了困難。TH-1A作為目前先進(jìn)的高性能計(jì)算機(jī),在存儲(chǔ)系統(tǒng)方面表現(xiàn)出來(lái)的問(wèn)題具有一定的代表性。在當(dāng)前HPC TOP50的超級(jí)計(jì)算機(jī),存儲(chǔ)系統(tǒng)多采用Lustre,在面對(duì)相同的應(yīng)用情況時(shí)也會(huì)表現(xiàn)出與TH-1A相類似的技術(shù)問(wèn)題。由于超級(jí)計(jì)算機(jī)的Lustre系統(tǒng)在數(shù)據(jù)密集型應(yīng)用時(shí)表現(xiàn)出一些問(wèn)題,同時(shí),我們又在研制新一代的超級(jí)計(jì)算機(jī),為了了解現(xiàn)有的存儲(chǔ)系統(tǒng)在各種典型的應(yīng)用過(guò)程中出現(xiàn)不同問(wèn)題的原因,研究解決問(wèn)題和優(yōu)化性能的技術(shù)方法,并為研制新一代超級(jí)計(jì)算機(jī)的新型存儲(chǔ)系統(tǒng)提供研究和分析手段,有必要構(gòu)建面向存儲(chǔ)系統(tǒng)的功能和性能的模擬器,對(duì)目標(biāo)系統(tǒng)進(jìn)行模擬,分析存儲(chǔ)系統(tǒng)的運(yùn)行特性,研究分析存儲(chǔ)系統(tǒng)的各種設(shè)計(jì)參數(shù),優(yōu)化現(xiàn)有存儲(chǔ)系統(tǒng),指導(dǎo)新的存儲(chǔ)系統(tǒng)的設(shè)計(jì)。本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于Lustre存儲(chǔ)系統(tǒng)的存儲(chǔ)系統(tǒng)模擬器,主要進(jìn)行了以下幾項(xiàng)研究工作:(1)研究目前典型I/O密集型應(yīng)用對(duì)存儲(chǔ)系統(tǒng)的性能要求,結(jié)合Lustre文件系統(tǒng)的組成結(jié)構(gòu)和I/O操作流程,分析Lustre文件系統(tǒng)在I/O密集型應(yīng)用時(shí)可能表現(xiàn)的問(wèn)題。(2)分析目前軟件模擬器設(shè)計(jì)的主要方法,提出了本文的Lustre系統(tǒng)模擬器的設(shè)計(jì)方法。(3)設(shè)計(jì)并實(shí)現(xiàn)了以Lustre文件系統(tǒng)為目標(biāo)系統(tǒng)的存儲(chǔ)系統(tǒng)模擬器Lustre Sim,并通過(guò)與TH-1A超級(jí)計(jì)算機(jī)Lustre系統(tǒng)性能測(cè)試和逆時(shí)偏移抽道集應(yīng)用程序運(yùn)行的對(duì)比分析,驗(yàn)證了其正確性與可用性。(4)研究了影響Lustre文件系統(tǒng)性能的關(guān)鍵因素,并提出了這些因素對(duì)性能影響的評(píng)估方案,在此基礎(chǔ)上設(shè)計(jì)了實(shí)驗(yàn),并使用Lustre Sim模擬器進(jìn)行實(shí)驗(yàn),明確了這些因素對(duì)Lustre文件系統(tǒng)I/O性能的影響,提出Lustre文件系統(tǒng)的一些配置建議。
【關(guān)鍵詞】：存儲(chǔ)系統(tǒng) Lustre 模擬器
【學(xué)位授予單位】：國(guó)防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要9-11
• ABSTRACT11-13
• 第一章 緒論13-26
• 1.1 研究背景13-23
• 1.1.1 高性能計(jì)算機(jī)的發(fā)展情況13
• 1.1.2 超級(jí)計(jì)算機(jī)的基本組成13-14
• 1.1.3 高性能計(jì)算機(jī)存儲(chǔ)系統(tǒng)的基本結(jié)構(gòu)14-16
• 1.1.4 典型的面向高性能計(jì)算機(jī)的集群文件系統(tǒng)16-20
• 1.1.5 高性能計(jì)算應(yīng)用對(duì)高性能計(jì)算機(jī)存儲(chǔ)系統(tǒng)的主要技術(shù)要求20-21
• 1.1.6 高性能計(jì)算機(jī)存儲(chǔ)系統(tǒng)面臨的技術(shù)問(wèn)題21-23
• 1.2 課題研究的意義23-24
• 1.3 課題內(nèi)容和章節(jié)安排24-26
• 1.3.1 課題內(nèi)容24-25
• 1.3.2 本文的組織25-26
• 第二章 模擬器技術(shù)分析和Lustre系統(tǒng)技術(shù)分析紹26-37
• 2.1 模擬器的設(shè)計(jì)方法26-28
• 2.1.1 系統(tǒng)模型模擬概述26-27
• 2.1.2 軟件模擬技術(shù)27
• 2.1.3 軟件模擬器的分類27-28
• 2.2 典型軟件模擬器28-30
• 2.2.1 OMNe T++28-29
• 2.2.2 NS229-30
• 2.2.3 Disk Sim30
• 2.3 Lustre文件系統(tǒng)30-37
• 2.3.1 Lustre體系結(jié)構(gòu)31-32
• 2.3.2 Lustre文件系統(tǒng)I/O流程32-33
• 2.3.3 Lustre網(wǎng)絡(luò)通訊33-34
• 2.3.4 Lustre的可用性34
• 2.3.5 Lustre的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)34-37
• 第三章 Lustre文件系統(tǒng)模擬器Lustre Sim的設(shè)計(jì)與實(shí)現(xiàn)37-60
• 3.1 模擬器的設(shè)計(jì)目標(biāo)37-39
• 3.2 Lustre Sim模擬器的系統(tǒng)結(jié)構(gòu)設(shè)計(jì)39-42
• 3.2.1 Lustre文件系統(tǒng)的總體模塊組成39-40
• 3.2.2 Lustre Sim模擬器系統(tǒng)結(jié)構(gòu)40-41
• 3.2.3 模擬器各模塊可擴(kuò)展性41-42
• 3.3 模擬器的核心模塊設(shè)計(jì)42-55
• 3.3.1 RAID磁盤陣列模塊42-43
• 3.3.2 MDS模塊43-48
• 3.3.3 OSS模塊48-51
• 3.3.4 Client模塊51-55
• 3.4 模擬器的I/O流程55-56
• 3.5 模擬器的正確性驗(yàn)證56-60
• 3.5.1 全系統(tǒng)IOR測(cè)試56-57
• 3.5.2 來(lái)自石油勘探逆時(shí)偏移抽道集程序trace的模擬結(jié)果57-60
• 第四章 Lustre文件系統(tǒng)性能研究60-72
• 4.1 分布式文件系統(tǒng)性能的影響因素60-62
• 4.1.1 元數(shù)據(jù)服務(wù)器相關(guān)的性能因素60
• 4.1.2 文件數(shù)據(jù)服務(wù)器相關(guān)的性能因素60-61
• 4.1.3 客戶端/應(yīng)用相關(guān)的性能因素61
• 4.1.4 網(wǎng)絡(luò)相關(guān)的性能因素61-62
• 4.2 Lustre關(guān)鍵性能因素詳細(xì)分析62-65
• 4.2.1 條帶化配置參數(shù)62-63
• 4.2.2 讀/寫緩存效應(yīng)63-64
• 4.2.3 服務(wù)進(jìn)程數(shù)量64-65
• 4.3 使用Lustre Sim評(píng)估Lustre性能65-72
• 4.3.1 Lustre性能評(píng)估方案65-66
• 4.3.2 性能評(píng)估實(shí)驗(yàn)設(shè)計(jì)66
• 4.3.3 性能評(píng)估結(jié)果66-71
• 4.3.4 Lustre文件系統(tǒng)配置建議71-72
• 第五章 總結(jié)和展望72-74
• 5.1 工作總結(jié)72
• 5.2 下一步工作展望72-74
• 致謝74-75
• 參考文獻(xiàn)75-80
• 作者在學(xué)期間取得的學(xué)術(shù)成果80

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國(guó)計(jì)算機(jī)用戶;2005年31期

4 謝世誠(chéng);;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國(guó)有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國(guó)計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國(guó)公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國(guó)氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長(zhǎng)國(guó);苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 ;第三季度中國(guó)存儲(chǔ)系統(tǒng)市場(chǎng)達(dá)19.1億元[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國(guó)稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場(chǎng)價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國(guó)企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 趙雨虹;云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲(chǔ)系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲(chǔ)系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2015年

4 沈志榮;糾刪碼存儲(chǔ)系統(tǒng)性能優(yōu)化研究[D];清華大學(xué);2015年

5 陸承濤;存儲(chǔ)系統(tǒng)性能管理問(wèn)題的研究[D];華中科技大學(xué);2010年

6 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

7 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

8 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

9 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

10 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 俞新杰;跨數(shù)據(jù)中心容錯(cuò)的云存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2016年

3 王振升;可重構(gòu)堆疊存儲(chǔ)系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)研究[D];太原理工大學(xué);2016年

4 王海群;面向數(shù)字社區(qū)的云存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];中國(guó)海洋大學(xué);2015年

5 范海震;基于Linux的MPEG-4圖像壓縮存儲(chǔ)系統(tǒng)[D];西安電子科技大學(xué);2008年

6 陳運(yùn)海;編碼容錯(cuò)的云存儲(chǔ)系統(tǒng)與性能優(yōu)化[D];南京大學(xué);2013年

7 盧義婉;基于網(wǎng)絡(luò)編碼的云存儲(chǔ)系統(tǒng)中負(fù)載均衡技術(shù)研究[D];南京大學(xué);2013年

8 王謙;云存儲(chǔ)系統(tǒng)基于屬性的數(shù)據(jù)訪問(wèn)控制研究[D];江蘇大學(xué);2016年

9 蔡京津;基于Orleans的塊存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

10 王丹丹;數(shù)字射頻存儲(chǔ)系統(tǒng)中高速DAC電路的設(shè)計(jì)與實(shí)現(xiàn)[D];燕山大學(xué);2016年

，

本文編號(hào)：836973