發(fā)布時間：2020-08-25 17:48

【摘要】：近幾年來,超級計算技術(shù)在科學研究和國民經(jīng)濟建設(shè)中扮演越來越重要的角色,應(yīng)用領(lǐng)域也更加廣闊。當前,超級計算和數(shù)據(jù)存儲正邁向E級時代,超級計算機系統(tǒng)計算能力迅速提升,數(shù)據(jù)規(guī)模急劇增大,存儲與計算的矛盾日益突出,對超級計算機系統(tǒng)數(shù)據(jù)處理能力提出巨大挑戰(zhàn)。本文主要針對超級計算機大規(guī)模存儲系統(tǒng)中存在的問題,結(jié)合天河超級計算機并行存儲系統(tǒng)的研制任務(wù),圍繞如何利用新型存儲介質(zhì)提升存儲系統(tǒng)的I/O效能,開展新型存儲體系結(jié)構(gòu)、元數(shù)據(jù)服務(wù)系統(tǒng)的優(yōu)化、閃存存儲介質(zhì)及存儲陣列的性能優(yōu)化、系統(tǒng)功耗優(yōu)化等關(guān)鍵技術(shù)的研究,以提升大規(guī)模并行存儲系統(tǒng)對海量數(shù)據(jù)的存儲能力和處理能力。論文的主要研究工作和創(chuàng)新點如下:1.針對當前的對并行存儲系統(tǒng)的優(yōu)化缺乏量化策略,通過分析理想的并行存儲系統(tǒng)模型,研究并行存儲中的行為方法,給出了并行存儲系統(tǒng)的帶寬和延遲的行為模型。根據(jù)存儲的數(shù)學模型和優(yōu)化策略對并行存儲系統(tǒng)體系結(jié)構(gòu)進行了優(yōu)化,提出了一種新型可定義存儲架構(gòu)。實驗表明該架構(gòu)在可擴展,可升級以及可配置優(yōu)化方面具有更好的特性。2.針對傳統(tǒng)元數(shù)據(jù)管理技術(shù)存在的瓶頸問題,本文根據(jù)分區(qū)并行、集中管理的設(shè)計思路,提出了基于閃存存儲陣列和大SMP節(jié)點服務(wù)平臺的元數(shù)據(jù)分域處理技術(shù),實現(xiàn)了支持高并發(fā)的基于固態(tài)存儲陣列的元數(shù)據(jù)服務(wù)器。實驗表明,該技術(shù)顯著提高了元數(shù)據(jù)服務(wù)的I/O吞吐率和可擴展性,并行存儲系統(tǒng)的文件創(chuàng)建和查詢速度提升了大約5倍。3.針對大規(guī)模并行存儲數(shù)據(jù)帶寬高,延遲低的要求,根據(jù)程序的局部性原理,采用預(yù)測策略重新設(shè)計了新的FTL映射策略,該策略有效降低了FTL轉(zhuǎn)換帶來的延遲,提升了閃存的讀寫速率。同時優(yōu)化算法通過減少地址映射信息未命中而引起的固態(tài)盤內(nèi)額外讀寫操作,可以有效提高固態(tài)盤的整體讀寫性能,并延長固態(tài)盤的使用壽命。4.針對閃存構(gòu)建RAID以后帶來的壽命急劇減少的問題,本文提出了一種基于緩存的可重構(gòu)RAID策略。一方面,利用失效數(shù)據(jù)繼續(xù)在介質(zhì)中存在的特點,保護有效數(shù)據(jù),從而避免了校驗碼的頻繁更新問題,延長了閃存的壽命;另一方面,利用緩沖區(qū)寫和閃存讀可并發(fā)的特性,提升了RAID的帶寬,降低了I/O訪問的延遲;此外,利用緩沖區(qū)的替換策略可以將具有同一讀寫特性的數(shù)據(jù)匯聚到相近的位置,顯著加速了垃圾回收的過程。實驗證明相比傳統(tǒng)的RAID策略,該策略可以大幅減少垃圾回收和擦除的次數(shù),顯著提升閃存介質(zhì)的使用壽命。5.針對未來基于非易失存儲介質(zhì)的計算存儲相融合的系統(tǒng)架構(gòu)。本文根據(jù)大規(guī)模非易失存儲的計算存儲系統(tǒng)的功耗模型,提出了基于通信類的模擬退火算法,利用作業(yè)的通信特性對進程進行分類,構(gòu)建一個次優(yōu)的初始任務(wù)圖,根據(jù)初始任務(wù)圖和約束通過模擬退火算法找到局部最優(yōu)解,采用模擬退火算法實現(xiàn)快速的作業(yè)調(diào)度策略。實驗表明,此種策略較傳統(tǒng)任務(wù)分配策略時間更短,節(jié)能效果更好。
【學位授予單位】：國防科學技術(shù)大學
【學位級別】：博士
【學位授予年份】：2014
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 ;領(lǐng)先的技術(shù)是應(yīng)用的保證──貴州中行存儲系統(tǒng)淺析[J];計算機周刊;2001年43期

2 李紅;藍光存儲系統(tǒng) 光盤容量高達23G[J];信息記錄材料;2004年01期

3 ;存儲系統(tǒng) 金融行業(yè)應(yīng)用卓越獎 醫(yī)療行業(yè)應(yīng)用卓越獎[J];每周電腦報;2004年20期

4 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期

5 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應(yīng)用;2006年07期

6 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

7 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

8 湯赫男;;云存儲系統(tǒng)的分析與應(yīng)用研究[J];計算機光盤軟件與應(yīng)用;2013年24期

9 諶偉;;云存儲系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

10 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期

相關(guān)會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計[A];安全高效礦井機電裝備及信息化技術(shù)——陜西省煤炭學會學術(shù)年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學;李建華;;面向災(zāi)備的高性能可信存儲系統(tǒng)設(shè)計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設(shè)計院存儲系統(tǒng)建設(shè)初探[A];中國公路學會計算機應(yīng)用分會2004年年會學術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學術(shù)研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應(yīng)用[A];中國氣象學會2006年年會“中尺度天氣動力學、數(shù)值模擬和預(yù)測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學會教育信息化分會第十次學術(shù)年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機學術(shù)會議論文集（三）[C];2006年

相關(guān)重要報紙文章 前10條

1 ;第三季度中國存儲系統(tǒng)市場達19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導報;2005年

2 本報記者 薛斐;服務(wù)：存儲系統(tǒng)的靈魂[N];計算機世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務(wù)報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設(shè)計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲系統(tǒng)有了“設(shè)計院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學位論文 前10條

1 王福偉;列存儲系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學;2016年

2 張菁;大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學技術(shù)大學;2015年

3 沈志榮;糾刪碼存儲系統(tǒng)性能優(yōu)化研究[D];清華大學;2015年

4 黃志杰;容錯存儲系統(tǒng)中的MDS陣列碼研究[D];華中科技大學;2016年

5 劉進軍;云存儲系統(tǒng)中基于溯源關(guān)系的文件查詢與管理方法研究[D];華中科技大學;2016年

6 趙楠楠;分布式鍵值存儲系統(tǒng)高效能數(shù)據(jù)布局技術(shù)研究[D];華中科技大學;2016年

7 宋振龍;面向超級計算的大規(guī)模并行存儲系統(tǒng)關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2014年

8 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學;2010年

9 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學;2011年

10 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學;2011年

相關(guān)碩士學位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學;2015年

2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

3 蔣靜遠;基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學;2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學;2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲系統(tǒng)存儲引擎設(shè)計與實現(xiàn)[D];電子科技大學;2014年

7 王曉;混合存儲系統(tǒng)高效快照技術(shù)研究[D];北京理工大學;2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設(shè)計與實現(xiàn)[D];大連理工大學;2015年

9 張致元;電子商品存儲系統(tǒng)設(shè)計與研究[D];復旦大學;2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學;2015年

本文編號：2804001