本文選題：高性能計(jì)算 + 海量存儲(chǔ)��； 參考：《計(jì)算機(jī)科學(xué)》2015年01期

【摘要】：高能物理是典型的數(shù)據(jù)密集型計(jì)算,數(shù)據(jù)訪問(wèn)性能對(duì)整個(gè)系統(tǒng)至關(guān)重要并與應(yīng)用的計(jì)算模式密切相關(guān)。從剖析高能物理的典型計(jì)算模式入手,總結(jié)出其數(shù)據(jù)訪問(wèn)的特點(diǎn),提出針對(duì)操作系統(tǒng)I/O調(diào)度、分布式文件系統(tǒng)緩存等多個(gè)因素的優(yōu)化措施,優(yōu)化后數(shù)據(jù)訪問(wèn)性能和CPU利用率明顯提高。大規(guī)模存儲(chǔ)系統(tǒng)對(duì)于元數(shù)據(jù)管理、數(shù)據(jù)可靠性、擴(kuò)容等可管理性等功能也有較高要求,結(jié)合現(xiàn)有Lustre并行文件系統(tǒng)的不足,提出了Gluster的高能物理存儲(chǔ)系統(tǒng)設(shè)計(jì),在進(jìn)行數(shù)據(jù)管理以及擴(kuò)容等方面的優(yōu)化后,系統(tǒng)已經(jīng)正式投入使用,數(shù)據(jù)訪問(wèn)性能能夠滿足高能物理計(jì)算的需求,同時(shí)具有更好的可擴(kuò)展性和可靠性。
[Abstract]:High energy physics is a typical data intensive computing. Data access performance is very important to the whole system and is closely related to the computing mode of application. Based on the analysis of the typical computing mode of high energy physics, the characteristics of data access are summarized, and the optimization measures for operating system I / O scheduling, distributed file system cache and so on are put forward. After optimization, the data access performance and CPU utilization are improved obviously. Large-scale storage system also has higher requirements for metadata management, data reliability, capacity expansion and other manageability functions. Combined with the shortcomings of the existing Lustre parallel file system, the design of Gluster high-energy physical storage system is proposed. After the optimization of data management and capacity expansion, the system has been formally put into use, the data access performance can meet the needs of high-energy physics computing, at the same time, it has better scalability and reliability.
【作者單位】： 中國(guó)科學(xué)院高能物理研究所計(jì)算中心;
【基金】：國(guó)家自然科學(xué)基金(11205179)資助
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 羅象宏;舒繼武;;存儲(chǔ)系統(tǒng)中的糾刪碼研究綜述[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊進(jìn);王亮明;唐德玉;;RS糾刪碼在電子健康檔案云存儲(chǔ)中的應(yīng)用[J];廣東藥學(xué)院學(xué)報(bào);2012年04期

2 宋秀麗;陳龍;肖敏;;云存儲(chǔ)中支持XOR旋轉(zhuǎn)編碼的可恢復(fù)性驗(yàn)證方案[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期

3 萬(wàn)武南;王拓;索望;;一種三容錯(cuò)數(shù)據(jù)布局[J];電子與信息學(xué)報(bào);2013年10期

4 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

5 萬(wàn)武南;楊威;;一種基于陣列結(jié)構(gòu)的4容錯(cuò)數(shù)據(jù)布局[J];成都信息工程學(xué)院學(xué)報(bào);2014年03期

6 文艾;;移動(dòng)互聯(lián)網(wǎng)下基于RS編碼的文件傳輸軟件設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2014年29期

7 萬(wàn)武南;楊威;陳運(yùn);;一種新的3容錯(cuò)擴(kuò)展RAID碼[J];北京郵電大學(xué)學(xué)報(bào);2014年05期

8 聶瑞華;張科倫;梁軍;;一種改進(jìn)的云存儲(chǔ)系統(tǒng)容錯(cuò)機(jī)制[J];計(jì)算機(jī)應(yīng)用研究;2013年12期

9 鄭勝;李通;;一種應(yīng)用于大規(guī)模存儲(chǔ)系統(tǒng)的數(shù)據(jù)分布算法[J];計(jì)算機(jī)科學(xué);2013年S2期

10 許方亮;王意潔;裴曉強(qiáng);;NTar:基于網(wǎng)絡(luò)拓?fù)涞募m刪碼樹(shù)型修復(fù)方法[J];計(jì)算機(jī)研究與發(fā)展;2013年S2期

相關(guān)會(huì)議論文 前1條

1 田原;王營(yíng)康;肖達(dá);楊榆;;云存儲(chǔ)系統(tǒng)中的存儲(chǔ)與數(shù)據(jù)拆分方案[A];第十九屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

相關(guān)博士學(xué)位論文 前3條

1 龐麗莉;無(wú)線網(wǎng)絡(luò)儀器的時(shí)鐘同步、定位及數(shù)據(jù)安全存儲(chǔ)算法研究[D];吉林大學(xué);2013年

2 肖宜龍;隨機(jī)化數(shù)據(jù)冗余方法及其在存儲(chǔ)系統(tǒng)中的應(yīng)用[D];電子科技大學(xué);2013年

3 程勇;云存儲(chǔ)中密文訪問(wèn)控制機(jī)制性能優(yōu)化關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前9條

1 張凱;分布式存儲(chǔ)系統(tǒng)中節(jié)點(diǎn)修復(fù)問(wèn)題研究[D];西南交通大學(xué);2012年

2 范泉龍;基于秘密共享的多云存儲(chǔ)模型研究[D];華東理工大學(xué);2014年

3 王敬軒;分布式文件系統(tǒng)存儲(chǔ)效率優(yōu)化研究[D];華中科技大學(xué);2013年

4 吳昆鵬;對(duì)象存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)地質(zhì)大學(xué)（北京）;2014年

5 付園;基于HDFS的優(yōu)化數(shù)據(jù)冗余策略的研究[D];吉林大學(xué);2014年

6 蔣向陽(yáng);基于Hadoop的云安全存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];廣東工業(yè)大學(xué);2014年

7 牛芳;異構(gòu)存儲(chǔ)系統(tǒng)中的節(jié)點(diǎn)失效并行化修復(fù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

8 肖中正;面向大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)可靠性保障技術(shù)研究[D];廣西大學(xué);2014年

9 杜智蒙;開(kāi)放可伸縮關(guān)系數(shù)據(jù)模型及數(shù)據(jù)分區(qū)策略研究[D];鄭州大學(xué);2014年

【二級(jí)參考文獻(xiàn)】

相關(guān)碩士學(xué)位論文 前1條

1 鄭清吉;安全存儲(chǔ)系統(tǒng)中糾刪碼技術(shù)研究[D];上海交通大學(xué);2009年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 于翔;日立數(shù)據(jù)推出Lightning 9900 V系列存儲(chǔ)系統(tǒng)[J];微電腦世界;2002年11期

2 周可,張江陵,馮丹;基于數(shù)據(jù)塊的對(duì)等存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與科學(xué);2003年03期

3 毛宇星;存儲(chǔ)系統(tǒng)未來(lái)發(fā)展的新趨勢(shì)[J];中國(guó)金融電腦;2004年03期

4 王洛;制造業(yè)存儲(chǔ)系統(tǒng)應(yīng)用選型[J];電子商務(wù)世界;2004年04期

5 李瑋;日立力推新存儲(chǔ)系統(tǒng)[J];微電腦世界;2004年11期

6 ;存儲(chǔ)系統(tǒng) 電信行業(yè)服務(wù)滿意獎(jiǎng)[J];每周電腦報(bào);2004年20期

7 ;存儲(chǔ)系統(tǒng) 金融行業(yè)服務(wù)滿意獎(jiǎng) 電信行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

8 ;存儲(chǔ)系統(tǒng) 制造行業(yè)產(chǎn)品創(chuàng)新獎(jiǎng)[J];每周電腦報(bào);2004年20期

9 ;存儲(chǔ)系統(tǒng) 電信行業(yè)技術(shù)領(lǐng)先獎(jiǎng)[J];每周電腦報(bào);2004年20期

10 ;快速恢復(fù)免重安裝——山東師范大學(xué)完成圖書(shū)館存儲(chǔ)系統(tǒng)建設(shè)[J];每周電腦報(bào);2004年28期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國(guó)公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國(guó)氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長(zhǎng)國(guó);苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 記者　 孫永杰;存儲(chǔ)：中低端應(yīng)用漸成熱點(diǎn)[N];中國(guó)電子報(bào);2005年

2 ;HP再度出擊 EMC腹背受敵[N];計(jì)算機(jī)世界;2000年

3 ;湖北移動(dòng)建設(shè)智能存儲(chǔ)系統(tǒng)[N];人民郵電;2002年

4 本報(bào)記者 郭平;同有飛驥自主研發(fā)統(tǒng)一存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2010年

5 ;浪潮存儲(chǔ)為北航網(wǎng)絡(luò)中心升級(jí)[N];人民郵電;2007年

6 ;解決方案面向誰(shuí)？[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2001年

7 張峰 劉平;決戰(zhàn)存儲(chǔ)之巔[N];網(wǎng)絡(luò)世界;2003年

8 ;賽 迪 觀 市[N];中國(guó)計(jì)算機(jī)報(bào);2003年

9 雪梅;統(tǒng)一存儲(chǔ)發(fā)展新趨勢(shì)[N];人民郵電;2012年

10 宋家雨;山東建筑大學(xué)圖書(shū)館存儲(chǔ)系統(tǒng)建設(shè)[N];網(wǎng)絡(luò)世界;2007年

相關(guān)博士學(xué)位論文 前10條

1 陸承濤;存儲(chǔ)系統(tǒng)性能管理問(wèn)題的研究[D];華中科技大學(xué);2010年

2 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

3 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

5 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

6 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

7 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲(chǔ)系統(tǒng)研究[D];電子科技大學(xué);2009年

8 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

9 田敬;對(duì)等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

10 李懷陽(yáng);進(jìn)化存儲(chǔ)系統(tǒng)數(shù)據(jù)組織模式研究[D];華中科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 許偉民;非編網(wǎng)存儲(chǔ)系統(tǒng)規(guī)劃與分析[D];廈門(mén)大學(xué);2008年

2 王宇德;進(jìn)化存儲(chǔ)系統(tǒng)的研究及其關(guān)鍵技術(shù)分析[D];華中科技大學(xué);2004年

3 雷小強(qiáng);基于閃存的混合式存儲(chǔ)系統(tǒng)研究[D];華中科技大學(xué);2011年

4 吳永發(fā);面向終端應(yīng)用的云存儲(chǔ)系統(tǒng)研究與設(shè)計(jì)[D];廣東工業(yè)大學(xué);2013年

5 胡偉明;云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)地質(zhì)大學(xué)（北京）;2013年

6 吉永光;樹(shù)型結(jié)構(gòu)存儲(chǔ)系統(tǒng)設(shè)計(jì)與層間緩存技術(shù)[D];華中科技大學(xué);2007年

7 戴澤福;高性能層次并行流存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

8 王強(qiáng);社交網(wǎng)站的群集存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D];上海交通大學(xué);2009年

9 馬墨峰;基于存儲(chǔ)局域網(wǎng)的存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2001年

10 伍開(kāi)文;低能耗存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2012年

，

本文編號(hào)：1847523