本文選題：數(shù)據(jù)密集計(jì)算　切入點(diǎn)：緩存　出處：《計(jì)算機(jī)研究與發(fā)展》2015年07期

【摘要】：隨著高性能計(jì)算機(jī)逐步應(yīng)用在大規(guī)模數(shù)據(jù)處理領(lǐng)域,存儲(chǔ)系統(tǒng)將成為制約數(shù)據(jù)處理效率的主要瓶頸.在分析了影響數(shù)據(jù)密集型計(jì)算I/O性能若干關(guān)鍵因素的基礎(chǔ)上,提出使用計(jì)算結(jié)點(diǎn)本地存儲(chǔ)構(gòu)建協(xié)作式非易失緩存、以分布式存儲(chǔ)架構(gòu)加速集中式存儲(chǔ)架構(gòu)的方法.該方法基于應(yīng)用層協(xié)同使用分布化的本地存儲(chǔ)資源,使用非易失存儲(chǔ)介質(zhì)構(gòu)成大緩存空間,存放大規(guī)模數(shù)據(jù)分析的中間過程結(jié)果,以此實(shí)現(xiàn)高緩存命中率,并利用并發(fā)度約束控制等手段避免I/O競爭,充分利用本地存儲(chǔ)的特定性能優(yōu)勢保證緩存加速效果,從而有效地提高了大規(guī)模數(shù)據(jù)處理過程的I/O效率.基于多平臺多種I/O模式的測試結(jié)果證實(shí)了該方法的有效性,聚合I/O帶寬具有高擴(kuò)展性,典型數(shù)據(jù)密集應(yīng)用的整體性能最大可提升6倍.
[Abstract]:With the gradual application of high-performance computers in large-scale data processing, storage systems will become the main bottleneck restricting the efficiency of data processing. This paper proposes a method of constructing cooperative non-volatile cache using local storage of computing nodes and accelerating centralized storage architecture with distributed storage architecture. The method is based on the collaborative use of distributed local storage resources in the application layer. Using non-volatile storage media to form a large cache space, storing the intermediate process results of large-scale data analysis, so as to achieve a high cache hit rate, and using concurrency degree constraint control to avoid I / O competition. The specific performance advantage of local storage is fully utilized to ensure the cache acceleration effect, which effectively improves the I / O efficiency of large-scale data processing process. The test results based on multiple I / O modes on multiple platforms demonstrate the effectiveness of the proposed method. The aggregate I / O bandwidth is highly scalable, and the overall performance of typical data-intensive applications can be improved by up to six times.
【作者單位】： 高性能計(jì)算國家重點(diǎn)實(shí)驗(yàn)室(國防科學(xué)技術(shù)大學(xué));中國石油集團(tuán)東方地球物理勘探公司;
【基金】：國家自然科學(xué)基金項(xiàng)目(61120106005) 國家“八六三”高技術(shù)研究發(fā)展計(jì)劃基金項(xiàng)目(2012AA01A301)
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 周恩強(qiáng),盧宇彤,沈志宇;一個(gè)適合大規(guī)模集群并行計(jì)算的檢查點(diǎn)系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

2 牛新征;佘X;秦科;周明天;;移動(dòng)P2P網(wǎng)絡(luò)的協(xié)作緩存優(yōu)化策略[J];計(jì)算機(jī)研究與發(fā)展;2008年04期

3 盧凱,金士堯,盧錫城;并行文件系統(tǒng)中適度貪婪的Cache預(yù)取一體化算法[J];計(jì)算機(jī)學(xué)報(bào);1999年11期

4 亓開元;韓燕波;趙卓峰;房俊;;支持高并發(fā)數(shù)據(jù)流處理的MapReduce中間結(jié)果緩存[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐萬錦;陳曉林;孫建勇;;一種基于Ad-Hoc網(wǎng)絡(luò)的移動(dòng)P2P系統(tǒng)協(xié)同緩存一致性維護(hù)算法[J];楚雄師范學(xué)院學(xué)報(bào);2009年03期

2 李飛飛;;基于MPI并行程序的容錯(cuò)系統(tǒng)設(shè)計(jì)[J];電腦知識與技術(shù);2011年04期

3 李超;黃桂敏;賓辰忠;;一種基于改進(jìn)LRU的P2P緩存機(jī)制[J];桂林電子科技大學(xué)學(xué)報(bào);2011年03期

4 任立波;黃桂敏;;P2P流媒體點(diǎn)播的緩存機(jī)制研究[J];桂林電子科技大學(xué)學(xué)報(bào);2011年05期

5 葉暉;劉華富;王江濤;;一種基于協(xié)同信任的普適網(wǎng)絡(luò)節(jié)點(diǎn)緩存替換策略研究[J];長沙大學(xué)學(xué)報(bào);2013年05期

6 蘇嬌嬈;;一種改進(jìn)的動(dòng)態(tài)數(shù)據(jù)聚集算法及仿真[J];電子科技;2015年05期

7 謝e，

本文編號：1677358