本文選題：高性能計(jì)算　切入點(diǎn)：緩存系統(tǒng)　出處：《華中科技大學(xué)》2013年碩士論文　論文類(lèi)型：學(xué)位論文

【摘要】：隨著設(shè)計(jì)理念和硬件制造工藝的不斷發(fā)展，在過(guò)去的十多年中，磁盤(pán)存儲(chǔ)設(shè)備的容量和訪(fǎng)問(wèn)性能有了長(zhǎng)足的進(jìn)步，但是依舊與CPU運(yùn)算速度之間出現(xiàn)了不斷擴(kuò)大的不匹配問(wèn)題，磁盤(pán)I/O逐漸成為數(shù)據(jù)密集型計(jì)算任務(wù)的瓶頸所在。特別是在分布式的高性能計(jì)算環(huán)境下，大量數(shù)據(jù)往往通過(guò)共享的存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ)，相比并行的計(jì)算速度，即使采取了NAS專(zhuān)用存儲(chǔ)設(shè)備或SAN專(zhuān)用存儲(chǔ)網(wǎng)絡(luò)，使用RAID磁盤(pán)陣列提高磁盤(pán)數(shù)據(jù)訪(fǎng)問(wèn)吞吐量，磁盤(pán)I/O也往往成為系統(tǒng)總體性能的主要制約因素。在大量計(jì)算節(jié)點(diǎn)需要并發(fā)訪(fǎng)問(wèn)相同的文件數(shù)據(jù)時(shí)，存儲(chǔ)系統(tǒng)局部會(huì)負(fù)擔(dān)大量的文件訪(fǎng)問(wèn)請(qǐng)求，磁盤(pán)以及網(wǎng)絡(luò)I/O在系統(tǒng)中的瓶頸地位就越發(fā)明顯。 面向高性能計(jì)算的分布式內(nèi)存文件緩存系統(tǒng)，利用各計(jì)算節(jié)點(diǎn)上的空閑內(nèi)存空間，構(gòu)建分布式的共享內(nèi)存池，利用數(shù)據(jù)訪(fǎng)問(wèn)的局部性，對(duì)高訪(fǎng)問(wèn)頻度的文件數(shù)據(jù)進(jìn)行內(nèi)存緩存，提供統(tǒng)一的文件訪(fǎng)問(wèn)接口，，透明的對(duì)存在于緩存或磁盤(pán)上的文件進(jìn)行訪(fǎng)問(wèn)，降低高性能計(jì)算任務(wù)的I/O開(kāi)銷(xiāo)與等待時(shí)間，提高執(zhí)行效率，同時(shí)降低共享存儲(chǔ)系統(tǒng)的負(fù)載。使用優(yōu)化的緩存文件置換機(jī)制，對(duì)緩存中的文件數(shù)據(jù)進(jìn)行換入換出，緩存高頻度訪(fǎng)問(wèn)的文件，提高緩存數(shù)據(jù)訪(fǎng)問(wèn)的命中率。實(shí)時(shí)監(jiān)控計(jì)算節(jié)點(diǎn)的運(yùn)行狀態(tài)，使用預(yù)測(cè)算法對(duì)未來(lái)空閑內(nèi)存大小進(jìn)行預(yù)測(cè)，根據(jù)預(yù)測(cè)調(diào)整共享內(nèi)存池大小，在不影響本地應(yīng)用程序執(zhí)行的前提下，最大程度利用空閑內(nèi)存空間。 實(shí)驗(yàn)表明，面向高性能計(jì)算的分布式內(nèi)存文件緩存系統(tǒng)能夠正確穩(wěn)定的運(yùn)行，有效利用計(jì)算節(jié)點(diǎn)的空閑內(nèi)存對(duì)文件數(shù)據(jù)進(jìn)行緩存，提高了上層應(yīng)用的數(shù)據(jù)訪(fǎng)問(wèn)效率。在使用1Gbps以太網(wǎng)連接的集群上，相對(duì)于網(wǎng)絡(luò)連接的共享磁盤(pán)文件存儲(chǔ)，文件讀取吞吐量最高提升200%。
[Abstract]:With the development of design concept and hardware manufacturing technology, the capacity and access performance of disk storage devices have made great progress in the past ten years, but there is still a growing mismatch problem between disk storage devices and CPU computing speed. Disk I / O has gradually become the bottleneck of data-intensive computing tasks, especially in the distributed high-performance computing environment, a large amount of data is often stored through shared storage devices, compared with parallel computing speed. Even if NAS dedicated storage devices or SAN private storage networks are taken, RAID disk arrays are used to improve disk data access throughput, Disk I / O also tends to be a major constraint on the overall performance of the system. When a large number of computing nodes need concurrent access to the same file data, the storage system may be burdened with a large number of file access requests. Disk and network I / O's bottleneck in the system becomes more and more obvious. In the distributed memory file cache system for high performance computing, the distributed shared memory pool is constructed by using the free memory space on each computing node, and the locality of data access is utilized. It can cache the file data with high access frequency, provide a uniform file access interface, transparently access the files that exist on the cache or disk, reduce the I / O overhead and wait time of the high performance computing task, and improve the execution efficiency. At the same time, the load of shared storage system is reduced. Using the optimized cache file replacement mechanism, the file data in and out of the cache is swapped in and out, and the files accessed with high frequency are cached. To improve the hit rate of cache data access, real-time monitor the running state of computing nodes, use prediction algorithm to predict the size of future free memory, and adjust the size of shared memory pool according to the prediction. Make maximum use of free memory without affecting the execution of the local application. Experiments show that the distributed memory file cache system for high performance computing can run correctly and stably, and can cache file data effectively by using the free memory of computing nodes. The data access efficiency of the upper layer application is improved. In the cluster using 1Gbps Ethernet connection, the file reading throughput is up to 200% higher than the shared disk file storage in the network connection.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類(lèi)號(hào)】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前6條

1 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

2 徐宗標(biāo);;存儲(chǔ)系統(tǒng)數(shù)據(jù)遷移方案分析[J];電信技術(shù);2014年01期

3 葉晨;張延園;;一種海量存儲(chǔ)系統(tǒng)二級(jí)緩存的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)與現(xiàn)代化;2013年12期

4 聶瑞華;張科倫;梁軍;;一種改進(jìn)的云存儲(chǔ)系統(tǒng)容錯(cuò)機(jī)制[J];計(jì)算機(jī)應(yīng)用研究;2013年12期

5 劉建亮;張永樂(lè);楊琳;郭明陽(yáng);劉振軍;許魯;;SAC:Exploiting Stable Set Model to Enhance CacheFiles[J];Journal of Computer Science & Technology;2014年02期

6 程煜;李小勇;董曉明;焦圣品;;分布式存儲(chǔ)系統(tǒng)中高并發(fā)客戶(hù)端的設(shè)計(jì)與實(shí)現(xiàn)[J];小型微型計(jì)算機(jī)系統(tǒng);2014年01期

相關(guān)博士學(xué)位論文 前2條

1 馬琳;面向移動(dòng)互聯(lián)網(wǎng)的開(kāi)放服務(wù)技術(shù)架構(gòu)及若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

2 伍江江;面向服務(wù)應(yīng)急響應(yīng)的數(shù)據(jù)保護(hù)關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 李文生;移動(dòng)數(shù)據(jù)庫(kù)事務(wù)處理模型的研究[D];重慶大學(xué);2013年

2 陳席林;分布式持久化緩存系統(tǒng)的研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

3 李光瑞;Map/Reduce型海量數(shù)據(jù)處理平臺(tái)中的內(nèi)存級(jí)數(shù)據(jù)緩存技術(shù)研究[D];北京工業(yè)大學(xué);2013年

4 張永勝;面向代理服務(wù)的分布式文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2012年

5 肖桐;應(yīng)用于海量數(shù)據(jù)處理分析的云計(jì)算平臺(tái)搭建研究[D];天津科技大學(xué);2011年

6 杜立林;關(guān)系數(shù)據(jù)庫(kù)中基于語(yǔ)義的緩存技術(shù)研究[D];湖南大學(xué);2012年

7 王瑞;基于分布式存儲(chǔ)的磁盤(pán)鏡像管理系統(tǒng)[D];南京郵電大學(xué);2013年

8 賴(lài)文華;分布式對(duì)象云存儲(chǔ)平臺(tái)設(shè)計(jì)及第三方應(yīng)用開(kāi)發(fā)[D];華南理工大學(xué);2013年

9 張文敬;動(dòng)態(tài)最優(yōu)路徑機(jī)制在網(wǎng)絡(luò)存儲(chǔ)中的應(yīng)用[D];西安建筑科技大學(xué);2013年

10 楊麗麗;云存儲(chǔ)網(wǎng)關(guān)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

本文編號(hào)：1632271