發(fā)布時(shí)間：2020-05-13 01:36

【摘要】：隨著大數(shù)據(jù)應(yīng)用對內(nèi)存的需求越來越大,分布式內(nèi)存共享技術(shù)可以有效地解決單機(jī)內(nèi)存擴(kuò)展性不足的問題。新型非易失性存儲器具有字節(jié)可尋址、無待機(jī)功耗、存儲密度大、可擴(kuò)展性強(qiáng)等特征,為大規(guī)模分布式內(nèi)存共享系統(tǒng)提供了新的機(jī)遇。然而,相比于傳統(tǒng)DRAM設(shè)備,新型非易失性存儲器仍然存在一些缺陷,如讀寫時(shí)延長、寫功耗大、寫次數(shù)有限等,因此,構(gòu)建新型的分布式異構(gòu)內(nèi)存共享系統(tǒng)還需要克服非易失性存儲器在讀寫時(shí)延不對稱、寫壽命有限等一系列挑戰(zhàn)性問題。面向異構(gòu)內(nèi)存池的RDMA傳輸優(yōu)化系統(tǒng)(DHMP)允許應(yīng)用程序通過客戶端/服務(wù)器架構(gòu)訪問全局內(nèi)存空間中的DRAM與NVM資源。為了高效地進(jìn)行遠(yuǎn)程N(yùn)VM數(shù)據(jù)訪問,DHMP系統(tǒng)提出了基于數(shù)據(jù)熱度的DRAM緩存機(jī)制,該機(jī)制將非易失性內(nèi)存中頻繁訪問的數(shù)據(jù)緩存在動態(tài)隨機(jī)訪問存儲器中。針對由RDMA讀寫操作導(dǎo)致服務(wù)器無法感知數(shù)據(jù)熱度的問題,DHMP系統(tǒng)通過客戶端與服務(wù)器協(xié)作的方式,經(jīng)由客戶端識別遠(yuǎn)端數(shù)據(jù)的訪問頻度,定期將數(shù)據(jù)熱度信息告知服務(wù)器,由服務(wù)器進(jìn)行數(shù)據(jù)的緩存操作。此外,在RDMA通信過程中,DHMP系統(tǒng)通過RDMA傳輸優(yōu)化機(jī)制優(yōu)化小粒度對象的遠(yuǎn)程數(shù)據(jù)訪問,改善系統(tǒng)性能。實(shí)驗(yàn)數(shù)據(jù)表明,相比于Octopus系統(tǒng),基于DHMP構(gòu)建的文件系統(tǒng)在遠(yuǎn)程讀寫方面的性能提升了86.5%。相比于不采用策略的異構(gòu)內(nèi)存池系統(tǒng),DHMP在服務(wù)器內(nèi)存不同壓力情況下均表現(xiàn)出很大的優(yōu)勢,遠(yuǎn)程讀寫性能平均提升40.4%。此外,DHMP系統(tǒng)通過DRAM緩存優(yōu)化技術(shù)減少對非易失存儲器的寫次數(shù)提高系統(tǒng)壽命。
【圖文】：

圖4.1 DHMP服務(wù)器空閑DRAM資源充足且對象訪問為均勻分布的性能測試如圖4.1所示，在DHMP服務(wù)器空閑DRAM資源充足且對象訪問模型為均勻訪情況下，DHMP-RDMA（僅采用RDMA傳輸優(yōu)化機(jī)制的DHMP系統(tǒng)）在所有微基試中實(shí)現(xiàn)了9.8％-50.4％的性能提升，隨著對象粒度的增大，RDMA傳輸優(yōu)化機(jī)來的性能收益呈現(xiàn)下降的趨勢，因?yàn)閮?nèi)存拷貝的開銷隨著對象粒度的增大而增MP系統(tǒng)在所有微基準(zhǔn)測試中實(shí)現(xiàn)了27.3%-77.7%的性能提升。

圖4.1 DHMP服務(wù)器空閑DRAM資源充足且對象訪問為均勻分布的性能測試如圖4.1所示，，在DHMP服務(wù)器空閑DRAM資源充足且對象訪問模型為均勻訪情況下，DHMP-RDMA（僅采用RDMA傳輸優(yōu)化機(jī)制的DHMP系統(tǒng)）在所有微基試中實(shí)現(xiàn)了9.8％-50.4％的性能提升，隨著對象粒度的增大，RDMA傳輸優(yōu)化機(jī)來的性能收益呈現(xiàn)下降的趨勢，因?yàn)閮?nèi)存拷貝的開銷隨著對象粒度的增大而增MP系統(tǒng)在所有微基準(zhǔn)測試中實(shí)現(xiàn)了27.3%-77.7%的性能提升。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 翟繼強(qiáng);肖亞軍;楊海陸;王健;;基于內(nèi)存池標(biāo)記快速掃描技術(shù)的Windows內(nèi)核驅(qū)動對象掃描[J];西北工業(yè)大學(xué)學(xué)報(bào);2019年05期

2 劉恒;楊小帆;;供動態(tài)無鎖數(shù)據(jù)結(jié)構(gòu)使用的資源竊取型無鎖內(nèi)存池[J];計(jì)算機(jī)應(yīng)用研究;2012年10期

3 劉曉華;;基于C++的內(nèi)存池的實(shí)現(xiàn)[J];福建電腦;2008年01期

4 安景新;趙昶宇;;VxWorks系統(tǒng)中內(nèi)存池的應(yīng)用[J];科技與創(chuàng)新;2018年19期

5 黃睿;蘇陽;趙英瀟;張?jiān)?;PCIe高速數(shù)據(jù)記錄方案設(shè)計(jì)與軟件實(shí)現(xiàn)[J];電子科技;2018年07期

6 郭丙軒;張京莉;張志超;;基于內(nèi)存池的空間數(shù)據(jù)調(diào)度算法[J];計(jì)算機(jī)工程;2008年06期

7 段宗曜;;應(yīng)用內(nèi)存池Socket池構(gòu)建高性能的IOCP服務(wù)器[J];中國新通信;2019年12期

8 崔偉民;;高性能可復(fù)用網(wǎng)絡(luò)服務(wù)器的設(shè)計(jì)和實(shí)現(xiàn)[J];通信技術(shù);2007年10期

9 鄢濤;于曦;劉永紅;趙衛(wèi)東;余悅;曾誼;;基于C++的高效內(nèi)存池的設(shè)計(jì)與實(shí)現(xiàn)[J];成都大學(xué)學(xué)報(bào)(自然科學(xué)版);2017年03期

10 屠雪真;;一種優(yōu)化的內(nèi)核態(tài)文件發(fā)送方法[J];計(jì)算機(jī)與現(xiàn)代化;2019年05期

相關(guān)重要報(bào)紙文章 前1條

1 佚名;企業(yè)數(shù)據(jù)策略的關(guān)鍵[N];中國信息化周報(bào);2019年

相關(guān)碩士學(xué)位論文 前10條

1 張鑫;面向異構(gòu)內(nèi)存池的RDMA傳輸優(yōu)化機(jī)制[D];華中科技大學(xué);2019年

2 田娜;基于Linux的高性能并行代理系統(tǒng)關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2014年

3 王加樂;內(nèi)存數(shù)據(jù)庫存儲管理設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年

4 郭波;內(nèi)存數(shù)據(jù)庫存儲管理研究[D];華中科技大學(xué);2012年

5 郁晨;一種高性能網(wǎng)絡(luò)爬蟲系統(tǒng)關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2017年

6 田野;基于數(shù)字地形模型的3D地形數(shù)據(jù)顯示系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2008年

7 張榮榮;3G統(tǒng)一平臺的內(nèi)存管理研究[D];西安電子科技大學(xué);2008年

8 仲偉煒;專利文獻(xiàn)分類及關(guān)聯(lián)推薦技術(shù)應(yīng)用研究[D];南京航空航天大學(xué);2009年

9 王慶;面向新型非易失性存儲器的內(nèi)存管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

10 于俊喜;網(wǎng)絡(luò)服務(wù)器中間件的研究[D];河北聯(lián)合大學(xué);2014年

本文編號：2661161