面向低延遲分布式塊存儲(chǔ)的用戶態(tài)通信框架研究
發(fā)布時(shí)間:2020-12-31 19:19
分布式塊存儲(chǔ)系統(tǒng)在大數(shù)據(jù)與高性能計(jì)算中占據(jù)了重要地位。網(wǎng)絡(luò)與存儲(chǔ)技術(shù)的快速發(fā)展使得分布式塊存儲(chǔ)系統(tǒng)能夠提供極低的訪問(wèn)延遲。當(dāng)網(wǎng)絡(luò)與存儲(chǔ)設(shè)備的延遲達(dá)到微秒級(jí)時(shí),系統(tǒng)層級(jí)設(shè)計(jì)、內(nèi)核線程調(diào)度與跨態(tài)設(shè)備訪問(wèn)等軟件棧開銷成為整體訪問(wèn)開銷中不可忽視的一部分。為獲得更低的訪問(wèn)延遲與更高的吞吐率,針對(duì)低延遲分布式塊存儲(chǔ)系統(tǒng)提出了一個(gè)輕量級(jí)遠(yuǎn)程過(guò)程調(diào)用(Remote Procedure Call,RPC)框架——uRPC。uRPC基于遠(yuǎn)程內(nèi)存直接訪問(wèn)(Remote Direct Memory Access,RDMA)技術(shù)進(jìn)行通信,并采用輪詢驅(qū)動(dòng)線程模型避免內(nèi)核線程調(diào)度開銷。針對(duì)輪詢驅(qū)動(dòng)線程模型的特性,提出了基于全局連接池的連接管理方案,實(shí)現(xiàn)了連接在CPU核間的負(fù)載均衡與公平調(diào)度;提出了基于CPU核分區(qū)的RDMA內(nèi)存池方案,降低RDMA內(nèi)存的分配開銷。針對(duì)RDMA小數(shù)據(jù)塊傳輸?shù)南拗?提出了消息聚合方案,提高uRPC的吞吐率。面向分布式塊存儲(chǔ)的數(shù)據(jù)平面,提出了基于RDMA立即數(shù)語(yǔ)義的RPC通信模型優(yōu)化方案,降低訪問(wèn)延遲并提高吞吐率。測(cè)試結(jié)果表明,uRPC請(qǐng)求的響應(yīng)延遲低至5微秒,單服務(wù)器的吞吐率能夠達(dá)到每秒...
【文章來(lái)源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:64 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 課題背景
1.2 相關(guān)研究概況
1.3 本文研究的主要內(nèi)容
1.4 論文結(jié)構(gòu)
2 低延遲分布式塊存儲(chǔ)系統(tǒng)分析
2.1 分布式塊存儲(chǔ)系統(tǒng)整體架構(gòu)
2.2 低延遲的全用戶態(tài)框架分析
2.3 用戶態(tài)通信模型分析
2.4 本章小結(jié)
3 基于輪詢驅(qū)動(dòng)線程模型的RPC框架設(shè)計(jì)
3.1 線程模型與RPC框架分析
3.2 uRPC框架整體設(shè)計(jì)
3.3 基于全局連接池的連接管理
3.4 基于CPU核分區(qū)的內(nèi)存管理
3.5 本章小結(jié)
4 基于RDMA特性的傳輸優(yōu)化
4.1 面向小數(shù)據(jù)請(qǐng)求的消息聚合方案
4.2 面向分布式存儲(chǔ)的數(shù)據(jù)傳輸優(yōu)化
4.3 本章小結(jié)
5 uRPC框架性能評(píng)估
5.1 測(cè)試環(huán)境
5.2 基準(zhǔn)測(cè)試
5.3 uRPC框架性能測(cè)試
5.4 連接管理方案的多核間負(fù)載均衡
5.5 消息聚合評(píng)估
5.6 uRPC數(shù)據(jù)傳輸性能評(píng)估
5.7 本章小結(jié)
6 總結(jié)及展望
6.1 全文總結(jié)
6.2 工作展望
致謝
參考文獻(xiàn)
附錄 攻讀碩士學(xué)位期間參加的主要科研項(xiàng)目
【參考文獻(xiàn)】:
期刊論文
[1]基于RDMA的分布式存儲(chǔ)系統(tǒng)研究綜述[J]. 陳游旻,陸游游,羅圣美,舒繼武. 計(jì)算機(jī)研究與發(fā)展. 2019(02)
[2]基于RDMA高速網(wǎng)絡(luò)的高性能分布式系統(tǒng)[J]. 魏星達(dá),陳榕,陳海波. 大數(shù)據(jù). 2018(04)
[3]面向虛擬機(jī)的分布式塊存儲(chǔ)系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[J]. 賈博文,張文軍,李小勇. 微型電腦應(yīng)用. 2015(03)
[4]基于InfiniBand的RPC優(yōu)化[J]. 明亮,馮丹,王芳,陳碧硯. 計(jì)算機(jī)工程與科學(xué). 2013(07)
[5]用戶態(tài)RPC協(xié)議分析及其多線程優(yōu)化[J]. 周俊,王芳,李陽(yáng),明亮,萬(wàn)勇. 計(jì)算機(jī)研究與發(fā)展. 2012(S1)
碩士論文
[1]用戶態(tài)RPC over RDMA優(yōu)化技術(shù)的研究與實(shí)現(xiàn)[D]. 楊恒.華中科技大學(xué) 2016
[2]基于RDMA跨態(tài)通信協(xié)議的研究與實(shí)現(xiàn)[D]. 李亮.華中科技大學(xué) 2016
[3]Ceph分布式文件系統(tǒng)的研究及性能測(cè)試[D]. 李翔.西安電子科技大學(xué) 2014
本文編號(hào):2950167
【文章來(lái)源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:64 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 課題背景
1.2 相關(guān)研究概況
1.3 本文研究的主要內(nèi)容
1.4 論文結(jié)構(gòu)
2 低延遲分布式塊存儲(chǔ)系統(tǒng)分析
2.1 分布式塊存儲(chǔ)系統(tǒng)整體架構(gòu)
2.2 低延遲的全用戶態(tài)框架分析
2.3 用戶態(tài)通信模型分析
2.4 本章小結(jié)
3 基于輪詢驅(qū)動(dòng)線程模型的RPC框架設(shè)計(jì)
3.1 線程模型與RPC框架分析
3.2 uRPC框架整體設(shè)計(jì)
3.3 基于全局連接池的連接管理
3.4 基于CPU核分區(qū)的內(nèi)存管理
3.5 本章小結(jié)
4 基于RDMA特性的傳輸優(yōu)化
4.1 面向小數(shù)據(jù)請(qǐng)求的消息聚合方案
4.2 面向分布式存儲(chǔ)的數(shù)據(jù)傳輸優(yōu)化
4.3 本章小結(jié)
5 uRPC框架性能評(píng)估
5.1 測(cè)試環(huán)境
5.2 基準(zhǔn)測(cè)試
5.3 uRPC框架性能測(cè)試
5.4 連接管理方案的多核間負(fù)載均衡
5.5 消息聚合評(píng)估
5.6 uRPC數(shù)據(jù)傳輸性能評(píng)估
5.7 本章小結(jié)
6 總結(jié)及展望
6.1 全文總結(jié)
6.2 工作展望
致謝
參考文獻(xiàn)
附錄 攻讀碩士學(xué)位期間參加的主要科研項(xiàng)目
【參考文獻(xiàn)】:
期刊論文
[1]基于RDMA的分布式存儲(chǔ)系統(tǒng)研究綜述[J]. 陳游旻,陸游游,羅圣美,舒繼武. 計(jì)算機(jī)研究與發(fā)展. 2019(02)
[2]基于RDMA高速網(wǎng)絡(luò)的高性能分布式系統(tǒng)[J]. 魏星達(dá),陳榕,陳海波. 大數(shù)據(jù). 2018(04)
[3]面向虛擬機(jī)的分布式塊存儲(chǔ)系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[J]. 賈博文,張文軍,李小勇. 微型電腦應(yīng)用. 2015(03)
[4]基于InfiniBand的RPC優(yōu)化[J]. 明亮,馮丹,王芳,陳碧硯. 計(jì)算機(jī)工程與科學(xué). 2013(07)
[5]用戶態(tài)RPC協(xié)議分析及其多線程優(yōu)化[J]. 周俊,王芳,李陽(yáng),明亮,萬(wàn)勇. 計(jì)算機(jī)研究與發(fā)展. 2012(S1)
碩士論文
[1]用戶態(tài)RPC over RDMA優(yōu)化技術(shù)的研究與實(shí)現(xiàn)[D]. 楊恒.華中科技大學(xué) 2016
[2]基于RDMA跨態(tài)通信協(xié)議的研究與實(shí)現(xiàn)[D]. 李亮.華中科技大學(xué) 2016
[3]Ceph分布式文件系統(tǒng)的研究及性能測(cè)試[D]. 李翔.西安電子科技大學(xué) 2014
本文編號(hào):2950167
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2950167.html
最近更新
教材專著