發(fā)布時(shí)間：2021-07-05 13:41

　　隨著對(duì)大數(shù)據(jù)與人工智能等新型技術(shù)領(lǐng)域的研究,使得互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)中心服務(wù)規(guī)模呈現(xiàn)激增的趨勢(shì)。在當(dāng)下的高速網(wǎng)絡(luò)環(huán)境下,為網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)和分析帶來(lái)了新的問(wèn)題。從數(shù)據(jù)存儲(chǔ)方式角度出發(fā),隨著云網(wǎng)絡(luò)的逐步普及化,使得關(guān)系型數(shù)據(jù)庫(kù)在處理速率上無(wú)法與數(shù)據(jù)接收速率保持一致,導(dǎo)致程序在執(zhí)行過(guò)程中出現(xiàn)數(shù)據(jù)丟失現(xiàn)象。從存儲(chǔ)配置角度出發(fā),大型數(shù)據(jù)存儲(chǔ)運(yùn)行前都需要進(jìn)行大量參數(shù)配置,而且采用人工配置或默認(rèn)配置會(huì)使得性能無(wú)法適應(yīng)環(huán)境變化,導(dǎo)致數(shù)據(jù)庫(kù)無(wú)法發(fā)揮正常存儲(chǔ)水平。本文針對(duì)于DPDK（Data Plane Development Kit）環(huán)境下高速網(wǎng)絡(luò)存儲(chǔ)優(yōu)化研究,主要做了以下三個(gè)方面的工作:首先,針對(duì)基于DPDK下內(nèi)存數(shù)據(jù)庫(kù)存儲(chǔ)所存在的速率不一致問(wèn)題,提出基于管道的多批次并行存儲(chǔ)優(yōu)化方法,在底層DPDK的支撐下實(shí)現(xiàn)高速網(wǎng)絡(luò)數(shù)據(jù)的緩存操作。該方法實(shí)現(xiàn)通過(guò)利用接收端擴(kuò)展技術(shù)與數(shù)據(jù)分發(fā)技術(shù)實(shí)現(xiàn)數(shù)據(jù)的預(yù)處理,將當(dāng)下單隊(duì)列單CPU執(zhí)行轉(zhuǎn)變?yōu)槎嚓?duì)列多CPU運(yùn)行。并且綜合考慮數(shù)據(jù)存儲(chǔ)過(guò)程中,數(shù)據(jù)接收和數(shù)據(jù)存儲(chǔ)批次大小的差異問(wèn)題,再將DPDK的突發(fā)接收與Redis的Pipeline結(jié)合,減少數(shù)據(jù)存儲(chǔ)過(guò)程中處理量差異,提升網(wǎng)絡(luò)數(shù)... 

【文章來(lái)源】：南京郵電大學(xué)江蘇省

【文章頁(yè)數(shù)】：80 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

批次處理延遲對(duì)比

南京郵電大學(xué)專(zhuān)業(yè)學(xué)位碩士研究生學(xué)位論文第三章基于管道的多批次并行數(shù)據(jù)存儲(chǔ)優(yōu)化31圖3.11不同數(shù)據(jù)包大小下I/O吞吐量性能對(duì)比在網(wǎng)絡(luò)通信中在大規(guī)模流量下單個(gè)數(shù)據(jù)包大小會(huì)直接影響吞吐量高低，通過(guò)圖示3.11可以看出Single-Batch在小包下吞吐量相對(duì)較低，Smart-Batch由于需要?jiǎng)討B(tài)進(jìn)行調(diào)節(jié)所以需要一定的I/O成本，三者在數(shù)據(jù)包大小為512bytes后吞吐量差距較小且都保持在10Mpps以上，而Mp-Batch在64bytes和1024bytes都能保持吞吐量9.7Mpps以上，體現(xiàn)出對(duì)于Mp-Batch算法進(jìn)行存儲(chǔ)的優(yōu)越性。圖3.12Batch對(duì)存儲(chǔ)性能影響

南京郵電大學(xué)專(zhuān)業(yè)學(xué)位碩士研究生學(xué)位論文第三章基于管道的多批次并行數(shù)據(jù)存儲(chǔ)優(yōu)化31圖3.11不同數(shù)據(jù)包大小下I/O吞吐量性能對(duì)比在網(wǎng)絡(luò)通信中在大規(guī)模流量下單個(gè)數(shù)據(jù)包大小會(huì)直接影響吞吐量高低，通過(guò)圖示3.11可以看出Single-Batch在小包下吞吐量相對(duì)較低，Smart-Batch由于需要?jiǎng)討B(tài)進(jìn)行調(diào)節(jié)所以需要一定的I/O成本，三者在數(shù)據(jù)包大小為512bytes后吞吐量差距較小且都保持在10Mpps以上，而Mp-Batch在64bytes和1024bytes都能保持吞吐量9.7Mpps以上，體現(xiàn)出對(duì)于Mp-Batch算法進(jìn)行存儲(chǔ)的優(yōu)越性。圖3.12Batch對(duì)存儲(chǔ)性能影響

【參考文獻(xiàn)】：
期刊論文
[1]基于強(qiáng)化學(xué)習(xí)的Lustre文件系統(tǒng)的性能調(diào)優(yōu)[J]. 張文韜,汪璐,程耀東.  計(jì)算機(jī)研究與發(fā)展. 2019(07)
[2]基于PF＿RING的高速網(wǎng)絡(luò)數(shù)據(jù)捕獲方法[J]. 吳克河,王冬冬.  計(jì)算機(jī)與數(shù)字工程. 2019(03)
[3]An SDN/NFV Based Framework for Management and Deployment of Service Based 5G Core Network[J]. Lu Ma,Xiangming Wen,Luhan Wang,Zhaoming Lu,Raymond Knopp.  中國(guó)通信. 2018(10)
[4]一種云存儲(chǔ)環(huán)境下的資源調(diào)度改進(jìn)算法[J]. 徐建鵬,李欣,趙曉凡.  計(jì)算機(jī)應(yīng)用研究. 2019(07)
[5]基于OpenStack的云計(jì)算網(wǎng)絡(luò)性能測(cè)量與分析[J]. 王小艷,陳興蜀,王毅桐,葛龍.  山東大學(xué)學(xué)報(bào)(理學(xué)版). 2018(01)
[6]基于Zabbix的網(wǎng)絡(luò)監(jiān)控系統(tǒng)[J]. 趙哲,譚海波,趙赫,王衛(wèi)東,李曉風(fēng).  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(01)

博士論文
[1]非關(guān)系型數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)性能優(yōu)化研究與實(shí)現(xiàn)[D]. 鮑先強(qiáng).國(guó)防科學(xué)技術(shù)大學(xué) 2016

碩士論文
[1]基于內(nèi)存數(shù)據(jù)庫(kù)Redis的眾包系統(tǒng)性能優(yōu)化[D]. 李詩(shī)云.浙江大學(xué) 2016
[2]高可用可擴(kuò)展集群化Redis設(shè)計(jì)與實(shí)現(xiàn)[D]. 閆明.西安電子科技大學(xué) 2014



本文編號(hào)：3266174