隨著大數(shù)據(jù)及網(wǎng)絡(luò)處理技術(shù)的日臻完善,云計(jì)算已經(jīng)成為互聯(lián)網(wǎng)時(shí)代軟硬件部署的首選架構(gòu)。同時(shí),針對(duì)有低延遲要求的流式數(shù)據(jù)處理場(chǎng)景以及受限的網(wǎng)絡(luò)帶寬資源現(xiàn)狀,邊緣計(jì)算模型已成為云計(jì)算模型的有益補(bǔ)充。本文提出一種基于多核網(wǎng)絡(luò)處理器的邊緣數(shù)據(jù)采集分析節(jié)點(diǎn)架構(gòu),通過(guò)在多核系統(tǒng)上部署異構(gòu)操作系統(tǒng),實(shí)現(xiàn)高效的數(shù)據(jù)采集與靈活的數(shù)據(jù)分析算法的部署。分別設(shè)計(jì)了數(shù)據(jù)采集單元、數(shù)據(jù)分析單元,并通過(guò)多核并行設(shè)計(jì)、基于親和性的數(shù)據(jù)包調(diào)度、流式封裝結(jié)構(gòu)及聚合日志發(fā)送等優(yōu)化策略,提升了系統(tǒng)的處理性能。實(shí)驗(yàn)結(jié)果表明,所提邊緣數(shù)據(jù)采集分析節(jié)點(diǎn)架構(gòu)能夠滿(mǎn)足高速網(wǎng)絡(luò)數(shù)據(jù)實(shí)時(shí)采集與分析的性能需求。 

【文章來(lái)源】：網(wǎng)絡(luò)新媒體技術(shù). 2020,9(02)

【文章頁(yè)數(shù)】：6 頁(yè)

【部分圖文】：

云計(jì)算模式下的數(shù)據(jù)采集分析分離架構(gòu)

圖1 云計(jì)算模式下的數(shù)據(jù)采集分析分離架構(gòu)采集單元Sensor需要完成高速的數(shù)據(jù)包處理功能,因此架構(gòu)在實(shí)時(shí)操作系統(tǒng)上,相對(duì)于Linux操作系統(tǒng),實(shí)時(shí)操作系統(tǒng)能夠充分發(fā)揮多核網(wǎng)絡(luò)處理器的協(xié)處理器優(yōu)勢(shì),同時(shí)減少內(nèi)核態(tài)與用戶(hù)態(tài)切換導(dǎo)致的上下文切換開(kāi)銷(xiāo)和內(nèi)存拷貝開(kāi)銷(xiāo)。相對(duì)于采集單元,分析單元Digger則需要對(duì)網(wǎng)絡(luò)流量日志進(jìn)行智能化、自動(dòng)化的內(nèi)容分析。Linux操作系統(tǒng)上可以更迅速地部署和優(yōu)化流式數(shù)據(jù)挖掘算法,如異常檢測(cè)、聚類(lèi)分析、關(guān)聯(lián)分析等,而不需要耗費(fèi)過(guò)多時(shí)間移植適用于實(shí)時(shí)系統(tǒng)的相關(guān)算法。

由于實(shí)時(shí)操作系統(tǒng)與Linux操作系統(tǒng)分別運(yùn)行在多核網(wǎng)絡(luò)處理器的不同核心上,本文采用核心間的消息傳遞機(jī)制在采集單元與分析單元之間傳輸日志數(shù)據(jù)。1.3 分析單元內(nèi)部結(jié)構(gòu)


本文編號(hào)：3123747