本文關(guān)鍵詞：面向海量NetFlow數(shù)據(jù)的存儲(chǔ)和查詢處理方法研究

  更多相關(guān)文章： NetFlow 多維屬性聚簇存儲(chǔ)(MACS)模型 實(shí)時(shí)數(shù)據(jù)存儲(chǔ) 超多面體

【摘要】：針對全國骨干網(wǎng)高速海量Net Flow數(shù)據(jù)到來速度快、數(shù)據(jù)量大以及對所存數(shù)據(jù)進(jìn)行頻繁多維查詢操作的特點(diǎn),提出了一種多維屬性聚簇存儲(chǔ)(MACS)模型。該模型根據(jù)實(shí)際應(yīng)用環(huán)境中查詢的特點(diǎn)對數(shù)據(jù)進(jìn)行空間分片,以并行加流水的方式對數(shù)據(jù)進(jìn)行存儲(chǔ)。此外,為Net Flow提出了一種超多面體的查詢模式。真實(shí)環(huán)境實(shí)驗(yàn)結(jié)果表明,運(yùn)用MACS模型實(shí)現(xiàn)的系統(tǒng)單點(diǎn)數(shù)據(jù)實(shí)時(shí)存儲(chǔ)速度達(dá)到270萬條/s,遠(yuǎn)遠(yuǎn)快于其他的數(shù)據(jù)分析系統(tǒng),并且多維屬性查詢的速度優(yōu)于Hive和Impala。
【作者單位】： 中國科學(xué)院計(jì)算技術(shù)研究所計(jì)算機(jī)應(yīng)用研究中心;中國科學(xué)院大學(xué);中國科學(xué)院信息工程研究所;中國信息安全測評中心;
【關(guān)鍵詞】： NetFlow 多維屬性聚簇存儲(chǔ)(MACS)模型 實(shí)時(shí)數(shù)據(jù)存儲(chǔ) 超多面體
【基金】：國家科技支撐計(jì)劃(2012BAH46B03) 國家自然科學(xué)基金(61402473) 核高基(2013ZX01039-002-001-001) 中國科學(xué)院先導(dǎo)專項(xiàng)(XDA06030200)資助項(xiàng)目
【分類號】：TP393.04
【正文快照】： 0引言伴隨著信息技術(shù)和網(wǎng)絡(luò)的快速發(fā)展,網(wǎng)絡(luò)安全形勢日益嚴(yán)峻[1,2]。Net Flow[3]作為收集和監(jiān)控網(wǎng)絡(luò)流數(shù)據(jù)的一種網(wǎng)絡(luò)協(xié)議,被廣泛用于網(wǎng)絡(luò)流量統(tǒng)計(jì)、拒絕服務(wù)監(jiān)控、入侵檢測等方面[4-7],具有很高的應(yīng)用價(jià)值和實(shí)際意義。目前,國內(nèi)外在Net Flow數(shù)據(jù)的存儲(chǔ)和分析方面的工作主要面，

本文編號：584390