本文關(guān)鍵詞： Spark Streaming框架 分布式流處理 網(wǎng)絡(luò)數(shù)據(jù)分析 分布式拒絕服務(wù)攻擊　出處：《計(jì)算機(jī)應(yīng)用》2017年05期 　論文類型：期刊論文

【摘要】：為了實(shí)現(xiàn)對(duì)實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流的快速分析,設(shè)計(jì)一種分布式實(shí)時(shí)數(shù)據(jù)流分析系統(tǒng)(DRDAS),能有效解決并發(fā)訪問數(shù)據(jù)流的收集、存儲(chǔ)和實(shí)時(shí)分析問題,為大數(shù)據(jù)環(huán)境的網(wǎng)絡(luò)安全檢測(cè)提供了一種有效的數(shù)據(jù)分析平臺(tái);根據(jù)Spark Streaming運(yùn)行的原理設(shè)計(jì)一種動(dòng)態(tài)采樣的K-Means并行算法,與DRDAS結(jié)合能實(shí)時(shí)有效地檢測(cè)大數(shù)據(jù)環(huán)境下的各種分布式拒絕服務(wù)(DDo S)攻擊。實(shí)驗(yàn)結(jié)果顯示:DRDAS具有好的可擴(kuò)展性、容錯(cuò)性和實(shí)時(shí)處理能力,與動(dòng)態(tài)采樣的K-Means并行算法結(jié)合能實(shí)時(shí)地檢測(cè)各種DDo S攻擊,縮短了攻擊的檢測(cè)時(shí)間。
[Abstract]:In order to realize the fast analysis of real time network data flow, a distributed real time data stream analysis system is designed, which can effectively solve the collection, storage and real time analysis of concurrent access data streams. It provides an effective data analysis platform for network security detection in big data environment. According to the principle of Spark Streaming running, a dynamic sampling K-Means parallel algorithm is designed. In combination with DRDAS, we can detect various distributed denial of service (DDoS) attacks in big data environment in real time and effectively. The experimental results show that the distributed denial of Service (DDoS) attacks in big data environment are extensible. Fault tolerance and real-time processing ability, combined with dynamic sampling K-Means parallel algorithm, can detect all kinds of DDo S attacks in real time, and shorten the detection time.
【作者單位】： 上海海事大學(xué)信息工程學(xué)院;鄭州大學(xué)信息工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61373028,61672338)~~
【分類號(hào)】：TP311.13
【正文快照】： 0引言隨著互聯(lián)網(wǎng)的高速發(fā)展,普通用戶帶寬普遍升級(jí),尤其是在一些大城市,家庭用戶的帶寬都已經(jīng)達(dá)到20 MB/s,甚至更高。此外,隨著3G網(wǎng)絡(luò)的普及,以及4G網(wǎng)絡(luò)的逐步推廣,移動(dòng)互聯(lián)網(wǎng)也進(jìn)入了一個(gè)蓬勃發(fā)展的時(shí)期。個(gè)人網(wǎng)絡(luò)帶寬的快速增長(zhǎng)和不斷增加的網(wǎng)絡(luò)用戶,對(duì)企業(yè)網(wǎng)絡(luò)安全帶來了巨

【相似文獻(xiàn)】

相關(guān)期刊論文 前8條

1 ERiC;;Streaming Audio Player小巧易用[J];軟件;2001年10期

2 Luigi Atzori;Alessandro Floris;Giaime Ginesu;Daniele D. Giusto;;Estimating Reduced-Reference Video Quality for Quality-Based Streaming Video[J];ZTE Communications;2013年01期

3 王志剛;周南;高慶;;Darwin Streaming server的研究與應(yīng)用[J];電腦知識(shí)與技術(shù);2008年35期

4 ;Microsoft輕倚兩“欄”[J];每周電腦報(bào);1997年28期

5 林藝;謝偉凱;魯晨平;張智強(qiáng);申瑞民;;支持混合演示場(chǎng)景的移動(dòng)學(xué)習(xí)直播系統(tǒng)[J];計(jì)算機(jī)工程與應(yīng)用;2012年34期

6 李光耀;唐繼勇;;基于Darwin Streaming Server TS流推送模塊的設(shè)計(jì)[J];硅谷;2011年16期

7 胡學(xué)鋼;李培培;吳信東;吳共慶;;A Semi-Random Multiple Decision-Tree Algorithm for Mining Data Streams[J];Journal of Computer Science & Technology;2007年05期

8 ;[J];;年期

相關(guān)會(huì)議論文 前2條

1 Li-fang Zhao;;Streaming Media Technology in the Digital Library Information Transmission[A];proceedings of 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010 no.2)[C];2012年

2 Xiuli Yuan;Guangfeng Guo;;Exploration on the Design and Development of Micro Mobile Learning Resources[A];2013教育技術(shù)與信息系統(tǒng)國(guó)際會(huì)議論文集[C];2013年

相關(guān)碩士學(xué)位論文 前2條

1 Fredrik Rosenqvist;基于Web的流平臺(tái)服務(wù)器端的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

2 寧永恒;基于Spark的若干數(shù)據(jù)挖掘技術(shù)研究[D];中國(guó)計(jì)量學(xué)院;2015年

，

本文編號(hào)：1473733