本文關鍵詞： Spark Streaming框架 分布式流處理 網絡數據分析 分布式拒絕服務攻擊　出處：《計算機應用》2017年05期 　論文類型：期刊論文

【摘要】：為了實現(xiàn)對實時網絡數據流的快速分析,設計一種分布式實時數據流分析系統(tǒng)(DRDAS),能有效解決并發(fā)訪問數據流的收集、存儲和實時分析問題,為大數據環(huán)境的網絡安全檢測提供了一種有效的數據分析平臺;根據Spark Streaming運行的原理設計一種動態(tài)采樣的K-Means并行算法,與DRDAS結合能實時有效地檢測大數據環(huán)境下的各種分布式拒絕服務(DDo S)攻擊。實驗結果顯示:DRDAS具有好的可擴展性、容錯性和實時處理能力,與動態(tài)采樣的K-Means并行算法結合能實時地檢測各種DDo S攻擊,縮短了攻擊的檢測時間。
[Abstract]:In order to realize the fast analysis of real time network data flow, a distributed real time data stream analysis system is designed, which can effectively solve the collection, storage and real time analysis of concurrent access data streams. It provides an effective data analysis platform for network security detection in big data environment. According to the principle of Spark Streaming running, a dynamic sampling K-Means parallel algorithm is designed. In combination with DRDAS, we can detect various distributed denial of service (DDoS) attacks in big data environment in real time and effectively. The experimental results show that the distributed denial of Service (DDoS) attacks in big data environment are extensible. Fault tolerance and real-time processing ability, combined with dynamic sampling K-Means parallel algorithm, can detect all kinds of DDo S attacks in real time, and shorten the detection time.
【作者單位】： 上海海事大學信息工程學院;鄭州大學信息工程學院;
【基金】：國家自然科學基金資助項目(61373028,61672338)~~
【分類號】：TP311.13
【正文快照】： 0引言隨著互聯(lián)網的高速發(fā)展,普通用戶帶寬普遍升級,尤其是在一些大城市,家庭用戶的帶寬都已經達到20 MB/s,甚至更高。此外,隨著3G網絡的普及,以及4G網絡的逐步推廣,移動互聯(lián)網也進入了一個蓬勃發(fā)展的時期。個人網絡帶寬的快速增長和不斷增加的網絡用戶,對企業(yè)網絡安全帶來了巨

【相似文獻】

相關期刊論文 前8條

1 ERiC;;Streaming Audio Player小巧易用[J];軟件;2001年10期

2 Luigi Atzori;Alessandro Floris;Giaime Ginesu;Daniele D. Giusto;;Estimating Reduced-Reference Video Quality for Quality-Based Streaming Video[J];ZTE Communications;2013年01期

3 王志剛;周南;高慶;;Darwin Streaming server的研究與應用[J];電腦知識與技術;2008年35期

4 ;Microsoft輕倚兩“欄”[J];每周電腦報;1997年28期

5 林藝;謝偉凱;魯晨平;張智強;申瑞民;;支持混合演示場景的移動學習直播系統(tǒng)[J];計算機工程與應用;2012年34期

6 李光耀;唐繼勇;;基于Darwin Streaming Server TS流推送模塊的設計[J];硅谷;2011年16期

7 胡學鋼;李培培;吳信東;吳共慶;;A Semi-Random Multiple Decision-Tree Algorithm for Mining Data Streams[J];Journal of Computer Science & Technology;2007年05期

8 ;[J];;年期

相關會議論文 前2條

1 Li-fang Zhao;;Streaming Media Technology in the Digital Library Information Transmission[A];proceedings of 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010 no.2)[C];2012年

2 Xiuli Yuan;Guangfeng Guo;;Exploration on the Design and Development of Micro Mobile Learning Resources[A];2013教育技術與信息系統(tǒng)國際會議論文集[C];2013年

相關碩士學位論文 前2條

1 Fredrik Rosenqvist;基于Web的流平臺服務器端的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

2 寧永恒;基于Spark的若干數據挖掘技術研究[D];中國計量學院;2015年

，

本文編號：1473733