本文關(guān)鍵詞：網(wǎng)絡(luò)空間安全大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 網(wǎng)絡(luò)空間安全 大數(shù)據(jù)技術(shù) 系統(tǒng)架構(gòu) 實(shí)時(shí)計(jì)算 流量監(jiān)控

【摘要】：近些年來,接入設(shè)備的激增、網(wǎng)絡(luò)應(yīng)用的不斷涌現(xiàn)和互聯(lián)網(wǎng)流量的爆發(fā)式增長使得網(wǎng)絡(luò)規(guī)模迅速擴(kuò)大、網(wǎng)絡(luò)環(huán)境日益復(fù)雜,開展網(wǎng)絡(luò)安全分析工作的難度越來越大。與以往相比,網(wǎng)絡(luò)攻擊的隱蔽性更強(qiáng)而且更加難以防范,有針對(duì)性的大規(guī)模惡意網(wǎng)絡(luò)攻擊也愈發(fā)常見,網(wǎng)絡(luò)安全形勢依然不容樂觀。當(dāng)前,網(wǎng)絡(luò)安全分析系統(tǒng)所面臨的挑戰(zhàn)不僅僅來自于攻擊手段和技術(shù)的不斷進(jìn)化,計(jì)算速度以及橫向擴(kuò)展能力已成為制約基于傳統(tǒng)架構(gòu)模式的網(wǎng)絡(luò)安全分析系統(tǒng)向復(fù)雜網(wǎng)絡(luò)環(huán)境遷移的主要瓶頸,海量的數(shù)據(jù)規(guī)模已經(jīng)遠(yuǎn)遠(yuǎn)超過了其處理能力的極限。本文首先從系統(tǒng)架構(gòu)入手,提出了一種以開源大數(shù)據(jù)技術(shù)為依托的網(wǎng)絡(luò)安全實(shí)時(shí)計(jì)算平臺(tái)設(shè)計(jì)方案,該設(shè)計(jì)方案共包含七個(gè)層次,每一層都作為一個(gè)功能實(shí)體向上提供服務(wù)。平臺(tái)架構(gòu)中各層的實(shí)現(xiàn)都依賴于高性能分布式技術(shù),如Storm、Spark、Kafka、Flume等,涵蓋了集群資源管理、分布式協(xié)調(diào)、數(shù)據(jù)持久化存儲(chǔ)、計(jì)算引擎等方面。該架構(gòu)可以同時(shí)提供實(shí)時(shí)計(jì)算、離線處理、圖計(jì)算等多種類型的數(shù)據(jù)處理服務(wù),而且能夠很好地滿足海量數(shù)據(jù)存儲(chǔ)需求。在這種以大數(shù)據(jù)技術(shù)為中心的架構(gòu)模式之上,本文實(shí)現(xiàn)了一個(gè)面向天津教育城域網(wǎng)的實(shí)時(shí)流量監(jiān)控系統(tǒng)。該流量監(jiān)控系統(tǒng)在底層計(jì)算引擎上同時(shí)部署了多項(xiàng)數(shù)據(jù)處理業(yè)務(wù)邏輯,可以實(shí)現(xiàn)對(duì)多種類型DDoS攻擊的預(yù)警與檢測。本文所設(shè)計(jì)的DDoS攻擊檢測算法主要包括指數(shù)加權(quán)移動(dòng)平均算法(EWMA)、異常流量區(qū)間定位算法和攻擊類型判別規(guī)則這三個(gè)部分:EWMA算法按照指數(shù)遞減的方式來為歷史數(shù)值賦予權(quán)重并計(jì)算下一時(shí)刻的預(yù)估值,通過對(duì)比實(shí)際測量值和預(yù)估值就可以判別出網(wǎng)絡(luò)流量的異常波動(dòng);與EWMA的分析結(jié)果相結(jié)合,異常流量區(qū)間定位算法能夠?qū)崿F(xiàn)對(duì)網(wǎng)絡(luò)流量異常時(shí)段的準(zhǔn)確定位;攻擊類型判別算法則為不同類型的DDoS攻擊提供了有針對(duì)性的判別規(guī)則。本文從系統(tǒng)吞吐量、Worker并發(fā)數(shù)、節(jié)點(diǎn)負(fù)載等維度對(duì)系統(tǒng)性能進(jìn)行了深入的分析和討論,而在驗(yàn)證DDo S攻擊檢測有效性的過程中,本文將天津教育城域網(wǎng)Netflow數(shù)據(jù)與綠盟抗DDoS系統(tǒng)(Anti-DDoS System)日志相結(jié)合,通過ADS日志壓縮、數(shù)據(jù)處理、數(shù)據(jù)分析等操作步驟實(shí)現(xiàn)了對(duì)本系統(tǒng)DDoS攻擊事件檢測效果的評(píng)估。最后,本文借助多項(xiàng)網(wǎng)絡(luò)負(fù)載指標(biāo)對(duì)天津教育城域網(wǎng)流量變化情況進(jìn)行了深入分析和探究。
【關(guān)鍵詞】：網(wǎng)絡(luò)空間安全 大數(shù)據(jù)技術(shù) 系統(tǒng)架構(gòu) 實(shí)時(shí)計(jì)算 流量監(jiān)控
【學(xué)位授予單位】：天津理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP393.08;TP311.13
【目錄】：

• 摘要5-6
• Abstract6-9
• 第一章 緒論9-14
• 1.1 研究背景和意義9-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-12
• 1.3 主要研究工作及創(chuàng)新點(diǎn)12-13
• 1.4 文章內(nèi)容組織13-14
• 第二章 相關(guān)技術(shù)與理論14-20
• 2.1 大數(shù)據(jù)14
• 2.2 分布式技術(shù)14-19
• 2.2.1 Apache Spark15-17
• 2.2.2 Apache Storm17
• 2.2.3 Apache Hadoop17-18
• 2.2.4 HBase18
• 2.2.5 Apache Kafka18-19
• 2.3 Netflow19
• 2.4 本章小結(jié)19-20
• 第三章 網(wǎng)絡(luò)安全大數(shù)據(jù)計(jì)算平臺(tái)架構(gòu)20-29
• 3.1 平臺(tái)整體架構(gòu)20-21
• 3.2 集群管理層21-22
• 3.3 數(shù)據(jù)倉庫層22-24
• 3.4 計(jì)算層24-25
• 3.5 數(shù)據(jù)分析層25-26
• 3.6 可視化層26
• 3.7 數(shù)據(jù)處理流程設(shè)計(jì)26-28
• 3.8 本章小結(jié)28-29
• 第四章 大規(guī)模網(wǎng)絡(luò)流量實(shí)時(shí)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)29-44
• 4.1 系統(tǒng)處理流程設(shè)計(jì)29-30
• 4.2 Netflow數(shù)據(jù)實(shí)時(shí)處理30-32
• 4.2.1 網(wǎng)絡(luò)負(fù)載指標(biāo)實(shí)時(shí)計(jì)算模塊31-32
• 4.2.2 Flow還原模塊32
• 4.2.3 原始數(shù)據(jù)持久化模塊32
• 4.3 DDoS攻擊檢測32-39
• 4.3.1 指數(shù)加權(quán)移動(dòng)平均算法32-33
• 4.3.2 流量異常波動(dòng)定位算法的實(shí)現(xiàn)33-35
• 4.3.3 攻擊類型判別規(guī)則35-39
• 4.4 Spark內(nèi)核實(shí)現(xiàn)原理分析39-42
• 4.4.1 Spark邏輯執(zhí)行圖39-40
• 4.4.2 Spark物理執(zhí)行圖40-42
• 4.4.3 Spark作業(yè)執(zhí)行過程42
• 4.5 本章小結(jié)42-44
• 第五章 系統(tǒng)驗(yàn)證44-61
• 5.1 實(shí)驗(yàn)環(huán)境44-48
• 5.1.1 物理集群44
• 5.1.2 集群管理系統(tǒng)44-45
• 5.1.3 數(shù)據(jù)采集與傳輸工具45-46
• 5.1.4 數(shù)據(jù)存儲(chǔ)管理系統(tǒng)46-47
• 5.1.5 大數(shù)據(jù)計(jì)算引擎47-48
• 5.2 Storm集群性能驗(yàn)證48-51
• 5.2.1 系統(tǒng)吞吐量48-49
• 5.2.2 工作節(jié)點(diǎn)個(gè)數(shù)對(duì)系統(tǒng)性能的影響49-51
• 5.3 DDoS攻擊檢測模塊有效性51-60
• 5.3.1 檢測結(jié)果驗(yàn)證方法描述52-56
• 5.3.2 Flow創(chuàng)建速率與DDoS攻擊檢測56-60
• 5.4 本章小結(jié)60-61
• 第六章 總結(jié)與展望61-63
• 6.1 本文主要研究工作總結(jié)61-62
• 6.2 展望62-63
• 參考文獻(xiàn)63-66
• 發(fā)表論文和科研情況說明66-67
• 致謝67-68

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;2013年企業(yè)將大規(guī)模投資大數(shù)據(jù)技術(shù)[J];通訊世界;2013年06期

2 趙姝淳;孫曙輝;;大數(shù)據(jù)技術(shù)及其在教育領(lǐng)域的應(yīng)用[J];中小學(xué)信息技術(shù)教育;2014年03期

3 ;2013中國大數(shù)據(jù)技術(shù)大會(huì)將在京舉辦[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年22期

4 ;2013中國大數(shù)據(jù)技術(shù)大會(huì)圓滿落幕[J];信息網(wǎng)絡(luò)安全;2014年01期

5 梁春麗;;英國政府嘗鮮大數(shù)據(jù)技術(shù)[J];金融科技時(shí)代;2013年06期

6 孫中東;;大數(shù)據(jù)技術(shù)應(yīng)用與銀行信用評(píng)級(jí)體系創(chuàng)新之探[J];金融電子化;2013年11期

7 邱仁宗;黃雯;翟曉梅;;大數(shù)據(jù)技術(shù)的倫理問題[J];科學(xué)與社會(huì);2014年01期

8 劉鵬;;專題:大數(shù)據(jù)技術(shù)與應(yīng)用[J];中興通訊技術(shù);2013年04期

9 劉莉;閻桂蘭;;新一波科技浪潮——大數(shù)據(jù)技術(shù)引領(lǐng)“智慧城市”發(fā)展方向[J];海峽科技與產(chǎn)業(yè);2013年10期

10 秦建秀;;大數(shù)據(jù)一定需要大投入嗎?[J];軟件和信息服務(wù);2012年06期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前5條

1 ;北京京南航天數(shù)據(jù)技術(shù)有限公司[A];第十二屆全國實(shí)驗(yàn)力學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

2 徐子偉;張陳斌;陳宗海;;大數(shù)據(jù)技術(shù)概述[A];系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第15卷）[C];2014年

3 賈麗;嚴(yán)f^雋;李聿淵;尹航;;大數(shù)據(jù)技術(shù)在指揮信息系統(tǒng)中的應(yīng)用研究[A];2014第二屆中國指揮控制大會(huì)論文集（下）[C];2014年

4 李忠;李?yuàn)檴?韓瑩;;地震監(jiān)測大數(shù)據(jù)技術(shù)研究框架[A];大數(shù)據(jù)、云計(jì)算與地球物理應(yīng)用研討活動(dòng)論文摘要集[C];2014年

5 李欣;任越;;數(shù)據(jù)技術(shù)在存量住房批量評(píng)稅中的運(yùn)用[A];中國房地產(chǎn)估價(jià)師與房地產(chǎn)經(jīng)紀(jì)人學(xué)會(huì)2011年年會(huì)論文集[C];2011年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 記者 劉石磊;英國大數(shù)據(jù)技術(shù)應(yīng)用獲突破 瓶頸等問題尚待解決[N];經(jīng)濟(jì)參考報(bào);2013年

2 中國證券投資基金業(yè)協(xié)會(huì) 王葦航;英國投資“大數(shù)據(jù)”能帶來大收益嗎[N];中國財(cái)經(jīng)報(bào);2013年

3 姜念云;以大數(shù)據(jù)技術(shù)促文化資源管理[N];中國文化報(bào);2013年

4 本報(bào)記者 王娟;用大數(shù)據(jù)技術(shù)再造企業(yè)“外腦”[N];中國計(jì)算機(jī)報(bào);2013年

5 陶翔 羅天雨;大數(shù)據(jù)技術(shù)的發(fā)展歷程及其演化趨勢[N];科技日?qǐng)?bào);2014年

6 記者 張?zhí)m;運(yùn)用大數(shù)據(jù)技術(shù)推進(jìn)保險(xiǎn)業(yè)創(chuàng)新發(fā)展[N];金融時(shí)報(bào);2014年

7 記者 李利軍;巨細(xì)公司以紡織大數(shù)據(jù)技術(shù)打造共贏圈[N];中國紡織報(bào);2014年

8 李倩;數(shù)據(jù)技術(shù)讓保險(xiǎn)更精彩[N];金融時(shí)報(bào);2014年

9 北京大學(xué)教育學(xué)院副院長 教育技術(shù)系主任 尚俊杰;大數(shù)據(jù)技術(shù)下，，如何報(bào)志愿？[N];光明日?qǐng)?bào);2014年

10 本報(bào)記者 陳鵬;改變生活，它真無所不能？[N];大連日?qǐng)?bào);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陳敏偉;大數(shù)據(jù)技術(shù)在鐵路貨運(yùn)電子商務(wù)系統(tǒng)中的基本應(yīng)用研究[D];西南交通大學(xué);2015年

2 趙毅;大數(shù)據(jù)技術(shù)對(duì)新聞業(yè)務(wù)的影響研究[D];大連理工大學(xué);2015年

3 張蕾;基于3D打印的海量創(chuàng)意管理服務(wù)研究與實(shí)現(xiàn)[D];中國海洋大學(xué);2015年

4 孔祥瑞;基于大數(shù)據(jù)技術(shù)的清帳單系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

5 杜明建;大數(shù)據(jù)技術(shù)在負(fù)荷預(yù)測與負(fù)荷特性分析中的應(yīng)用[D];東南大學(xué);2015年

6 涂燕燕;大數(shù)據(jù)技術(shù)對(duì)科學(xué)認(rèn)識(shí)和社會(huì)倫理的影響[D];江西財(cái)經(jīng)大學(xué);2015年

7 孟杰;基于大數(shù)據(jù)技術(shù)應(yīng)用的商業(yè)模式設(shè)計(jì)路徑研究[D];東南大學(xué);2015年

8 張靜;大數(shù)據(jù)技術(shù)在學(xué)生業(yè)績分析中的研究與應(yīng)用[D];吉林大學(xué);2016年

9 馮陽;大數(shù)據(jù)技術(shù)在農(nóng)技推廣中的應(yīng)用研究[D];中國農(nóng)業(yè)科學(xué)院;2016年

10 閆經(jīng)偉;大數(shù)據(jù)技術(shù)的倫理問題及其責(zé)任規(guī)約[D];大連理工大學(xué);2016年

本文編號(hào)：601801