基于Spark的域名安全分析及攻擊檢測
發(fā)布時(shí)間:2020-07-03 07:40
【摘要】:域名系統(tǒng)(Domain Name System,DNS)是整個(gè)網(wǎng)絡(luò)世界中相當(dāng)重要的一個(gè)組成部分,所有基于域名的應(yīng)用在向用戶提供各種各樣服務(wù)的時(shí)候都會(huì)通過DNS將其域名解析成它們服務(wù)器的IP。但是隨著全球科技的進(jìn)步,整個(gè)互聯(lián)網(wǎng)行業(yè)技術(shù)也在不斷的發(fā)生變革,很多黑客和惡意組織將技術(shù)用來對DNS進(jìn)行惡意攻擊,破壞其正常的運(yùn)行狀態(tài),因此DNS相關(guān)的安全問題不斷的顯現(xiàn)出來,而且各類針對DNS的惡意攻擊事件也是時(shí)有發(fā)生,這對整個(gè)Internet的穩(wěn)定性產(chǎn)生了相當(dāng)大的影響。因此,及時(shí)檢測出網(wǎng)絡(luò)中存在的各種攻擊行為對于DNS服務(wù)整體運(yùn)營狀況和安全狀況的監(jiān)管和維護(hù)能起到非常重要的作用。本文旨在針對DNS服務(wù)的海量日志數(shù)據(jù),采用大數(shù)據(jù)分析思想以及機(jī)器學(xué)習(xí)相關(guān)技術(shù)和處理方法,根據(jù)DNS數(shù)據(jù)特點(diǎn)設(shè)計(jì)并實(shí)現(xiàn)惡意攻擊檢測方法,將惡意攻擊行為的數(shù)據(jù)從DNS數(shù)據(jù)集中提取出來。其中技術(shù)方面主要基于Flume數(shù)據(jù)采集框架,Hadoop分布式數(shù)據(jù)存儲(chǔ)框架以及Spark分布式數(shù)據(jù)計(jì)算框架來實(shí)現(xiàn)的。本文首先結(jié)合DNS的體系結(jié)構(gòu)和工作原理介紹了 DNS的協(xié)議、實(shí)現(xiàn)和操作方面的一些脆弱性;然后對DNS海量數(shù)據(jù)安全分析和攻擊檢測過程的總體方案進(jìn)行設(shè)計(jì),根據(jù)設(shè)計(jì)思路最后實(shí)現(xiàn)整個(gè)檢測方案,該方案包括了數(shù)據(jù)的采集和清洗過程、數(shù)據(jù)預(yù)處理過程以及核心的攻擊數(shù)據(jù)檢測過程。在攻擊檢測的實(shí)現(xiàn)過程中分析了DNS相關(guān)攻擊行為的攻擊過程和攻擊原理,其中包括針對DNS的DDoS(Distributed Denial of Service,分布式拒絕服務(wù))攻擊,利用仿冒及釣魚域名的攻擊,基于DGA(Domain Generation Algorithm,域名生成算法)生成CC(Command and Control,命令與控制)域名并形成僵尸網(wǎng)絡(luò)實(shí)施的DNS攻擊,基于DNS協(xié)議本身特性的DNS Tunneling攻擊和Fast-Flux域名攻擊。根據(jù)各自的攻擊原理進(jìn)而分析并總結(jié)出每一種惡意攻擊行為的特點(diǎn)以及這些特點(diǎn)在DNS數(shù)據(jù)集上的特征體現(xiàn),同時(shí)設(shè)計(jì)相關(guān)的提取和轉(zhuǎn)換過程,進(jìn)一步得到隱藏在數(shù)據(jù)集中的深度特征,然后利用這些特征集針對不同的攻擊行為設(shè)計(jì)并實(shí)現(xiàn)了各自的檢測方法和檢測模型,包括直接按規(guī)則檢測的方法和利用Spark提供的機(jī)器學(xué)習(xí)分類算法的檢測方法。最后通過在Spark計(jì)算平臺上運(yùn)行檢測模型的計(jì)算任務(wù),依托Spark快速計(jì)算的優(yōu)勢,將惡意攻擊數(shù)據(jù)從原始數(shù)據(jù)集中及時(shí)的提取出來。這些檢測結(jié)果數(shù)據(jù)可以給安全人員對當(dāng)前DNS服務(wù)的安全狀況提供很重要的數(shù)據(jù)參考,同時(shí)也能給DNS安全防御的建設(shè)提供很大的幫助。目前該檢測方案已經(jīng)應(yīng)用在了一些銀行數(shù)據(jù)中心的DNS惡意攻擊數(shù)據(jù)檢測里,并且能較為準(zhǔn)確的將惡意數(shù)據(jù)從海量DNS數(shù)據(jù)集中檢測出來,整體的運(yùn)行及檢測狀況良好。
【學(xué)位授予單位】:山東大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP393.08
【圖文】:
第2章海量DNS數(shù)據(jù)攻擊檢測的總體設(shè)計(jì)逡逑本論文是基于DNS服務(wù)器的海量日志數(shù)據(jù)做安全分析和攻擊檢測。采用的逡逑技術(shù)是基于Flume+Hadoop+Spark大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺,其中Flume負(fù)責(zé)日的采集,Hadoop負(fù)責(zé)海量數(shù)據(jù)的存儲(chǔ)管理,Spark負(fù)責(zé)模型任務(wù)的快速計(jì)算。本逡逑章首先對整體檢測過程的架構(gòu)設(shè)計(jì)進(jìn)行描述,然后再分別描述了數(shù)據(jù)采集和清洗逡逑過程的設(shè)計(jì)、數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的設(shè)計(jì)、預(yù)處理過程的設(shè)計(jì)和攻擊檢測方法的設(shè)計(jì)。逡逑2.1方案的總體架構(gòu)設(shè)計(jì)逡逑根據(jù)本論文中攻擊檢測的目標(biāo)和當(dāng)前大數(shù)據(jù)技術(shù)路線,以及對檢測過程的深逡逑入分析,得到的檢測方案總體架構(gòu)設(shè)計(jì)如圖2-1所示。逡逑.
ANY丨。這里的實(shí)現(xiàn)方式是將一列字符串標(biāo)簽編碼成一列下標(biāo)標(biāo)簽,下標(biāo)逡逑范圍是[0,標(biāo)簽數(shù)量),順序是按標(biāo)簽出現(xiàn)頻率的降序,所以最經(jīng)常出現(xiàn)的標(biāo)簽獲逡逑得的下標(biāo)就是0。數(shù)據(jù)的處理結(jié)果如圖3-8所示,其中ques_record_type_new字逡逑段值就是數(shù)值化處理之后的新值。逡逑Query邋History邋Q邋Q邋Saved邋Queries邋Q邋Query邋Buikkfr邋Results邋(X邋^逡逑message
【學(xué)位授予單位】:山東大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP393.08
【圖文】:
第2章海量DNS數(shù)據(jù)攻擊檢測的總體設(shè)計(jì)逡逑本論文是基于DNS服務(wù)器的海量日志數(shù)據(jù)做安全分析和攻擊檢測。采用的逡逑技術(shù)是基于Flume+Hadoop+Spark大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺,其中Flume負(fù)責(zé)日的采集,Hadoop負(fù)責(zé)海量數(shù)據(jù)的存儲(chǔ)管理,Spark負(fù)責(zé)模型任務(wù)的快速計(jì)算。本逡逑章首先對整體檢測過程的架構(gòu)設(shè)計(jì)進(jìn)行描述,然后再分別描述了數(shù)據(jù)采集和清洗逡逑過程的設(shè)計(jì)、數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的設(shè)計(jì)、預(yù)處理過程的設(shè)計(jì)和攻擊檢測方法的設(shè)計(jì)。逡逑2.1方案的總體架構(gòu)設(shè)計(jì)逡逑根據(jù)本論文中攻擊檢測的目標(biāo)和當(dāng)前大數(shù)據(jù)技術(shù)路線,以及對檢測過程的深逡逑入分析,得到的檢測方案總體架構(gòu)設(shè)計(jì)如圖2-1所示。逡逑.
ANY丨。這里的實(shí)現(xiàn)方式是將一列字符串標(biāo)簽編碼成一列下標(biāo)標(biāo)簽,下標(biāo)逡逑范圍是[0,標(biāo)簽數(shù)量),順序是按標(biāo)簽出現(xiàn)頻率的降序,所以最經(jīng)常出現(xiàn)的標(biāo)簽獲逡逑得的下標(biāo)就是0。數(shù)據(jù)的處理結(jié)果如圖3-8所示,其中ques_record_type_new字逡逑段值就是數(shù)值化處理之后的新值。逡逑Query邋History邋Q邋Q邋Saved邋Queries邋Q邋Query邋Buikkfr邋Results邋(X邋^逡逑message
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 孫建順;;基于SPARK課程理念優(yōu)化足球教學(xué)的實(shí)踐探索——以小學(xué)足球正腳背運(yùn)球?yàn)槔齕J];教學(xué)月刊小學(xué)版(綜合);2017年09期
2 陳虹君;謝彩云;;基于Spark的大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)的研究與實(shí)施[J];教育現(xiàn)代化;2016年37期
3 余濤;劉澤q
本文編號:2739389
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/2739389.html
最近更新
教材專著