基于Spark和N-gram的HTTP流量檢測平臺的設(shè)計與實現(xiàn)
【學(xué)位授予單位】:北京郵電大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP393.08;TP181
【圖文】:
出的針對性修改。詳細(xì)對比了數(shù)據(jù)存儲格式中行式存儲和列式存儲中的優(yōu)缺點,逡逑并進行了各個數(shù)據(jù)庫存儲表結(jié)構(gòu)格式的設(shè)計。逡逑3.1系統(tǒng)整體結(jié)構(gòu)設(shè)計逡逑HTTP惡意流量檢測平臺主要結(jié)合機器學(xué)習(xí)算法在大規(guī)模網(wǎng)絡(luò)流量中對逡逑HTTP惡意流量進行識別檢測。本平臺主要由數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊、攻逡逑擊檢測模塊、任務(wù)調(diào)度模塊四個模塊組成。其中數(shù)據(jù)處理模塊負(fù)責(zé)鏡像流量數(shù)據(jù)逡逑的預(yù)處理、特征提取和特征轉(zhuǎn)化,數(shù)據(jù)存儲模塊主要功能為對預(yù)處理結(jié)束后的網(wǎng)逡逑絡(luò)流量數(shù)據(jù)、檢測模型判定過的標(biāo)簽數(shù)據(jù)、檢測模型使用的訓(xùn)練數(shù)據(jù)、報表數(shù)據(jù)逡逑等的存儲,攻擊檢測模塊主要功能為海量數(shù)據(jù)中網(wǎng)絡(luò)攻擊的檢測以及相似攻擊方逡逑式的聚類,任務(wù)調(diào)度模塊主要功能為對預(yù)處理任務(wù)、分類任務(wù)、聚類任務(wù)、存儲逡逑任務(wù)等進行協(xié)調(diào)調(diào)度。本章主要對數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊和任務(wù)調(diào)度模塊逡逑進行詳細(xì)闡述,攻擊檢測模塊將在第四章進行詳細(xì)闡述。逡逑業(yè)務(wù)數(shù)據(jù)邐數(shù)據(jù)處理模塊邐數(shù)據(jù)存儲模塊邐攻擊檢測模塊逡逑 ̄
Pyshark這一網(wǎng)絡(luò)流量分析包對Pcap數(shù)據(jù)文件進行解析,將原始二進制的Pcap逡逑文件轉(zhuǎn)化為具有HTTP各個字段內(nèi)容的以逗號分隔的文本文件,以便后續(xù)進一步逡逑分析。具體的解析后的文本數(shù)據(jù)效果如圖3-2所示。逡逑id邐url邋post邋src邐dcs邐srcpon邋dcsport邋time邐host邐rcs_body逡逑1102_7_28/bl邐assd邐192.168.0.1邐192.168.1.1邐10029邐80邋2017-il-02_Chost=ad3.cn邐bodyl=逡逑1102_7_28/b2邐assd邐192.168.02邐191168.1.2邐10030邐80邋2017-ll-02_Chost=ad.4.cn邐body2=逡逑1102_7_28/b3邐assd邐192.168.0.3邐192.168.1.3邐10031邐80邐2017-1邋l-02_Chost=ad.5.cn邐body3=逡逑1102_7_28/b4邐assd邐192.168.0.4邐192.168.1.4邐10032邐80邐2017-1邋l-02_Chost=ad.6.cn邐body4=逡逑1102_7_28/b5邐assd邐191168.0.5邐192.168.1.5邐10033邐80邐2017-1邋l-02_Chost=ad.7.cn邐body5=逡逑1102_7_
4.2.1網(wǎng)絡(luò)攻擊檢測模型的特征提取逡逑網(wǎng)絡(luò)攻擊數(shù)據(jù)集分為三個字段,分別是URL字段、POST字段以及標(biāo)簽字逡逑段,部分訓(xùn)練集如圖4-1所示。其中URL字段中包含一個HTTP網(wǎng)絡(luò)鏈接發(fā)起逡逑方的提交路徑和提交的GET請求數(shù)據(jù),POST字段包含HTTP網(wǎng)絡(luò)鏈接發(fā)起方逡逑提交的POST的請求數(shù)據(jù)
【相似文獻】
相關(guān)期刊論文 前10條
1 王云;張巨勇;陳志平;李春光;陳一舉;周洪強;;面向敞肩拱橋梁的檢測平臺結(jié)構(gòu)設(shè)計[J];機械設(shè)計;2019年04期
2 葛春林;;基于云的應(yīng)用安全檢測平臺設(shè)計與實現(xiàn)[J];電腦編程技巧與維護;2017年08期
3 徐華漢;;黃石市國家級特殊鋼公共檢測平臺建設(shè)[J];湖北農(nóng)機化;2013年03期
4 陳國勝;;淺談牙科手機檢測平臺[J];中國醫(yī)療設(shè)備;2010年01期
5 賁毅;趙凱歌;歐燕飛;陳曉蘭;羅劍梁;張勇;;公共檢測平臺的構(gòu)建及參加實驗室資質(zhì)認(rèn)定有關(guān)問題的探討[J];實驗技術(shù)與管理;2010年06期
6 王徑迤;王海星;程曙光;;基于電力設(shè)備移動檢測平臺的漏電保護器保護功能改進性研究[J];科技創(chuàng)新與應(yīng)用;2014年18期
7 李紅濤;張軍軍;包斯嘉;林小進;;小型并網(wǎng)光伏電站移動檢測平臺設(shè)計與開發(fā)[J];電力系統(tǒng)自動化;2011年19期
8 孫德超;李芳;高波;丁慶玲;尚寶剛;;基于3D球形檢測平臺的工業(yè)CT裝置[J];無損檢測;2018年07期
9 李岳夢;吳麗華;;信息安全遠(yuǎn)程檢測平臺建設(shè)方案探討[J];電信工程技術(shù)與標(biāo)準(zhǔn)化;2014年05期
10 張愛華;;建筑外保溫材料燃燒性能移動檢測平臺設(shè)計[J];消防技術(shù)與產(chǎn)品信息;2014年09期
相關(guān)會議論文 前10條
1 李永田;;機載電子系統(tǒng)綜合檢測平臺的設(shè)計[A];全國第三屆信號和智能信息處理與應(yīng)用學(xué)術(shù)交流會?痆C];2009年
2 黃慶;詹煒;楊光;;變頻器標(biāo)準(zhǔn)、檢測和認(rèn)證的研究[A];市場踐行標(biāo)準(zhǔn)化——第十一屆中國標(biāo)準(zhǔn)化論壇論文集[C];2014年
3 陳輝;曹永兵;柳艷;陸峰;張中湖;;食品藥品第三方檢測平臺信息化建設(shè)與應(yīng)用研究[A];中國藥學(xué)會第四屆藥物檢測質(zhì)量管理學(xué)術(shù)研討會資料匯編[C];2017年
4 王書茂;康峰;祝青園;陳度;;農(nóng)業(yè)裝備性能通用檢測平臺體系研究[A];2007年中國農(nóng)業(yè)工程學(xué)會學(xué)術(shù)年會論文摘要集[C];2007年
5 白曉良;賀全偉;;基于工業(yè)X射線快捷檢測平臺的設(shè)計與應(yīng)用[A];《工業(yè)建筑》2017年增刊I[C];2017年
6 朱超;梁瓊麟;王義明;羅國安;;磷脂檢測平臺技術(shù)與磷脂組學(xué)[A];第二十屆全國色譜學(xué)術(shù)報告會及儀器展覽會論文集(第三分冊)[C];2015年
7 王建飛;凌志浩;;樓宇自動化系統(tǒng)性能檢測平臺的設(shè)計[A];第七屆工業(yè)儀表與自動化學(xué)術(shù)會議論文集[C];2006年
8 劉凱俊;李晨e
本文編號:2793136
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/2793136.html