近幾年,隨著云技術(shù)的高速發(fā)展,各大企業(yè)也都紛紛建立屬于自己的數(shù)據(jù)云中心。在云中心的環(huán)境下,應(yīng)用行為和應(yīng)用流量的數(shù)據(jù)規(guī)模也在逐步增長,怎樣從云中心的網(wǎng)絡(luò)流量中挖掘出有價值的信息已成為各大企業(yè)追求的目標(biāo),同時,對云中心的網(wǎng)絡(luò)流量進(jìn)行分類也是實(shí)現(xiàn)云安全和云管理的關(guān)鍵。然而由于云環(huán)境下的網(wǎng)絡(luò)流量數(shù)據(jù)規(guī)模大、應(yīng)用種類繁多,利用傳統(tǒng)的網(wǎng)絡(luò)流量分類方法對云中心的流量進(jìn)行分類,不僅無法確保分類準(zhǔn)確率也無法滿足實(shí)時性要求。如何兼顧網(wǎng)絡(luò)流量分類的準(zhǔn)確率和實(shí)時性是云中心網(wǎng)絡(luò)流量分類的一個技術(shù)難點(diǎn),對此論文給出了一種基于CDH(Cloudera’s Distribution Including Apache Hadoop)平臺的網(wǎng)絡(luò)流量分類方法和基于隨機(jī)森林的網(wǎng)絡(luò)流量分類方法。論文的主要工作及創(chuàng)新點(diǎn)如下:(1)針對校園網(wǎng)網(wǎng)絡(luò)環(huán)境下的Internet流量分類要求,本文給出一種云環(huán)境下基于CDH平臺的網(wǎng)絡(luò)流量分類方法,構(gòu)建了CDH大數(shù)據(jù)平臺,通過網(wǎng)絡(luò)協(xié)議數(shù)據(jù)分析工具抓取實(shí)際的網(wǎng)絡(luò)流量,提出一種基于模式匹配的網(wǎng)絡(luò)流量分類算法PM,然后利用大數(shù)據(jù)實(shí)時計(jì)算框架Spark Streaming對PM算法進(jìn)行并行化,實(shí)現(xiàn)實(shí)時網(wǎng)絡(luò)流量分類。與傳統(tǒng)分類方法相比,該方法在流量分類效率和分類精度上都有所提升,所提出的模式匹配算法PM,不僅可以對離線的網(wǎng)絡(luò)流量進(jìn)行分類,還可以對實(shí)時的網(wǎng)絡(luò)流量進(jìn)行分類,為實(shí)現(xiàn)實(shí)時網(wǎng)絡(luò)流量分類提供了思路。(2)針對Ceph云存儲系統(tǒng)數(shù)據(jù)優(yōu)化分布需要,給出一種基于流統(tǒng)計(jì)特征的存儲節(jié)點(diǎn)之間流量分類方法,該方法利用wireshark抓包軟件抓取Ceph云存儲系統(tǒng)中實(shí)際節(jié)點(diǎn)之間的流量,并對抓取的流量進(jìn)行流特征統(tǒng)計(jì)分析,選用包大小、包個數(shù)、流的持續(xù)時間三個組合特征,利用隨機(jī)森林算法實(shí)現(xiàn)對網(wǎng)絡(luò)流量的分類。實(shí)驗(yàn)結(jié)果表明,所選的組合特征結(jié)合隨機(jī)森林算法能夠很好的將Ceph云存儲系統(tǒng)節(jié)點(diǎn)之間的流量進(jìn)行分類。
【學(xué)位單位】：桂林電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP393.06
【文章目錄】：
摘要
Abstract
第一章 緒論
    §1.1 研究背景及意義
    §1.2 國內(nèi)外研究現(xiàn)狀
        §1.2.1 網(wǎng)絡(luò)流量分類研究現(xiàn)狀
        §1.2.2 特征選擇研究現(xiàn)狀
        §1.2.3 機(jī)器學(xué)習(xí)的應(yīng)用現(xiàn)狀
    §1.3 論文主要工作及創(chuàng)新點(diǎn)
    §1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)技術(shù)
    §2.1 CDH平臺概述
        §2.1.1 Hadoop大數(shù)據(jù)平臺
        §2.1.2 Spark大數(shù)據(jù)處理平臺
        §2.1.3 Kafka分布式消息系統(tǒng)
    §2.2 模式匹配技術(shù)與Jpcap
    §2.3 原型系統(tǒng)設(shè)計(jì)
        §2.3.1 基于CDH平臺的網(wǎng)絡(luò)流量分類流程
        §2.3.2 基于隨機(jī)森林的網(wǎng)絡(luò)的流量分類流程
    §2.4 本章小結(jié)
第三章 基于CDH平臺的網(wǎng)絡(luò)流量分類方法
    §3.1 引言
    §3.2 網(wǎng)絡(luò)流量數(shù)據(jù)集的構(gòu)建
    §3.3 數(shù)據(jù)預(yù)處理
    §3.4 算法設(shè)計(jì)與實(shí)現(xiàn)
        §3.4.1 離線訓(xùn)練階段
        §3.4.2 實(shí)時分類階段
    §3.5 實(shí)驗(yàn)與結(jié)果分析
        §3.5.1 實(shí)驗(yàn)環(huán)境
        §3.5.2 實(shí)驗(yàn)結(jié)果及分析
    §3.6 本章小結(jié)
第四章 Ceph云存儲系統(tǒng)的網(wǎng)絡(luò)流量分類方法
    §4.1 引言
    §4.2 網(wǎng)絡(luò)流量數(shù)據(jù)集的構(gòu)建
    §4.3 數(shù)據(jù)預(yù)處理方法的設(shè)計(jì)
    §4.4 云存儲系統(tǒng)流量分類算法設(shè)計(jì)
        §4.4.1 特征分析
        §4.4.2 基于隨機(jī)森林的網(wǎng)絡(luò)流量分類設(shè)計(jì)
    §4.5 實(shí)驗(yàn)與結(jié)果分析
        §4.5.1 實(shí)驗(yàn)環(huán)境
        §4.5.2 實(shí)驗(yàn)結(jié)果及分析
    §4.6 本章小結(jié)
第五章 總結(jié)與展望
    §5.1 論文工作總結(jié)
    §5.2 未來研究展望
參考文獻(xiàn)
致謝
作者在攻讀碩士期間主要研究成果

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 沈智勇;蘇翀;周揚(yáng);沈智威;;一種面向非均衡分類的隨機(jī)森林算法[J];計(jì)算機(jī)與現(xiàn)代化;2018年12期

2 于大海;李金;羅艷虹;劉近春;張巖波;;隨機(jī)森林模型和決策樹模型在肝硬化上消化道出血預(yù)后中的應(yīng)用[J];中國衛(wèi)生統(tǒng)計(jì);2019年02期

3 胡蝶;;基于隨機(jī)森林的債券違約分析[J];當(dāng)代經(jīng)濟(jì);2018年03期

4 趙藝淞;楊昆;王保云;黎曉路;;隨機(jī)森林在城市不透水面提取中的應(yīng)用研究[J];云南師范大學(xué)學(xué)報(自然科學(xué)版);2017年03期

5 吳辰文;梁靖涵;王偉;李長生;;一種順序響應(yīng)的隨機(jī)森林:變量預(yù)測和選擇[J];小型微型計(jì)算機(jī)系統(tǒng);2017年08期

6 顧娟;林敏;鞠桂玲;;基于隨機(jī)森林回歸的軍械器材需求預(yù)測[J];自動化應(yīng)用;2017年09期

7 劉迎春;陳梅玲;;流式大數(shù)據(jù)下隨機(jī)森林方法及應(yīng)用[J];西北工業(yè)大學(xué)學(xué)報;2015年06期

8 羅超;;面向高維數(shù)據(jù)的隨機(jī)森林算法優(yōu)化探討[J];商;2016年04期

9 楊曉峰;嚴(yán)建峰;劉曉升;楊璐;;深度隨機(jī)森林在離網(wǎng)預(yù)測中的應(yīng)用[J];計(jì)算機(jī)科學(xué);2016年06期

10 張強(qiáng);;隨機(jī)森林在居民購房意愿研究中的應(yīng)用[J];現(xiàn)代經(jīng)濟(jì)信息;2016年13期

相關(guān)博士學(xué)位論文 前10條

1 王曉軍;基于大數(shù)據(jù)的風(fēng)洞馬赫數(shù)集成建模方法的研究[D];東北大學(xué);2016年

2 王鑫;基于隨機(jī)森林的認(rèn)知網(wǎng)絡(luò)頻譜感知算法研究[D];東北大學(xué);2016年

3 姚登舉;面向醫(yī)學(xué)數(shù)據(jù)的隨機(jī)森林特征選擇及分類方法研究[D];哈爾濱工程大學(xué);2016年

4 黃玥;VANET信息安全問題及異常檢測技術(shù)研究[D];吉林大學(xué);2017年

5 倪強(qiáng);基于隨機(jī)前沿和隨機(jī)森林法的沿海開發(fā)區(qū)發(fā)展效率研究[D];天津大學(xué);2011年

6 季斌;內(nèi)蒙古浩布高地區(qū)多金屬礦綜合信息找礦預(yù)測研究[D];合肥工業(yè)大學(xué);2017年

7 雷震;隨機(jī)森林及其在遙感影像處理中應(yīng)用研究[D];上海交通大學(xué);2012年

8 金超;基于隨機(jī)森林的醫(yī)學(xué)影像分割算法研究及應(yīng)用[D];蘇州大學(xué);2017年

9 李寶富;巨厚礫巖層下回采巷道底板沖擊地壓誘發(fā)機(jī)理研究[D];河南理工大學(xué);2014年

10 趙東;基于群智能優(yōu)化的機(jī)器學(xué)習(xí)方法研究及應(yīng)用[D];吉林大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 王鳴飛;結(jié)直腸癌術(shù)前N分期的隨機(jī)森林預(yù)測模型的建立與驗(yàn)證[D];吉林大學(xué);2019年

2 王藝博;潛周期時間序列建模和預(yù)測新方法探究[D];上海交通大學(xué);2017年

3 繆琦;基于隨機(jī)森林和支持向量機(jī)的糖尿病風(fēng)險預(yù)測方法研究[D];江蘇大學(xué);2019年

4 馬江理;現(xiàn)代服務(wù)業(yè)發(fā)展及評價研究[D];云南大學(xué);2018年

5 倪政;基于隨機(jī)森林的興農(nóng)卡農(nóng)戶用信預(yù)測模型及應(yīng)用研究[D];中南林業(yè)科技大學(xué);2019年

6 陳云天;南昌市房價時空分布特征及驅(qū)動因素分析[D];江西師范大學(xué);2019年

7 李嬋娟;信用債發(fā)行利差影響因素分析[D];山西財(cái)經(jīng)大學(xué);2019年

8 董興軍;隨機(jī)森林在P2P網(wǎng)絡(luò)借貸借款人信用評估中的應(yīng)用[D];遼寧大學(xué);2019年

9 汪娟娟;江西省精準(zhǔn)扶貧中的貧困戶識別研究[D];江西財(cái)經(jīng)大學(xué);2019年

10 李勛章;云中心網(wǎng)絡(luò)流量分類方法研究[D];桂林電子科技大學(xué);2019年

本文編號：2868234