【摘要】：隨著社會(huì)科技的進(jìn)步,互聯(lián)網(wǎng)的高速發(fā)展,以及為了滿(mǎn)足人們對(duì)網(wǎng)絡(luò)日漸增長(zhǎng)的需求,網(wǎng)絡(luò)速率在不斷地提升,隨之而來(lái)的是更多具備高速、移動(dòng)、安全的網(wǎng)絡(luò)設(shè)備和更為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。面對(duì)日漸復(fù)雜的網(wǎng)絡(luò)環(huán)境,如何有效地對(duì)網(wǎng)絡(luò)流量進(jìn)行監(jiān)控,如何建立泛化能力強(qiáng)的流量模型,以及如何進(jìn)行實(shí)時(shí)檢測(cè)異常流量,這些問(wèn)題在網(wǎng)絡(luò)管理和資源配置優(yōu)化中都有十分重要的研究意義。網(wǎng)絡(luò)流量監(jiān)測(cè)收集系統(tǒng)是上層網(wǎng)絡(luò)流量分析的基礎(chǔ),一個(gè)穩(wěn)定、健壯、拓展性強(qiáng)的網(wǎng)絡(luò)流量監(jiān)測(cè)收集系統(tǒng)能為上層的網(wǎng)絡(luò)管理和決策提供優(yōu)質(zhì)的服務(wù)。同時(shí),對(duì)于上層的網(wǎng)絡(luò)資源管理來(lái)說(shuō),準(zhǔn)確的流量預(yù)測(cè)能對(duì)網(wǎng)絡(luò)資源的合理配置起到指導(dǎo)性作用,精確的異常檢測(cè)能讓工作人員及時(shí)發(fā)現(xiàn)問(wèn)題,避免損失。為了實(shí)現(xiàn)上述目標(biāo),本文對(duì)常見(jiàn)的系統(tǒng)部署環(huán)境進(jìn)行了調(diào)研,設(shè)計(jì)了一個(gè)基于Kafka的流量監(jiān)測(cè)收集系統(tǒng),系統(tǒng)采用分層結(jié)構(gòu)的設(shè)計(jì),分層結(jié)構(gòu)的設(shè)計(jì)保證了系統(tǒng)的穩(wěn)定性和健壯性。然后本文對(duì)系統(tǒng)收集的流量信息進(jìn)行了分析,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)LSTM網(wǎng)絡(luò)模型,準(zhǔn)確且有效地實(shí)現(xiàn)了網(wǎng)絡(luò)流量預(yù)測(cè)功能。最后本文通過(guò)對(duì)歷史流量中的離群點(diǎn)進(jìn)行分析,提出并實(shí)現(xiàn)了一種數(shù)據(jù)流下基于LOF的離群點(diǎn)檢測(cè)算法,并對(duì)檢測(cè)結(jié)果進(jìn)行了分析和總結(jié)。在運(yùn)營(yíng)商提供的真實(shí)環(huán)境中,本文設(shè)計(jì)并構(gòu)建的網(wǎng)絡(luò)流量監(jiān)測(cè)收集系統(tǒng)能穩(wěn)定、有效地保持運(yùn)行,本文設(shè)計(jì)并實(shí)現(xiàn)的網(wǎng)絡(luò)流量模型能以天為單位,準(zhǔn)確地完成流量預(yù)測(cè),預(yù)測(cè)的結(jié)果對(duì)網(wǎng)絡(luò)資源的合理配置起到了關(guān)鍵的指導(dǎo)作用。本文提出的數(shù)據(jù)流下快速離群點(diǎn)檢測(cè)算法,在不同的場(chǎng)景下都取得了優(yōu)秀的效果。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TP393.06
【圖文】：

Ａｐａｃｈｅ邋Ｆｌｕｍｅ是一可靠的、分布式的日志收集系統(tǒng)［６］，Ｆｌｕｍｅ可以從分布式逡逑環(huán)境中采集來(lái)自不同源的數(shù)據(jù)，并將其匯聚到指定的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，從而實(shí)現(xiàn)不逡逑同源的海量曰志數(shù)據(jù)收集功能，其基本結(jié)構(gòu)如圖２－１所示逡逑Ｓｅｒｖｅｒ邋—邋Ｓｏｕｒｃｅ邐＼邋Ｓｉｎｋ、）邐？－邐，逡逑一＿＿＿邐ｈｄｆｓ逡逑１邋．邋—逡逑ｉ邋Ｌ逡逑Ｃｈａｎｎｅｌ邋｜邋１—逡逑Ａｇｅｎｔ邋、邐＾逡逑圖２－１邋Ｆｌｕｍｅ基本結(jié)構(gòu)圖逡逑圖２－１中的Ｓｅｒｖｅｉ？會(huì)將數(shù)據(jù)按照Ｈｕｍｅ指定的固定格式發(fā)送給Ｆｌｕｍｅ的源，逡逑即圖中的Ｓｏｕｒｃｅ，當(dāng)Ｆｌｕｍｅ的Ｓｏｕｒｃｅ收到數(shù)據(jù)后會(huì)將數(shù)據(jù)發(fā)送給通道（Ｃｈａｎｎｅｌ），逡逑—個(gè)Ｓｏｕｒｃｅ可以對(duì)應(yīng)多個(gè)Ｃｈａｎｎｅｌ。Ｃｈａｎｎｅｌ中的數(shù)據(jù)會(huì)被緩存，Ｃｈａｎｎｅｌ的輸出逡逑端是Ｓｉｎｋ，Ｓｉｎｋ會(huì)對(duì)數(shù)據(jù)進(jìn)行處理，是一個(gè)可編程模塊。用戶(hù)可以根據(jù)自己的需逡逑求在Ｓｉｎｋ端對(duì)數(shù)據(jù)進(jìn)行處理，比如本文主要就是使用Ｓｉｎｋ將采集的流量數(shù)據(jù)發(fā)逡逑送到節(jié)點(diǎn)數(shù)據(jù)庫(kù)中。逡逑在本文的流量監(jiān)測(cè)收集系統(tǒng)中，Ｈｕｍｅ系統(tǒng)主要用來(lái)做Ａｇｅｎｔ采集端與區(qū)域逡逑主節(jié)點(diǎn)之間互相通信的橋梁。不同的Ａｇｅｎｔ采集到的各類(lèi)信息將通過(guò)Ｆｌｕｍｅ上逡逑報(bào)

Ａｐａｃｈｅ邋Ｆｌｕｍｅ是一可靠的、分布式的日志收集系統(tǒng)［６］，Ｆｌｕｍｅ可以從分布式逡逑環(huán)境中采集來(lái)自不同源的數(shù)據(jù)，并將其匯聚到指定的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，從而實(shí)現(xiàn)不逡逑同源的海量曰志數(shù)據(jù)收集功能，其基本結(jié)構(gòu)如圖２－１所示逡逑Ｓｅｒｖｅｒ邋—邋Ｓｏｕｒｃｅ邐＼邋Ｓｉｎｋ、）邐？－邐，逡逑一＿＿＿邐ｈｄｆｓ逡逑１邋．邋—逡逑ｉ邋Ｌ逡逑Ｃｈａｎｎｅｌ邋｜邋１—逡逑Ａｇｅｎｔ邋、邐＾逡逑圖２－１邋Ｆｌｕｍｅ基本結(jié)構(gòu)圖逡逑圖２－１中的Ｓｅｒｖｅｉ？會(huì)將數(shù)據(jù)按照Ｈｕｍｅ指定的固定格式發(fā)送給Ｆｌｕｍｅ的源，逡逑即圖中的Ｓｏｕｒｃｅ，當(dāng)Ｆｌｕｍｅ的Ｓｏｕｒｃｅ收到數(shù)據(jù)后會(huì)將數(shù)據(jù)發(fā)送給通道（Ｃｈａｎｎｅｌ），逡逑—個(gè)Ｓｏｕｒｃｅ可以對(duì)應(yīng)多個(gè)Ｃｈａｎｎｅｌ。Ｃｈａｎｎｅｌ中的數(shù)據(jù)會(huì)被緩存，Ｃｈａｎｎｅｌ的輸出逡逑端是Ｓｉｎｋ，Ｓｉｎｋ會(huì)對(duì)數(shù)據(jù)進(jìn)行處理，是一個(gè)可編程模塊。用戶(hù)可以根據(jù)自己的需逡逑求在Ｓｉｎｋ端對(duì)數(shù)據(jù)進(jìn)行處理，比如本文主要就是使用Ｓｉｎｋ將采集的流量數(shù)據(jù)發(fā)逡逑送到節(jié)點(diǎn)數(shù)據(jù)庫(kù)中。逡逑在本文的流量監(jiān)測(cè)收集系統(tǒng)中，Ｈｕｍｅ系統(tǒng)主要用來(lái)做Ａｇｅｎｔ采集端與區(qū)域逡逑主節(jié)點(diǎn)之間互相通信的橋梁。不同的Ａｇｅｎｔ采集到的各類(lèi)信息將通過(guò)Ｆｌｕｍｅ上逡逑報(bào)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李巧俠;;基于組合模型的網(wǎng)絡(luò)流量預(yù)測(cè)[J];微型電腦應(yīng)用;2018年08期

2 王雪松;;改進(jìn)支持向量機(jī)的網(wǎng)絡(luò)流量預(yù)測(cè)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2017年03期

3 丁春莉;李林森;;和聲搜索算法優(yōu)化支持向量機(jī)的網(wǎng)絡(luò)流量預(yù)測(cè)[J];微型電腦應(yīng)用;2017年01期

4 陳南岳;湯永斌;岳淼;滕云;;一種網(wǎng)絡(luò)流量預(yù)測(cè)模型的研究[J];科技通報(bào);2017年07期

5 張濤;唐華;張?zhí)鹛?;網(wǎng)絡(luò)流量預(yù)測(cè)算法仿真分析[J];計(jì)算機(jī)仿真;2016年09期

6 盧振利;;相空間重構(gòu)和正則極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)流量預(yù)測(cè)[J];激光雜志;2015年01期

7 張大衛(wèi);李海雁;;基于相空間重構(gòu)雙參數(shù)聯(lián)合估計(jì)的網(wǎng)絡(luò)流量預(yù)測(cè)[J];計(jì)算機(jī)與數(shù)字工程;2014年09期

8 趙偉;;一種改進(jìn)的網(wǎng)絡(luò)流量預(yù)測(cè)模型研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年04期

9 章治;;組合神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)研究[J];微電子學(xué)與計(jì)算機(jī);2012年03期

10 趙云;肖嵬;陳阿林;;基于加權(quán)支持向量回歸的網(wǎng)絡(luò)流量預(yù)測(cè)[J];計(jì)算機(jī)工程與應(yīng)用;2012年21期

相關(guān)會(huì)議論文 前4條

1 李林峰;裘正定;;時(shí)間序列分析在網(wǎng)絡(luò)流量預(yù)測(cè)中的應(yīng)用研究[A];2005通信理論與技術(shù)新進(jìn)展——第十屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2005年

2 桂曉琳;許向陽(yáng);;基于Elman神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)[A];全國(guó)自動(dòng)化新技術(shù)學(xué)術(shù)交流會(huì)會(huì)議論文集（一）[C];2005年

3 張黎;孫艷華;張延華;;隨季節(jié)變化的海量網(wǎng)絡(luò)數(shù)據(jù)預(yù)測(cè)方法[A];全國(guó)第4屆信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

4 盧丹蕾;孫艷華;張延華;;基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)流量預(yù)測(cè)[A];全國(guó)第4屆信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前1條

1 南京郵電大學(xué)通信工程系教授 糜正琨;解NGN的QoS之“痛”[N];通信產(chǎn)業(yè)報(bào);2005年

相關(guān)博士學(xué)位論文 前2條

1 孫曉川;未來(lái)網(wǎng)絡(luò)虛擬化資源管理機(jī)制研究[D];北京郵電大學(xué);2013年

2 于青;基于混沌時(shí)間序列預(yù)測(cè)的主動(dòng)型入侵防御系統(tǒng)研究[D];天津大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 楊興;基于Kafka監(jiān)測(cè)系統(tǒng)的網(wǎng)絡(luò)流量預(yù)測(cè)和異常檢測(cè)[D];北京郵電大學(xué);2019年

2 師圣蔓;基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量預(yù)測(cè)與應(yīng)用研究[D];北京郵電大學(xué);2019年

3 姚騫;基于機(jī)器學(xué)習(xí)的SDN網(wǎng)絡(luò)流量預(yù)測(cè)與負(fù)載均衡[D];電子科技大學(xué);2018年

4 邱鍇;轉(zhuǎn)移張量在數(shù)據(jù)中心流量預(yù)測(cè)中的應(yīng)用[D];華中科技大學(xué);2016年

5 姚春萍;基于s變換和壓縮感知的大規(guī)模網(wǎng)絡(luò)流量預(yù)測(cè)與仿真實(shí)現(xiàn)[D];東北大學(xué);2013年

6 陳振偉;基于神經(jīng)網(wǎng)絡(luò)的改進(jìn)網(wǎng)絡(luò)流量預(yù)測(cè)算法的研究[D];河南大學(xué);2008年

7 蔣慶華;一種基于小波變換及自回歸模型的網(wǎng)絡(luò)流量預(yù)測(cè)算法[D];吉林大學(xué);2006年

8 楊yN;網(wǎng)絡(luò)流量預(yù)測(cè)技術(shù)的研究[D];北京郵電大學(xué);2014年

9 孔玉;基于極大極小概率機(jī)的無(wú)線(xiàn)網(wǎng)絡(luò)流量預(yù)測(cè)[D];西華大學(xué);2009年

10 文政;基于混沌—支持向量機(jī)理論的網(wǎng)絡(luò)流量預(yù)測(cè)[D];鄭州大學(xué);2012年

本文編號(hào)：2717306