本文選題：流處理 + Spark　； 參考：《北京郵電大學(xué)》2017年碩士論文

【摘要】：計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展使人類社會(huì)進(jìn)入大數(shù)據(jù)時(shí)代。隨著全球數(shù)據(jù)量的爆炸式增長(zhǎng),原先的單機(jī)處理模式已經(jīng)無(wú)法滿足海量數(shù)據(jù)的計(jì)算需求。另一方面,很多數(shù)據(jù)源,包括互聯(lián)網(wǎng)應(yīng)用、商業(yè)操作和科學(xué)儀器等,每天都在生成海量高速的數(shù)據(jù)流。“海量”是指數(shù)據(jù)規(guī)模龐大,“高速”是指數(shù)據(jù)的到達(dá)速度快。如何對(duì)這些海量高速的數(shù)據(jù)流進(jìn)行實(shí)時(shí)處理,開(kāi)始引起人們的廣泛關(guān)注。數(shù)據(jù)量的爆炸式增長(zhǎng)和海量高速數(shù)據(jù)流的實(shí)時(shí)處理需求,催生了一批通用流式數(shù)據(jù)處理平臺(tái),同時(shí)向它們提出了挑戰(zhàn):流式數(shù)據(jù)處理平臺(tái)不僅要支持傳統(tǒng)數(shù)據(jù)處理的集群擴(kuò)展,還需要提供對(duì)海量數(shù)據(jù)流實(shí)時(shí)處理的支持。本文在深入調(diào)研并分析流式數(shù)據(jù)處理技術(shù)和典型流式數(shù)據(jù)處理平臺(tái)的基礎(chǔ)上,著眼于網(wǎng)管系統(tǒng)中的告警數(shù)據(jù)處理需求:當(dāng)網(wǎng)管系統(tǒng)中的被管設(shè)備發(fā)生異常時(shí),會(huì)向SNMP管理站發(fā)送告警信息。在網(wǎng)絡(luò)規(guī)模龐大、被管設(shè)備較多的情況下,管理站需要對(duì)海量高速的告警數(shù)據(jù)流進(jìn)行去重、波動(dòng)性過(guò)濾等處理,以便減少告警數(shù)量,幫助網(wǎng)絡(luò)管理員快速定位設(shè)備問(wèn)題。本文的主要工作包括:1.調(diào)研并剖析流式數(shù)據(jù)處理技術(shù)和流式數(shù)據(jù)處理平臺(tái),重點(diǎn)分析了一些典型的流式數(shù)據(jù)處理平臺(tái)。針對(duì)流式數(shù)據(jù)處理平臺(tái),剖析了其架構(gòu)、關(guān)鍵技術(shù)、消息處理機(jī)制和數(shù)據(jù)處理引擎。基于前述的一般性概念和技術(shù),進(jìn)一步對(duì)Storm、S4、Spark Streaming等典型的流式數(shù)據(jù)處理平臺(tái)進(jìn)行深入分析。2.分析并指出網(wǎng)管系統(tǒng)中告警數(shù)據(jù)實(shí)時(shí)處理的難點(diǎn)。在對(duì)簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議及SNMP Trap報(bào)文格式進(jìn)行調(diào)研的基礎(chǔ)上,分析了網(wǎng)管系統(tǒng)中告警數(shù)據(jù)的處理需求,并指出傳統(tǒng)的數(shù)據(jù)庫(kù)處理方法存在的問(wèn)題。最后,結(jié)合網(wǎng)管系統(tǒng)中的告警數(shù)據(jù)處理需求,對(duì)重復(fù)告警和閃斷告警做出詳細(xì)定義,并進(jìn)一步定義了跨時(shí)間窗的重復(fù)告警和閃斷告警。3.提出了基于Spark Streaming的重復(fù)告警過(guò)濾算法和跨時(shí)間窗的重復(fù)告警過(guò)濾算法�；谇笆鲋貜�(fù)告警和跨時(shí)間窗重復(fù)告警的定義,設(shè)計(jì)并實(shí)現(xiàn)了基于Spark Streaming的重復(fù)告警過(guò)濾算法和跨時(shí)間窗的重復(fù)告警過(guò)濾算法。最后,在集群環(huán)境中對(duì)算法進(jìn)行了充分的實(shí)驗(yàn),驗(yàn)證了算法的可行性,并對(duì)算法的時(shí)延和吞吐量作出評(píng)估。4.提出了基于Spark Streaming的閃斷告警過(guò)濾算法和跨時(shí)間窗的閃斷告警過(guò)濾算法�；谇笆鲩W斷告警和跨時(shí)間窗閃斷告警的定義,設(shè)計(jì)并實(shí)現(xiàn)了基于Spark Streaming的閃斷告警過(guò)濾算法和跨時(shí)間窗的閃斷告警過(guò)濾算法。最后,在集群環(huán)境中對(duì)算法進(jìn)行了充分的實(shí)驗(yàn),驗(yàn)證了算法的可行性,并對(duì)算法的時(shí)延和吞吐量作出評(píng)估。5.將前述的告警過(guò)濾算法應(yīng)用到實(shí)際的網(wǎng)管系統(tǒng)中。結(jié)合具體的業(yè)務(wù)需求,設(shè)計(jì)并實(shí)現(xiàn)了 SNMP報(bào)文的接收與解析、數(shù)據(jù)庫(kù)表結(jié)構(gòu)和頁(yè)面展示邏輯,將告警過(guò)濾算法應(yīng)用到實(shí)際的網(wǎng)管系統(tǒng)中。本文深入調(diào)研流處理技術(shù)的研究現(xiàn)狀,分析通用流式數(shù)據(jù)處理平臺(tái)的架構(gòu)、關(guān)鍵技術(shù)和組件,結(jié)合網(wǎng)管系統(tǒng)中告警數(shù)據(jù)流的特點(diǎn)及處理需求,提供了告警過(guò)濾的方案設(shè)計(jì)和算法實(shí)現(xiàn)。因此,本文的研究工作及成果為網(wǎng)管系統(tǒng)的設(shè)計(jì)及應(yīng)用提供了新的思路,對(duì)流式數(shù)據(jù)處理平臺(tái)在傳統(tǒng)場(chǎng)景下的應(yīng)用有著重要的指導(dǎo)意義和參考價(jià)值。
[Abstract]:The rapid development of computer technology and network technology makes the human society enter the age of big data . With the explosion of global data volume , the original single - machine processing mode has not met the demand of mass data . On the other hand , many data sources , including Internet application , commercial operation and scientific instrument , generate massive high - speed data stream every day . This paper analyzes the processing requirement of alarm data in network management system based on the above - mentioned general concept and technology , and puts forward some challenges to the real - time processing of alarm data in network management system . Therefore , the research work and results of this paper provide a new idea for the design and application of the network management system , which has important guiding significance and reference value to the application of streaming data processing platform in the traditional scene .

【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP393.07

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張曉冰,孫韜;Browser/Server模式在網(wǎng)管系統(tǒng)中的應(yīng)用[J];山東通信技術(shù);2001年01期

2 尹群;;試論開(kāi)發(fā)網(wǎng)管系統(tǒng)的思路和對(duì)策[J];科技進(jìn)步與對(duì)策;2003年04期

3 董海軍;網(wǎng)管系統(tǒng)——電信運(yùn)營(yíng)的重要基石[J];通信世界;2003年31期

4 鄭叔芳 ,翟存榮 ,(亻兒)根琴 ,肖必寧 ,隆靖 ,馬俊;易爆液體微機(jī)測(cè)控管系統(tǒng)[J];測(cè)控技術(shù);1988年04期

5 郭紹義;網(wǎng)管系統(tǒng)[J];四川郵電技術(shù);1991年04期

6 宓冠泉;綜合的和面向服務(wù)的網(wǎng)管系統(tǒng)[J];郵電企業(yè)管理;1997年04期

7 趙莉;;網(wǎng)管系統(tǒng)在甘肅聯(lián)通的應(yīng)用及問(wèn)題[J];甘肅科技;2006年03期

8 高鵬軍;發(fā)揮網(wǎng)管系統(tǒng)作用 加速維護(hù)改革進(jìn)程[J];湖北郵電技術(shù);1998年01期

9 陳磊;上海本地大用戶集中網(wǎng)管系統(tǒng)[J];電信快報(bào);2000年08期

10 常成 ,孫玲;我們需要什么樣的網(wǎng)管系統(tǒng)?[J];軟件世界;2002年08期

相關(guān)會(huì)議論文 前10條

1 那濤;;全業(yè)務(wù)運(yùn)營(yíng)時(shí)代下山西聯(lián)通網(wǎng)管系統(tǒng)融合思路初探[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會(huì)論文集[C];2010年

2 那濤;;全業(yè)務(wù)運(yùn)營(yíng)時(shí)代下山西聯(lián)通網(wǎng)管系統(tǒng)融合初步探討[A];中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)2009年年會(huì)論文集（上冊(cè)）[C];2009年

3 王軍有;;自力更生 化繁為簡(jiǎn) 改造網(wǎng)管系統(tǒng)[A];河南省通信學(xué)會(huì)2005年學(xué)術(shù)年會(huì)論文集[C];2005年

4 李杰星;;基于移動(dòng)互聯(lián)網(wǎng)的直放站網(wǎng)管系統(tǒng)[A];《IT時(shí)代周刊》論文專版（第296期）[C];2014年

5 魏宏;胡明;龍志勇;孟洛明;;利用CORBA新技術(shù)特性改進(jìn)網(wǎng)管系統(tǒng)[A];第六屆全國(guó)計(jì)算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2002年

6 赫宏彬;;湖北省網(wǎng)擴(kuò)容網(wǎng)管系統(tǒng)及DCN網(wǎng)絡(luò)安全性的補(bǔ)充與完善[A];全國(guó)第十一次光纖通信暨第十二屆集成光學(xué)學(xué)術(shù)會(huì)議（OFCIO’2003）論文集[C];2003年

7 周洛馨;;N2000網(wǎng)管系統(tǒng)的維護(hù)[A];海南省通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2006）[C];2006年

8 萬(wàn)琦;;AIS技術(shù)在廣州交管系統(tǒng)中的應(yīng)用[A];中國(guó)航海學(xué)會(huì)船舶機(jī)電與通信導(dǎo)航專業(yè)委員會(huì)2002年學(xué)術(shù)年會(huì)論文集（通信導(dǎo)航分冊(cè)）[C];2002年

9 趙勇;高鳳榮;邢春曉;;基于用戶權(quán)威的協(xié)作過(guò)濾算法[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2006年

10 陳其豐;;NetCare客戶網(wǎng)管系統(tǒng)本地NOC平臺(tái)建設(shè)[A];海南省通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2006）[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 記者　 孫梅芳 實(shí)習(xí)生 殷斐 通訊員　 楊新興;市房管系統(tǒng)推出系列服務(wù)項(xiàng)目[N];洛陽(yáng)日?qǐng)?bào);2006年

2 記者 劉杰;全市運(yùn)管系統(tǒng)探索建立群眾評(píng)價(jià)投訴機(jī)制[N];運(yùn)城日?qǐng)?bào);2014年

3 記者 王福祥;市城管系統(tǒng)：著力做實(shí)六個(gè)方面工作[N];唐山勞動(dòng)日?qǐng)?bào);2007年

4 通訊員 俞佳;市城管系統(tǒng)扎實(shí)開(kāi)展干部大走訪[N];泰州日?qǐng)?bào);2010年

5 本報(bào)記者 龍蓉;全區(qū)運(yùn)管系統(tǒng)自我增壓提升素質(zhì)[N];銅仁日?qǐng)?bào);2010年

6 記者 朱衛(wèi)民　通訊員 黃中付;全市運(yùn)管系統(tǒng)開(kāi)展民主評(píng)議政風(fēng)行風(fēng)活動(dòng)[N];黃岡日?qǐng)?bào);2010年

7 本報(bào)記者 陳智通;第一是怎么得來(lái)的[N];中國(guó)交通報(bào);2001年

8 中訊公司供稿;電話網(wǎng)網(wǎng)管系統(tǒng)讓“管理”問(wèn)題迎刃而解[N];計(jì)算機(jī)世界;2002年

9 ;如何打造未來(lái)網(wǎng)管系統(tǒng)[N];通信產(chǎn)業(yè)報(bào);2003年

10 大唐電信 董海軍;網(wǎng)管系統(tǒng)———電信運(yùn)營(yíng)的重要基石[N];通信產(chǎn)業(yè)報(bào);2003年

相關(guān)博士學(xué)位論文 前4條

1 楊超;非恒定流充液管系統(tǒng)耦合振動(dòng)特性及振動(dòng)抑制[D];華中科技大學(xué);2007年

2 陸宏亮;賽博—物理空間中數(shù)據(jù)分布式聚合與大規(guī)模處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2016年

3 張亮;推薦系統(tǒng)中協(xié)同過(guò)濾算法若干問(wèn)題的研究[D];北京郵電大學(xué);2009年

4 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 段雪巖;流處理技術(shù)在網(wǎng)管系統(tǒng)中的應(yīng)用[D];北京郵電大學(xué);2017年

2 鄭方平;基于Web Service中心網(wǎng)管系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2014年

3 陳以淮;基于Ice無(wú)線集群網(wǎng)管系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2014年

4 郭行洲;寧夏鐵通XPON網(wǎng)管系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

5 房靜;基于雙因素理論的Z市城管系統(tǒng)勞務(wù)派遣人員激勵(lì)機(jī)制研究[D];云南師范大學(xué);2016年

6 陳希;基于PTN網(wǎng)管的EMS層研究與實(shí)現(xiàn)[D];武漢理工大學(xué);2015年

7 薛文龍;PTN網(wǎng)管系統(tǒng)中OAM機(jī)制的研究與實(shí)現(xiàn)[D];武漢理工大學(xué);2015年

8 汪祥波;PTN網(wǎng)管中雙歸保護(hù)機(jī)制的研究與實(shí)現(xiàn)[D];武漢理工大學(xué);2015年

9 劉念東;中國(guó)聯(lián)通國(guó)際交換網(wǎng)管系統(tǒng)建設(shè)與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

10 王永剛;某省級(jí)數(shù)據(jù)網(wǎng)網(wǎng)管系統(tǒng)二期工程可行性研究[D];北京郵電大學(xué);2010年

，

本文編號(hào)：1817708