本文關(guān)鍵詞：基于大數(shù)據(jù)技術(shù)的告警日志數(shù)據(jù)分析

  更多相關(guān)文章： 告警數(shù)據(jù) Hadoop Spark

【摘要】：為了更好地滿足運(yùn)營(yíng)商對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的處理需求,主要以網(wǎng)絡(luò)告警日志數(shù)據(jù)為例,詳細(xì)闡述如何利用Hadoop+Spark大數(shù)據(jù)技術(shù)挖掘和分析海量的數(shù)據(jù),進(jìn)而提高網(wǎng)絡(luò)監(jiān)控效率。
【作者單位】： 中國電信股份有限公司江西分公司;
【關(guān)鍵詞】： 告警數(shù)據(jù) Hadoop Spark
【分類號(hào)】：TP311.13
【正文快照】： 1引言 隨著電信網(wǎng)絡(luò)的不斷演進(jìn),全省數(shù)據(jù)網(wǎng)、交換網(wǎng)、接入網(wǎng)設(shè)備單月產(chǎn)生告警原始日志近億條。以上告警通過網(wǎng)元網(wǎng)管、專業(yè)綜合網(wǎng)管、智能網(wǎng)管系統(tǒng)[1]三層收斂,監(jiān)控人員每月需處理影響業(yè)務(wù)或網(wǎng)絡(luò)質(zhì)量的告警事件為20萬條,但一些對(duì)網(wǎng)絡(luò)可能造成隱患的告警信息被過濾掉。如何從

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄧奇強(qiáng);;高校圖書館流通日志數(shù)據(jù)整理探討[J];河北科技圖苑;2013年04期

2 宋愛波,莊曉青,何潔月,業(yè)寧,董逸生;圖書館大規(guī)模日志數(shù)據(jù)的快速聚類[J];應(yīng)用科學(xué)學(xué)報(bào);2003年03期

3 葉小鶯;;基于回調(diào)機(jī)制的異步日志服務(wù)的開發(fā)[J];電子世界;2012年04期

4 朱智林,左天軍,牛淑齡;基于日志的臟數(shù)據(jù)檢測(cè)與恢復(fù)[J];電子科技;2004年05期

5 李清;沈彤;關(guān)毅;;面向大規(guī)模日志數(shù)據(jù)的聚類算法研究[J];智能計(jì)算機(jī)與應(yīng)用;2012年05期

6 呂榮峰;;基于syslog-ng的集中式日志服務(wù)器及其客戶端配置方法[J];數(shù)字技術(shù)與應(yīng)用;2014年04期

7 王志勃;畢艷茹;;基于分布式架構(gòu)的煤礦企業(yè)日志數(shù)據(jù)分析設(shè)計(jì)與實(shí)現(xiàn)[J];煤炭技術(shù);2014年03期

8 黃其民;;基于Oracle日志技術(shù)的實(shí)時(shí)災(zāi)備方案[J];中國科技信息;2006年02期

9 彭薇;;網(wǎng)站W(wǎng)eb日志數(shù)據(jù)預(yù)處理模型的建立[J];企業(yè)科技與發(fā)展;2010年18期

10 邊鵬;蘇玉召;;基于檢索日志的檢索詞推薦研究[J];圖書情報(bào)工作;2012年09期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前2條

1 王廣立;張立群;;一種基于日志的流程挖掘算法的設(shè)計(jì)與實(shí)現(xiàn)[A];全國第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

2 郭新濤;梁敏;阮備軍;朱揚(yáng)勇;;挖掘Web日志降低信息搜尋的時(shí)間費(fèi)用[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

中國重要報(bào)紙全文數(shù)據(jù)庫 前2條

1 沈建;謹(jǐn)防安全策略的五大基本錯(cuò)誤[N];計(jì)算機(jī)世界;2008年

2 本報(bào)記者 胡英;RSA enVision 4.0讓企業(yè)更合規(guī)[N];計(jì)算機(jī)世界;2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉森源;流程挖掘預(yù)處理研究與應(yīng)用[D];華南理工大學(xué);2016年

2 蘇政;基于日志數(shù)據(jù)的域名訪問源多尺度分析[D];南京師范大學(xué);2013年

3 王兆永;面向大規(guī)模批量日志數(shù)據(jù)存儲(chǔ)方法的研究[D];電子科技大學(xué);2011年

4 王高壘;爬蟲日志數(shù)據(jù)信息抽取與統(tǒng)計(jì)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

5 陳超;基于分布式計(jì)算的海量日志數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

6 楊林紅;WebGIS日志數(shù)據(jù)挖掘預(yù)處理的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

7 王振東;鐵路調(diào)度指揮系統(tǒng)中日志數(shù)據(jù)庫的設(shè)計(jì)與優(yōu)化[D];中國鐵道科學(xué)研究院;2011年

8 岳寶;基于Web日志的個(gè)性化推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2012年

9 徐沛原;基于移動(dòng)終端日志數(shù)據(jù)的人群特征可視化研究[D];浙江大學(xué);2015年

10 曹旭;Hadoop平臺(tái)下海量日志數(shù)據(jù)處理模型的研究及改進(jìn)[D];浙江理工大學(xué);2013年

，

本文編號(hào)：705350