本文關鍵詞：一種基于文法壓縮的日志異常檢測算法

  更多相關文章： 異常檢測 文法壓縮 日志挖掘 相對熵

【摘要】：近年來日志挖掘是一種廣泛使用的檢測應用狀態(tài)異常的方法.現(xiàn)有的異常檢測算法需要大量計算,或者它們的有效性依賴于測試日志滿足一些預先定義的日志事件概率分布.因此,它們無法用于在線檢測并且在假設不成立時會失效.為了解決這些問題,該文提出了一種新的異常檢測算法CADM.CADM使用正常日志和待檢測日志之間的相對熵作為異常程度的標識.為了計算相對熵,CADM充分利用了相對熵和文法壓縮編碼大小之間的關系而不是預先定義日志事件概率分布的族.通過這種方式,CADM避免了對日志分布的預先假設.除此之外,CADM的計算復雜度為O(n),因此在日志較大的情況下有較好的擴展性.通過在仿真的日志和公開日志集上的評測結果可以看出,CADM不僅可以應用在更廣泛的程序日志上,也有更高的檢測精度,因此更適合在線日志挖掘異常檢測的工作.
【作者單位】： 中國科學院信息工程研究所信息內容安全技術國家工程實驗室;中國科學院大學計算機與控制學院;
【關鍵詞】： 異常檢測 文法壓縮 日志挖掘 相對熵
【基金】：國家自然科學基金(61070028) 國家“八六三”高技術研究發(fā)展計劃項目基金(2012AA01A401) 先導專項(XDA06030200)資助~~
【分類號】：TP393.08
【正文快照】： 1引言隨著互聯(lián)網(wǎng)的不斷發(fā)展,各類網(wǎng)絡應用在生產生活中發(fā)揮著越來越重要的作用.但與此同時,針對網(wǎng)絡應用的攻擊不斷涌現(xiàn),如各類病毒、蠕蟲等①.另一方面,隨著網(wǎng)絡應用規(guī)模的不斷增大以及為節(jié)省成本使用廉價機器部署服務的趨勢的發(fā)展,程序的執(zhí)行路徑難以預測,并且硬件環(huán)境不再

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前5條

1 張樂君;國林;張健沛;楊靜;夏磊;;測度屬性關系分析的分布式系統(tǒng)異常檢測[J];北京郵電大學學報;2013年06期

2 高恩陽;劉偉軍;王天然;;一種基于線性規(guī)劃的孤立點檢測方法[J];控制工程;2013年06期

3 夏敏納;龔德良;肖娟;;一種面向可靠云計算的自適應故障檢測方法[J];計算機應用研究;2014年02期

4 胡云;王崇駿;謝俊元;吳駿;周作建;;社群演化的穩(wěn)健遷移估計及演化離群點檢測[J];軟件學報;2013年11期

5 婁圣金;張繼福;劉愛琴;;一種基于p權值的離群數(shù)據(jù)挖掘算法[J];小型微型計算機系統(tǒng);2014年01期

中國博士學位論文全文數(shù)據(jù)庫 前2條

1 賀惠新;燃機異常檢測系統(tǒng)的關鍵技術研究[D];哈爾濱工業(yè)大學;2013年

2 任維武;用于分布式入侵檢測系統(tǒng)的合作式本體模型[D];吉林大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前4條

1 孟靜;異常數(shù)據(jù)挖掘算法研究與應用[D];江南大學;2013年

2 龐景月;滑動窗口模型下的數(shù)據(jù)流自適應異常檢測方法研究[D];哈爾濱工業(yè)大學;2013年

3 肖托;一種改進的支持向量數(shù)據(jù)描述算法[D];哈爾濱工程大學;2013年

4 仲莉;基于隱馬爾科夫模型的低碳異常檢測方法研究及應用[D];華南理工大學;2013年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 黃鐵;張奮;;基于隱馬爾可夫模型的內部威脅檢測方法[J];計算機工程與設計;2010年05期

2 卿斯?jié)h ,蔣建春 ,馬恒太 ,文偉平 ,劉雪飛;入侵檢測技術研究綜述[J];通信學報;2004年07期

3 于楓,馬曉春,高翔;頻繁情節(jié)挖掘方法在入侵檢測中的應用[J];計算機應用研究;2005年07期

4 趙峰;李慶華;;基于數(shù)值序列分析的容侵異常檢測算法[J];小型微型計算機系統(tǒng);2006年08期

5 宋歌,閆巧,喻建平;神經網(wǎng)絡在異常檢測中的應用[J];計算機工程與應用;2002年18期

6 岳侖,杜新華,張華;特征檢測與異常檢測相結合的入侵檢測模型[J];通信技術;2003年11期

7 吉治鋼,蔡利棟;基于Fuzzy ART神經網(wǎng)絡的Linux進程行為異常檢測[J];計算機工程;2005年03期

8 李戰(zhàn)春;李之棠;黎耀;;基于相關特征矩陣和神經網(wǎng)絡的異常檢測研究[J];計算機工程與應用;2006年07期

9 盧艷軍;蔡國浩;張靖;;廣域網(wǎng)入侵異常檢測技術實現(xiàn)[J];中國新通信;2006年19期

10 張兆莉;蔡永泉;史曉龍;;一種用于異常檢測的系統(tǒng)調用參數(shù)及序列分析算法[J];微計算機信息;2006年33期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 鄺祝芳;陽國貴;李清;;基于隱Markov模型的數(shù)據(jù)庫異常檢測技術[A];第二十三屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2006年

2 蔡麗萍;李茂青;;一種基于模糊聚類的日志挖掘方法及應用[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

3 蒲曉豐;雷武虎;黃濤;王迪;;基于穩(wěn)健背景子空間的高光譜圖像異常檢測[A];中國光學學會2010年光學大會論文集[C];2010年

4 譚瑩;王丹;;基于流量的網(wǎng)絡行為分析模型的設計與實現(xiàn)[A];2010年全國通信安全學術會議論文集[C];2010年

5 劉輝;蔡利棟;;Linux進程行為的模式提取與異常檢測[A];信號與信息處理技術——第一屆信號與信息處理聯(lián)合學術會議論文集[C];2002年

6 周莉;張勇;邢春曉;;ULMF:一種基于構件的通用日志挖掘框架[A];第二十五屆中國數(shù)據(jù)庫學術會議論文集（一）[C];2008年

7 喬立巖;彭喜元;彭宇;;基于支持向量機的鍵盤密碼輸入異常檢測方法研究[A];2004全國測控、計量與儀器儀表學術年會論文集（上冊）[C];2004年

8 董恩生;董永貴;賈惠波;;飛機交流發(fā)電機異常檢測方法的研究[A];第二屆全國信息獲取與處理學術會議論文集[C];2004年

9 張立燕;;基于定點成分分析的高光譜圖像低概率異常檢測方法研究[A];中國地理學會百年慶典學術論文摘要集[C];2009年

10 許列;王明印;;基于隱馬爾可夫模型(HMM)實時異常檢測[A];中國通信學會第六屆學術年會論文集（上）[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者 邊歆;異常檢測是阻止蠕蟲攻擊的最好方法？[N];網(wǎng)絡世界;2006年

2 Garry Sexton;入侵防護兼顧檢測與防范[N];中國計算機報;2003年

3 吳作順;IDS的普遍缺陷[N];中國計算機報;2002年

4 ;網(wǎng)絡管理的活力元素[N];網(wǎng)絡世界;2005年

5 ;IDS續(xù)存論對峙滅亡論[N];網(wǎng)絡世界;2003年

6 費宗蓮;安全防御的“動”感魅力[N];中國計算機報;2005年

7 中聯(lián)綠盟、李群;IDS的關鍵：解決好誤報和漏報[N];中國計算機報;2002年

8 ;怎么解決IDS的問題[N];中國計算機報;2003年

9 本報記者 邊歆;泥上指爪印深痕[N];網(wǎng)絡世界;2005年

10 ;McAfee IntruShield締造震蕩波克星[N];中國計算機報;2004年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 周俊臨;基于數(shù)據(jù)挖掘的分布式異常檢測[D];電子科技大學;2010年

2 趙靜;網(wǎng)絡協(xié)議異常檢測模型的研究與應用[D];北京交通大學;2010年

3 吳志忠;移動設備及網(wǎng)絡的異常檢測方法研究[D];中國科學技術大學;2013年

4 魏小濤;在線自適應網(wǎng)絡異常檢測系統(tǒng)模型與相關算法研究[D];北京交通大學;2009年

5 馬麗;基于流形學習算法的高光譜圖像分類和異常檢測[D];華中科技大學;2010年

6 王曉鋒;Web應用入侵異常檢測新技術研究[D];華中科技大學;2007年

7 夏正敏;基于分形的網(wǎng)絡流量分析及異常檢測技術研究[D];上海交通大學;2012年

8 郁繼鋒;基于數(shù)據(jù)挖掘的Web應用入侵異常檢測研究[D];華中科技大學;2011年

9 陳佐;時間序列相空間重構數(shù)據(jù)挖掘方法及其在證券市場的應用[D];湖南大學;2007年

10 鄭黎明;大規(guī)模通信網(wǎng)絡流量異常檢測與優(yōu)化關鍵技術研究[D];國防科學技術大學;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 寧興旺;基于日志挖掘的網(wǎng)絡安全審計系統(tǒng)研究與實現(xiàn)[D];山東師范大學;2010年

2 桂輝;WEB日志挖掘在網(wǎng)站推薦服務中的應用研究[D];華北電力大學（北京）;2011年

3 史振華;基于Web日志挖掘的網(wǎng)站優(yōu)化技術與應用[D];武漢理工大學;2010年

4 楊鵬;Web日志挖掘數(shù)據(jù)預處理算法研究與實現(xiàn)[D];北京郵電大學;2011年

5 劉宇婷;基于Web日志挖掘的個性化服務研究與應用[D];北京理工大學;2010年

6 程苗;云計算技術在web日志挖掘中的應用研究[D];中國科學技術大學;2011年

7 趙偉;基于Web日志的用戶訪問模式挖掘[D];天津大學;2004年

8 孫趙平;基于關聯(lián)規(guī)則的web日志挖掘應用研究[D];安徽大學;2010年

9 韓莉;基于概念格的Web使用日志挖掘及其在個人化技術中的應用[D];安徽大學;2003年

10 王靚明;融合多重模糊矩陣_SOFM的Web日志挖掘研究[D];南昌大學;2010年

，

本文編號：986271