基于層次聚類的日志分析技術(shù)研究
發(fā)布時(shí)間:2022-07-11 15:25
互聯(lián)網(wǎng)的普及和迅速發(fā)展的寬帶通信業(yè)務(wù),把人們帶入了一個(gè)信息極大豐富的時(shí)代。然而在給人們帶來較多便利的同時(shí),伴隨而來的信息安全事件也越來越多,造成了巨大的經(jīng)濟(jì)損失,預(yù)防和阻止安全事件的發(fā)生變得尤其重要。日志用于記錄系統(tǒng)日常運(yùn)行的狀態(tài),檢查錯(cuò)誤發(fā)生,發(fā)現(xiàn)入侵時(shí)留下的線索,可以實(shí)時(shí)防止和杜絕信息安全事件的發(fā)生,因此,應(yīng)用日志來進(jìn)行網(wǎng)絡(luò)安全分析已經(jīng)成為一個(gè)熱門的研究領(lǐng)域。本文重點(diǎn)研究了層次聚類算法Chameleon及其改進(jìn)算法,在分析其存在的不足后通過引入共享近鄰加權(quán)圖對算法進(jìn)行改進(jìn),然后將改進(jìn)的算法應(yīng)用到日志分析中,并結(jié)合Hadoop中的分布式存儲(chǔ)系統(tǒng)(HDFS)和MapReduce機(jī)制設(shè)計(jì)了在線日志分析系統(tǒng),最后,將改進(jìn)的具有消息鏈接恢復(fù)的簽密方案(Message Linkage Recovery Based on Elliptic Curve,ECMLR)對分析得到的數(shù)據(jù)及用戶指定的重要日志進(jìn)行保護(hù)。主要研究內(nèi)容包括:1.深入研究了計(jì)算機(jī)系統(tǒng)日志及日志分析常用方法首先簡單闡述了日志的概念、特點(diǎn)、作用及Windows日志的組成,然后總結(jié)了日志分析常用的方法及這些方法的優(yōu)缺點(diǎn),列舉了部分現(xiàn)有...
【文章頁數(shù)】:55 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 課題研究背景和意義
1.1.1 課題研究背景
1.1.2 課題研究意義
1.2 日志分析國內(nèi)外研究現(xiàn)狀
1.2.1 國外日志分析現(xiàn)狀
1.2.2 國內(nèi)日志分析現(xiàn)狀
1.3 本文的主要研究內(nèi)容
1.4 論文組織結(jié)構(gòu)
第二章 計(jì)算機(jī)系統(tǒng)日志綜述
2.1 日志相關(guān)知識
2.1.1 日志的概念
2.1.2 日志文件的特點(diǎn)
2.1.3 日志文件的作用
2.1.4 Windows 日志的組成
2.2 日志和事件的對應(yīng)關(guān)系
2.3 日志分析常用的方法
2.3.1 關(guān)聯(lián)分析
2.3.2 序列分析
2.3.3 聚類分析
2.4 現(xiàn)有日志分析工具
2.5 現(xiàn)有日志分析技術(shù)存在的問題
2.6 本章小結(jié)
第三章 基于層次聚類的日志分析
3.1 層次聚類概述
3.1.1 凝聚和分裂的層次聚類
3.1.2 簇間距離度量方法
3.1.3 日志分析中聚類算法的選擇標(biāo)準(zhǔn)
3.2 Chameleon 算法分析
3.2.1 Chameleon 算法基本思想
3.2.2 Chameleon 算法存在的問題
3.3 改進(jìn)的 Chameleon 算法
3.3.1 加權(quán)圖的構(gòu)建
3.3.1.1 共享近鄰加權(quán)圖形式化描述
3.3.1.2 構(gòu)建共享近鄰加權(quán)圖
3.3.2 圖的劃分
3.3.3 子簇合并
3.3.4 改進(jìn)算法總體流程
3.3.5 實(shí)驗(yàn)結(jié)果與分析
3.3.5.1 在 UCI 數(shù)據(jù)集上的性能
3.3.5.2 在人造數(shù)據(jù)集上的性能
3.4 基于改進(jìn) Chameleon 算法的日志分析
3.5 本章小結(jié)
第四章 基于 Hadoop 的在線日志分析系統(tǒng)設(shè)計(jì)
4.1 Hadoop 介紹
4.1.1 HDFS
4.1.2 MapReduce
4.2 系統(tǒng)總體設(shè)計(jì)
4.2.1 設(shè)計(jì)目標(biāo)
4.2.2 系統(tǒng)設(shè)計(jì)思路
4.2.3 系統(tǒng)基本框架
4.3 系統(tǒng)功能模塊
4.3.1 日志采集模塊
4.3.1.1 主機(jī)日志采集
4.3.1.2 網(wǎng)絡(luò)日志采集
4.3.2 日志分析模塊
4.3.2.1 日志聚類分析
4.3.2.2 含特定字段日志的統(tǒng)計(jì)分析
4.3.3 界面展示模塊
4.3.3.1 電子證據(jù)保護(hù)
4.3.3.2 用戶操作
4.3.3.3 系統(tǒng)管理
4.4 本章小結(jié)
第五章 總結(jié)與展望
5.1 創(chuàng)新點(diǎn)總結(jié)與展望
5.2 下一步研究工作
參考文獻(xiàn)
發(fā)表的學(xué)術(shù)論文及科研成果
致謝
【參考文獻(xiàn)】:
期刊論文
[1]橢圓曲線密碼中一種多標(biāo)量乘算法[J]. 陳厚友,馬傳貴. 軟件學(xué)報(bào). 2011(04)
[2]基于日志的系統(tǒng)任務(wù)模型推理工具及其應(yīng)用[J]. 高崇南,余宏亮,鄭緯民. 計(jì)算機(jī)研究與發(fā)展. 2010(08)
[3]Chameleon算法的改進(jìn)[J]. 蔣盛益,龐觀松,張黎莎. 小型微型計(jì)算機(jī)系統(tǒng). 2010(08)
[4]基于Hadoop的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J]. 胡光民,周亮,柯立新. 電腦知識與技術(shù). 2010(22)
[5]基于ECC的自認(rèn)證代理簽密方案[J]. 俞惠芳,王彩芬,王之倉. 計(jì)算機(jī)科學(xué). 2010(07)
[6]支持審計(jì)與取證聯(lián)動(dòng)的日志系統(tǒng)設(shè)計(jì)[J]. 寧興旺,劉培玉. 計(jì)算機(jī)工程與設(shè)計(jì). 2009(24)
[7]一種改進(jìn)的Chameleon算法[J]. 龍真真,張策,劉飛裔,張正文. 計(jì)算機(jī)工程. 2009(20)
[8]改進(jìn)FCM聚類算法及其在入侵檢測中的應(yīng)用[J]. 張國鎖,周創(chuàng)明,雷英杰. 計(jì)算機(jī)應(yīng)用. 2009(05)
[9]聚類算法研究[J]. 孫吉貴,劉杰,趙連宇. 軟件學(xué)報(bào). 2008(01)
[10]一種基于動(dòng)態(tài)近鄰選擇模型的聚類算法[J]. 金陽,左萬利. 計(jì)算機(jī)學(xué)報(bào). 2007(05)
博士論文
[1]網(wǎng)絡(luò)服務(wù)系統(tǒng)日志安全分析技術(shù)研究[D]. 王玲.中國科學(xué)院研究生院(計(jì)算技術(shù)研究所) 2006
碩士論文
[1]基于Hadoop的數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)[D]. 劉彤.北京郵電大學(xué) 2012
[2]基于HADOOP架構(gòu)的社保項(xiàng)目網(wǎng)絡(luò)日志分析系統(tǒng)的研究[D]. 張梓鈞.電子科技大學(xué) 2011
[3]高端容錯(cuò)計(jì)算機(jī)故障日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 魏晨輝.哈爾濱工業(yè)大學(xué) 2011
[4]面向大規(guī)模批量日志數(shù)據(jù)存儲(chǔ)方法的研究[D]. 王兆永.電子科技大學(xué) 2011
[5]SOM聚類算法的改進(jìn)及其在文本挖掘中的應(yīng)用研究[D]. 蔡麗宏.南京航空航天大學(xué) 2011
[6]基于日志的安全審計(jì)管理系統(tǒng)的研究與實(shí)現(xiàn)[D]. 楊舒琴.北京郵電大學(xué) 2011
[7]可視化日志分析系統(tǒng)的研究與實(shí)現(xiàn)[D]. 楊華.西安電子科技大學(xué) 2010
[8]網(wǎng)絡(luò)環(huán)境下異構(gòu)日志信息獲取和預(yù)處理研究[D]. 王秀鋒.哈爾濱工程大學(xué) 2010
[9]層次聚類算法的研究及應(yīng)用[D]. 段明秀.中南大學(xué) 2009
[10]基于Windows日志的計(jì)算機(jī)取證模型系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[D]. 趙旭.東北師范大學(xué) 2009
本文編號:3658408
【文章頁數(shù)】:55 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 課題研究背景和意義
1.1.1 課題研究背景
1.1.2 課題研究意義
1.2 日志分析國內(nèi)外研究現(xiàn)狀
1.2.1 國外日志分析現(xiàn)狀
1.2.2 國內(nèi)日志分析現(xiàn)狀
1.3 本文的主要研究內(nèi)容
1.4 論文組織結(jié)構(gòu)
第二章 計(jì)算機(jī)系統(tǒng)日志綜述
2.1 日志相關(guān)知識
2.1.1 日志的概念
2.1.2 日志文件的特點(diǎn)
2.1.3 日志文件的作用
2.1.4 Windows 日志的組成
2.2 日志和事件的對應(yīng)關(guān)系
2.3 日志分析常用的方法
2.3.1 關(guān)聯(lián)分析
2.3.2 序列分析
2.3.3 聚類分析
2.4 現(xiàn)有日志分析工具
2.5 現(xiàn)有日志分析技術(shù)存在的問題
2.6 本章小結(jié)
第三章 基于層次聚類的日志分析
3.1 層次聚類概述
3.1.1 凝聚和分裂的層次聚類
3.1.2 簇間距離度量方法
3.1.3 日志分析中聚類算法的選擇標(biāo)準(zhǔn)
3.2 Chameleon 算法分析
3.2.1 Chameleon 算法基本思想
3.2.2 Chameleon 算法存在的問題
3.3 改進(jìn)的 Chameleon 算法
3.3.1 加權(quán)圖的構(gòu)建
3.3.1.1 共享近鄰加權(quán)圖形式化描述
3.3.1.2 構(gòu)建共享近鄰加權(quán)圖
3.3.2 圖的劃分
3.3.3 子簇合并
3.3.4 改進(jìn)算法總體流程
3.3.5 實(shí)驗(yàn)結(jié)果與分析
3.3.5.1 在 UCI 數(shù)據(jù)集上的性能
3.3.5.2 在人造數(shù)據(jù)集上的性能
3.4 基于改進(jìn) Chameleon 算法的日志分析
3.5 本章小結(jié)
第四章 基于 Hadoop 的在線日志分析系統(tǒng)設(shè)計(jì)
4.1 Hadoop 介紹
4.1.1 HDFS
4.1.2 MapReduce
4.2 系統(tǒng)總體設(shè)計(jì)
4.2.1 設(shè)計(jì)目標(biāo)
4.2.2 系統(tǒng)設(shè)計(jì)思路
4.2.3 系統(tǒng)基本框架
4.3 系統(tǒng)功能模塊
4.3.1 日志采集模塊
4.3.1.1 主機(jī)日志采集
4.3.1.2 網(wǎng)絡(luò)日志采集
4.3.2 日志分析模塊
4.3.2.1 日志聚類分析
4.3.2.2 含特定字段日志的統(tǒng)計(jì)分析
4.3.3 界面展示模塊
4.3.3.1 電子證據(jù)保護(hù)
4.3.3.2 用戶操作
4.3.3.3 系統(tǒng)管理
4.4 本章小結(jié)
第五章 總結(jié)與展望
5.1 創(chuàng)新點(diǎn)總結(jié)與展望
5.2 下一步研究工作
參考文獻(xiàn)
發(fā)表的學(xué)術(shù)論文及科研成果
致謝
【參考文獻(xiàn)】:
期刊論文
[1]橢圓曲線密碼中一種多標(biāo)量乘算法[J]. 陳厚友,馬傳貴. 軟件學(xué)報(bào). 2011(04)
[2]基于日志的系統(tǒng)任務(wù)模型推理工具及其應(yīng)用[J]. 高崇南,余宏亮,鄭緯民. 計(jì)算機(jī)研究與發(fā)展. 2010(08)
[3]Chameleon算法的改進(jìn)[J]. 蔣盛益,龐觀松,張黎莎. 小型微型計(jì)算機(jī)系統(tǒng). 2010(08)
[4]基于Hadoop的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J]. 胡光民,周亮,柯立新. 電腦知識與技術(shù). 2010(22)
[5]基于ECC的自認(rèn)證代理簽密方案[J]. 俞惠芳,王彩芬,王之倉. 計(jì)算機(jī)科學(xué). 2010(07)
[6]支持審計(jì)與取證聯(lián)動(dòng)的日志系統(tǒng)設(shè)計(jì)[J]. 寧興旺,劉培玉. 計(jì)算機(jī)工程與設(shè)計(jì). 2009(24)
[7]一種改進(jìn)的Chameleon算法[J]. 龍真真,張策,劉飛裔,張正文. 計(jì)算機(jī)工程. 2009(20)
[8]改進(jìn)FCM聚類算法及其在入侵檢測中的應(yīng)用[J]. 張國鎖,周創(chuàng)明,雷英杰. 計(jì)算機(jī)應(yīng)用. 2009(05)
[9]聚類算法研究[J]. 孫吉貴,劉杰,趙連宇. 軟件學(xué)報(bào). 2008(01)
[10]一種基于動(dòng)態(tài)近鄰選擇模型的聚類算法[J]. 金陽,左萬利. 計(jì)算機(jī)學(xué)報(bào). 2007(05)
博士論文
[1]網(wǎng)絡(luò)服務(wù)系統(tǒng)日志安全分析技術(shù)研究[D]. 王玲.中國科學(xué)院研究生院(計(jì)算技術(shù)研究所) 2006
碩士論文
[1]基于Hadoop的數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)[D]. 劉彤.北京郵電大學(xué) 2012
[2]基于HADOOP架構(gòu)的社保項(xiàng)目網(wǎng)絡(luò)日志分析系統(tǒng)的研究[D]. 張梓鈞.電子科技大學(xué) 2011
[3]高端容錯(cuò)計(jì)算機(jī)故障日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 魏晨輝.哈爾濱工業(yè)大學(xué) 2011
[4]面向大規(guī)模批量日志數(shù)據(jù)存儲(chǔ)方法的研究[D]. 王兆永.電子科技大學(xué) 2011
[5]SOM聚類算法的改進(jìn)及其在文本挖掘中的應(yīng)用研究[D]. 蔡麗宏.南京航空航天大學(xué) 2011
[6]基于日志的安全審計(jì)管理系統(tǒng)的研究與實(shí)現(xiàn)[D]. 楊舒琴.北京郵電大學(xué) 2011
[7]可視化日志分析系統(tǒng)的研究與實(shí)現(xiàn)[D]. 楊華.西安電子科技大學(xué) 2010
[8]網(wǎng)絡(luò)環(huán)境下異構(gòu)日志信息獲取和預(yù)處理研究[D]. 王秀鋒.哈爾濱工程大學(xué) 2010
[9]層次聚類算法的研究及應(yīng)用[D]. 段明秀.中南大學(xué) 2009
[10]基于Windows日志的計(jì)算機(jī)取證模型系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[D]. 趙旭.東北師范大學(xué) 2009
本文編號:3658408
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/3658408.html
最近更新
教材專著