本文關(guān)鍵詞：云計(jì)算環(huán)境下實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：現(xiàn)有的云計(jì)算平臺(tái)中,由于系統(tǒng)組織龐大、架構(gòu)復(fù)雜,各個(gè)節(jié)點(diǎn)和組件所產(chǎn)生的日志數(shù)據(jù)量巨大且分散在不同節(jié)點(diǎn)中,存在著日志數(shù)據(jù)的格式多樣、數(shù)據(jù)交換困難、數(shù)據(jù)的存儲(chǔ)和檢索困難、日志數(shù)據(jù)的讀取效率低等問(wèn)題,導(dǎo)致大量的日志數(shù)據(jù)信息無(wú)法被充分地挖掘利用。本文正是針對(duì)上述問(wèn)題,圍繞云計(jì)算環(huán)境下的實(shí)時(shí)日志分析展開(kāi)了研究。本文的主要貢獻(xiàn)有：(1)針對(duì)云平臺(tái)復(fù)雜的物理架構(gòu)和邏輯架構(gòu),基于分布式系統(tǒng),結(jié)合實(shí)時(shí)流數(shù)據(jù)收集、海量數(shù)據(jù)的存儲(chǔ)和索引、實(shí)時(shí)數(shù)據(jù)分析計(jì)算等功能模塊,設(shè)計(jì)了一套完整的、可擴(kuò)展的云計(jì)算環(huán)境下的實(shí)時(shí)日志分析系統(tǒng)。該系統(tǒng)能夠幫助系統(tǒng)運(yùn)維人員高效地檢索整個(gè)系統(tǒng)中的日志記錄,有效地管理各種日志數(shù)據(jù),并通過(guò)日志數(shù)據(jù)快速了解當(dāng)前系統(tǒng)的運(yùn)行狀態(tài)和服務(wù)狀態(tài)。(2)該系統(tǒng)能夠從海量且多樣的日志數(shù)據(jù)中,實(shí)時(shí)地挖掘出數(shù)據(jù)所蘊(yùn)含的信息,一方面對(duì)系統(tǒng)的實(shí)時(shí)運(yùn)行狀態(tài)進(jìn)行分析,另一方面,通過(guò)使用機(jī)器學(xué)習(xí)的算法和模型,實(shí)現(xiàn)了對(duì)于系統(tǒng)未來(lái)可能發(fā)生的故障的預(yù)測(cè)。(3)系統(tǒng)提供了友好的展示界面對(duì)數(shù)據(jù)進(jìn)行了可視化處理,生動(dòng)地將系統(tǒng)中的數(shù)據(jù)及其所蘊(yùn)含的信息展示出來(lái),提高了數(shù)據(jù)分析工作的效率。
【關(guān)鍵詞】：云計(jì)算 日志系統(tǒng) 實(shí)時(shí)計(jì)算 故障預(yù)測(cè) 數(shù)據(jù)可視化
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP311.52
【目錄】：

• 摘要5-6
• Abstract6-13
• 第1章 緒論13-17
• 1.1 課題背景13-14
• 1.2 課題目標(biāo)14-15
• 1.3 本文貢獻(xiàn)和創(chuàng)新點(diǎn)15
• 1.4 本文組織結(jié)構(gòu)15-16
• 1.5 本章小結(jié)16-17
• 第2章 研究現(xiàn)狀和相關(guān)技術(shù)17-27
• 2.1 國(guó)內(nèi)外相關(guān)領(lǐng)域研究現(xiàn)狀17-21
• 2.1.1 Heka17-18
• 2.1.2 Flume18-20
• 2.1.3 Scribe20-21
• 2.2 相關(guān)工作和技術(shù)21-26
• 2.2.1 消息隊(duì)列21-24
• 2.2.2 時(shí)間序列數(shù)據(jù)庫(kù)24-25
• 2.2.3 隱半馬爾可夫模型25-26
• 2.3 本章小結(jié)26-27
• 第3章 云環(huán)境下實(shí)時(shí)日志分析系統(tǒng)的總體設(shè)計(jì)27-33
• 3.1 系統(tǒng)總體需求27-28
• 3.2 系統(tǒng)整體架構(gòu)設(shè)計(jì)28-29
• 3.3 系統(tǒng)中的數(shù)據(jù)流29-30
• 3.4 日志數(shù)據(jù)聚合平臺(tái)30-31
• 3.5 實(shí)時(shí)日志分析平臺(tái)31-32
• 3.6 本章小結(jié)32-33
• 第4章 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)33-51
• 4.1 分布式日志數(shù)據(jù)聚合平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)33-45
• 4.1.1 平臺(tái)需求分析33-34
• 4.1.2 平臺(tái)總體架構(gòu)設(shè)計(jì)34-36
• 4.1.3 日志數(shù)據(jù)收集36-38
• 4.1.4 日志數(shù)據(jù)解析過(guò)濾38-41
• 4.1.5 數(shù)據(jù)存儲(chǔ)和搜索41-45
• 4.2 分布式實(shí)時(shí)日志分析平臺(tái)設(shè)計(jì)和實(shí)現(xiàn)45-50
• 4.2.1 平臺(tái)需求分析45
• 4.2.2 平臺(tái)總體架構(gòu)設(shè)計(jì)45-47
• 4.2.3 日志分析計(jì)算和故障預(yù)測(cè)47-48
• 4.2.4 時(shí)間序列數(shù)據(jù)的存儲(chǔ)48-49
• 4.2.5 數(shù)據(jù)可視化49-50
• 4.3 本章小結(jié)50-51
• 第5章 實(shí)時(shí)日志分析計(jì)算51-67
• 5.1 系統(tǒng)狀態(tài)統(tǒng)計(jì)分析51-60
• 5.1.1 虛擬機(jī)創(chuàng)建流程分析51-58
• 5.1.2 云硬盤(pán)服務(wù)狀態(tài)分析58-60
• 5.2 系統(tǒng)故障預(yù)測(cè)分析60-66
• 5.2.1 提取日志事件序列61-62
• 5.2.2 故障相關(guān)事件序列的聚類(lèi)62-63
• 5.2.3 噪聲過(guò)濾63-64
• 5.2.4 故障預(yù)測(cè)64-66
• 5.3 本章小結(jié)66-67
• 第6章 實(shí)驗(yàn)結(jié)果與分析67-79
• 6.1 實(shí)驗(yàn)環(huán)境67-68
• 6.2 系統(tǒng)性能測(cè)試68-71
• 6.2.1 日志數(shù)據(jù)收集器性能測(cè)試68-69
• 6.2.2 存儲(chǔ)搜索模塊性能測(cè)試69-71
• 6.3 實(shí)時(shí)日志分析實(shí)驗(yàn)分析71-75
• 6.3.1 云硬盤(pán)服務(wù)狀態(tài)分析實(shí)驗(yàn)71-74
• 6.3.2 系統(tǒng)實(shí)時(shí)性測(cè)試74-75
• 6.4 系統(tǒng)故障預(yù)測(cè)實(shí)驗(yàn)分析75-78
• 6.5 本章小結(jié)78-79
• 第7章 總結(jié)和展望79-81
• 7.1 本文總結(jié)79
• 7.2 下一步工作和未來(lái)展望79-81
• 參考文獻(xiàn)81-84
• 致謝84

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 張曉剛;潘久輝;;MS SQL Server 2000日志分析方法的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年19期

2 李春林;周根鴻;張文體;;重視日志審計(jì)確保數(shù)據(jù)安全[J];醫(yī)學(xué)信息;2007年10期

3 梁曉雪;王鋒;;基于聚類(lèi)的日志分析技術(shù)綜述與展望[J];云南大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年S1期

4 黃海隆;陳賽娉;;計(jì)算機(jī)日志分析與管理方法的研究[J];大眾科技;2006年07期

5 鄭毅;;基于日志分析的網(wǎng)絡(luò)IDS研究[J];襄樊學(xué)院學(xué)報(bào);2008年11期

6 陳庭平;沈麗娟;曾鵬;;日志服務(wù)器建設(shè)和應(yīng)用[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年09期

7 鄒先霞;賈維嘉;潘久輝;;基于數(shù)據(jù)庫(kù)日志的變化數(shù)據(jù)捕獲研究[J];小型微型計(jì)算機(jī)系統(tǒng);2012年03期

8 羅新;;防火墻日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)時(shí)代;2012年02期

9 姜良華;崔建明;;Serv-U FTP服務(wù)器日志分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2010年28期

10 李玉榮;楊樹(shù)強(qiáng);賈焰;周斌;樊宇;;分布式日志服務(wù)關(guān)鍵技術(shù)研究[J];計(jì)算機(jī)工程與應(yīng)用;2006年07期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 馬辰;武斌;;一種基于攻擊事件圖的蜜網(wǎng)日志分析方法[A];虛擬運(yùn)營(yíng)與云計(jì)算——第十八屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2013年

2 周濤;;基于數(shù)據(jù)挖掘的入侵檢測(cè)日志分析技術(shù)研究[A];第二屆中國(guó)科學(xué)院博士后學(xué)術(shù)年會(huì)暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會(huì)議程序冊(cè)[C];2010年

3 陳晨;鄭康鋒;;一種基于支持向量機(jī)的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

4 劉莉;;基于多協(xié)議技術(shù)的日志集中管理安全方案[A];2008年中國(guó)通信學(xué)會(huì)無(wú)線及移動(dòng)通信委員會(huì)學(xué)術(shù)年會(huì)論文集[C];2008年

5 耿濤;;Web日志分析在電子數(shù)據(jù)取證中的應(yīng)用[A];第二十一次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2006年

6 閆龍川;王懷宇;李楓;毛一凡;;基于Hadoop的郵件日志分析與研究[A];2012電力行業(yè)信息化年會(huì)論文集[C];2012年

7 陳慶章;王磊;毛科技;戴國(guó)勇;;基于防火墻日志的在線攻擊偵查系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)(英文)[A];全國(guó)第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

8 王振亞;武斌;;基于MFI-WT算法的蜜網(wǎng)日志分析方法[A];第十七屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2012年

9 金松昌;方濱興;楊樹(shù)強(qiáng);賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

10 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類(lèi)算法及其在IDS日志分析中的應(yīng)用[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 中航工業(yè)南方航空工業(yè)集團(tuán)(有限)公司科技與信息部 鄒滬湘;分析日志識(shí)別暴力破解[N];計(jì)算機(jī)世界;2013年

2 ;日志分析中的五個(gè)誤區(qū)[N];網(wǎng)絡(luò)世界;2004年

3 陳代壽;網(wǎng)管的四兩撥千斤[N];中國(guó)計(jì)算機(jī)報(bào);2004年

4 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;大數(shù)據(jù)日志分析借機(jī)器學(xué)習(xí)騰飛[N];網(wǎng)絡(luò)世界;2014年

5 《網(wǎng)絡(luò)世界》評(píng)測(cè)實(shí)驗(yàn)室 于洋;用好Web日志[N];網(wǎng)絡(luò)世界;2004年

6 重慶 航行者;IIS的安全[N];電腦報(bào);2002年

7 河南工業(yè)職業(yè)技術(shù)學(xué)院 邱建新;監(jiān)測(cè)Squid日志的五種方法[N];計(jì)算機(jī)世界;2005年

8 shotgun;入侵檢測(cè)初步（上）[N];電腦報(bào);2001年

9 朱閔;淺談企業(yè)核心應(yīng)用的安全審計(jì)(下)[N];網(wǎng)絡(luò)世界;2008年

10 覃進(jìn)文;在Windows 2000&&2003下快速安裝Webalizer[N];中國(guó)電腦教育報(bào);2003年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 饒翔;基于日志的大規(guī)模分布式軟件系統(tǒng)可信保障技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

2 曹志波;基于日志的任務(wù)建模及調(diào)度優(yōu)化的研究[D];華南理工大學(xué);2014年

3 胡蓉;WEB日志和子空間聚類(lèi)挖掘算法研究[D];華中科技大學(xué);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張?zhí)焐?日志采集與分析在Web網(wǎng)站中的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

2 周海靖;日志大數(shù)據(jù)分析平臺(tái)技術(shù)研究[D];山東大學(xué);2015年

3 賴特;網(wǎng)絡(luò)安全設(shè)備日志融合技術(shù)研究[D];電子科技大學(xué);2015年

4 董妍妍;基于Hadoop的Teradata數(shù)據(jù)倉(cāng)庫(kù)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

5 李名弈;IPTVQOS日志分析方法研究[D];復(fù)旦大學(xué);2013年

6 劉季函(Liu,Chi Han);基于Spark的網(wǎng)絡(luò)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

7 李榮榮;基于Hadoop平臺(tái)的日志分析系統(tǒng)[D];復(fù)旦大學(xué);2013年

8 周云斌;基于主機(jī)的日志大數(shù)椐分析及安全性檢查[D];大連理工大學(xué);2015年

9 張迪;基于NoSQL的大規(guī)模Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年

10 潘宇軒;基于Django的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

  本文關(guān)鍵詞：云計(jì)算環(huán)境下實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：329541