【摘要】：隨著社會信息化的建設,銀行業(yè)務線上化成為主流,電子替代率越來越高,需滿足客戶需求的銀行系統(tǒng)也越來越多。同時隨著銀行客戶、業(yè)務和系統(tǒng)的不斷擴大,銀行系統(tǒng)中已經(jīng)累積了海量的日志信息,這些日志信息產(chǎn)生速度快、類型豐富多樣、且蘊藏著銀行各類系統(tǒng)運行的關鍵信息,對確保銀行系統(tǒng)的健壯性和穩(wěn)定性研究都有極其重要的意義。如何能夠有效地對銀行系統(tǒng)的日志進行采集、解析、存儲和分析管理對銀行的發(fā)展顯得極其重要。日志的分析過程要求快速性和及時性,需要投入大量的時間成本和人力成本來跟進,給銀行系統(tǒng)運維工作帶來了極大的困擾。經(jīng)過對某城市商業(yè)銀行的深入調(diào)研,本文從某城市商業(yè)銀行數(shù)千臺生產(chǎn)服務器產(chǎn)生的海量日志為研究基礎數(shù)據(jù),結合銀行系統(tǒng)特點和日志提升系統(tǒng)運維能力的需求,設計實現(xiàn)了基于Elasticsearch(簡稱ES)技術的銀行系統(tǒng)智能運維平臺。本文的主要工作包括:(1)設計并實現(xiàn)了針對銀行系統(tǒng)的數(shù)據(jù)采集解析平臺。從該城市商業(yè)銀行的業(yè)務系統(tǒng)日志數(shù)據(jù)采集的基礎上,增加對中間件,主機,負載均衡器,防火墻,數(shù)據(jù)庫和操作系統(tǒng)層面的日志原始數(shù)據(jù)采集,經(jīng)過實時解析和計算完成對原始數(shù)據(jù)的萃取、清理、轉(zhuǎn)換和整合,將非結構化、半結構化和混合類型數(shù)據(jù)提煉處理并應用在運維管理中。同時保障了數(shù)據(jù)的安全性和完整性。(2)研究海量日志的實時收集,分析、搜索和存儲等的關鍵技術,使用功能強大的Elasticsearch技術,實現(xiàn)海量日志實時高效的搜索和存儲。同時,這些存儲好的海量數(shù)據(jù)又會被用于系統(tǒng)問題的定位、搜索、分析、干預、解決和預測,進而提升各個系統(tǒng)運維的效率和服務水平。(3)研究使用Kibana技術實現(xiàn)Elasticsearch存儲數(shù)據(jù)的實時監(jiān)控可視化展示,且通過Kibana可視化頁面對Elasticsearch存儲數(shù)據(jù)實現(xiàn)頁面高效檢索。(4)實現(xiàn)智能化鋪助運維。本文使用時間序列預測算法Prophet進行了數(shù)據(jù)預測異常分析,觀察數(shù)據(jù)的走勢,以及判斷是否在正常情況下的可接受的范圍內(nèi),如果超出平時的實際值太多,管理員就應該引起注意,以做好積極應對準備,減少系統(tǒng)異常癱瘓時間,保證系統(tǒng)平穩(wěn)安全運行。且實現(xiàn)異常及時告警機制,有效提升了運維效率和排障效率。
【學位授予單位】：蘭州大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：F832.33;TP311.52
【圖文】：

3.1 整體需求分析3.1.1 功能性需求分析本智能運維平臺功能上主要關注以下問題：（1）海量日志采集解析問題，能夠靈活采集到多種來源的日志數(shù)據(jù)，保證不會對日志源系統(tǒng)造成壓力，可以將采集到的不規(guī)則日志數(shù)據(jù)轉(zhuǎn)換整合為規(guī)則的日志數(shù)據(jù)。（2）日志傳輸問題，能夠穩(wěn)定的把日志數(shù)據(jù)在各模塊之間進行及時安全傳輸，保證數(shù)據(jù)及時有效不丟失。（3）海量日志搜索和存儲問題，能夠高效率的搜索和存儲這些海量日志數(shù)據(jù)。（4）海量日志數(shù)據(jù)可視化展示問題，能夠?qū)Ａ看鎯Φ娜罩緮?shù)據(jù)實時監(jiān)控可視化展示。（5）智能運維問題，如何在故障未發(fā)生或剛一發(fā)生時及時告警，運維人員能在第一時間快速定位處理，保障系統(tǒng)的可連續(xù)性。對以上功能性需求分析之后，設計并實現(xiàn)了如圖 3-1 所示的系統(tǒng)功能。

蘭州大學碩士研究生學位論文 基于 ES 的銀行系統(tǒng)智能運維平臺的設計與研究3.2 系統(tǒng)整體架構設計3.2.1 系統(tǒng)架構設計本智能運維平臺是一個基于分布式集群架構構建的，隨著數(shù)據(jù)和計算規(guī)模的增長，分布式系統(tǒng)是朝著越來越輕量級的資源利用，以及越來越細的粒度和松耦合的服務化方向發(fā)展的。本平臺系統(tǒng)根據(jù)軟件工程的兩個大核心思想：面向接口編程和分而治之的思想，按照系統(tǒng)功能進行了合理模塊化的劃分，將系統(tǒng)劃分為海量日志采集解析模塊、消息/發(fā)布訂閱模塊、分布式數(shù)據(jù)搜索和存儲模塊、數(shù)據(jù)可視化模塊和智能工作站模塊，整個系統(tǒng)的整體架構如圖 3-2 所示。

【參考文獻】

相關期刊論文 前10條

1 李振偉;;大數(shù)據(jù)對銀行業(yè)的影響及應對建議[J];金融經(jīng)濟;2015年16期

2 姜康;馮鈞;唐志賢;王超;;基于ElasticSearch的元數(shù)據(jù)搜索與共享平臺[J];計算機與現(xiàn)代化;2015年02期

3 彭小圣;鄧迪元;程時杰;文勁宇;李朝暉;牛林;;面向智能電網(wǎng)應用的電力大數(shù)據(jù)關鍵技術[J];中國電機工程學報;2015年03期

4 王正也;李書芳;;一種基于Hive日志分析的大數(shù)據(jù)存儲優(yōu)化方法[J];軟件;2014年11期

5 張沛;楊華飛;許元斌;;電力大數(shù)據(jù)及其在電網(wǎng)公司的應用（英文）[J];中國電機工程學報;2014年S1期

6 朱進;胡斌;邵華;羅青;江南;張景云;;基于內(nèi)存數(shù)據(jù)庫Redis的輕量級矢量地理數(shù)據(jù)組織[J];地球信息科學學報;2014年02期

7 趙龍;江榮安;;基于Hive的海量搜索日志分析系統(tǒng)研究[J];計算機應用研究;2013年11期

8 曾超宇;李金香;;Redis在高速緩存系統(tǒng)中的應用[J];微型機與應用;2013年12期

9 吳永飛;;華夏銀行一體化運維監(jiān)控模式的研究和實踐[J];中國金融電腦;2013年03期

10 王心妍;;Memcached和Redis在高速緩存方面的應用[J];無線互聯(lián)科技;2012年09期

相關碩士學位論文 前6條

1 卜曉寧;基于大數(shù)據(jù)中查詢?nèi)罩镜挠脩粜袨榉治鱿到y(tǒng)的設計與實現(xiàn)[D];北京交通大學;2015年

2 龍少杭;基于Storm的實時大數(shù)據(jù)分析系統(tǒng)的研究與實現(xiàn)[D];上海交通大學;2015年

3 劉惠;網(wǎng)絡安全設備聯(lián)動系統(tǒng)日志預處理的研究與設計[D];華北電力大學;2014年

4 蔡妙琪;基于Linux防火墻的研究及日志分析[D];安徽理工大學;2013年

5 王謙;HADOOP作業(yè)啟動性能優(yōu)化實踐[D];北京交通大學;2012年

6 程苗;云計算技術在web日志挖掘中的應用研究[D];中國科學技術大學;2011年

本文編號：2731601