隨著信息技術和互聯(lián)網(wǎng)技術在證券金融行業(yè)的廣泛應用,越來越多的證券業(yè)務通過互聯(lián)網(wǎng)來完成。伴隨證券行業(yè)信息化程度的不斷深入,證券交易系統(tǒng)中的日志數(shù)據(jù)呈現(xiàn)爆炸式增長趨勢。這些日志中不僅包含系統(tǒng)的運行狀態(tài)信息,并且包含海量的客戶行為信息。在傳統(tǒng)的方式中,日志的處理是基于單點服務器,效率低、擴展性和存儲都受到很大的限制,更難以支持基于日志的分析處理。同時,證券監(jiān)管機構對證券公司開展網(wǎng)上證券交易業(yè)務的相關要求,證券交易系統(tǒng)的日志必須長期保存,用于配合監(jiān)管機構查閱客戶相關的交易行為和系統(tǒng)故障的事后排查。在此背景下,開發(fā)日志采集分析平臺,實現(xiàn)對證券交易系統(tǒng)日志數(shù)據(jù)進行統(tǒng)一實時收集、集中存儲以及查詢分析,對提升監(jiān)管質(zhì)量和提高業(yè)務分析能力都有重要意義。主要工作如下:(1)分析證券交易系統(tǒng)日志采集分析平臺功能需求。設計了證券交易系統(tǒng)日志采集分析平臺的總體架構。主要包含五個模塊:日志采集模塊、數(shù)據(jù)緩存模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲索引模塊和結構可視化模塊。(2)針對總體架構中各模塊的功能,結合實際的日志結構設計了各個模塊的基礎架構及業(yè)務流程,基于ELK Stack和Kafka消息隊列實現(xiàn)證券交易系統(tǒng)日志采集分析平...

【文章頁數(shù)】：79 頁

【學位級別】：碩士

【部分圖文】：

圖2-1P2P模式結構

東南大學碩士學位論文8相對比較復雜，但擁有更多的主動權。圖2-1P2P模式結構2.1.2.2Pub/Sub（發(fā)布/訂閱模型）發(fā)布/訂閱模型其結構如圖2-2所示。在此模型中，消息的生產(chǎn)者也被稱作為發(fā)布者（Publisher），消息的消費者也被稱作為訂閱者（Subscriber），兩....

圖2-2發(fā)布/訂閱模型結構

東南大學碩士學位論文8相對比較復雜，但擁有更多的主動權。圖2-1P2P模式結構2.1.2.2Pub/Sub（發(fā)布/訂閱模型）發(fā)布/訂閱模型其結構如圖2-2所示。在此模型中，消息的生產(chǎn)者也被稱作為發(fā)布者（Publisher），消息的消費者也被稱作為訂閱者（Subscriber），兩....

圖2-3Lucene系統(tǒng)結構

東南大學碩士學位論文10圖2-3Lucene系統(tǒng)結構Lucene源代碼主要由7個模塊組成。其中analysis、index和search3個為核心類。analysis主要功能為分詞，具體由analyzer的擴展類實現(xiàn)。index類主要負責提供讀寫接口，通過該接口可以實現(xiàn)創(chuàng)建新索引....

圖2-4Lucene創(chuàng)建和搜索流程

東南大學碩士學位論文10圖2-3Lucene系統(tǒng)結構Lucene源代碼主要由7個模塊組成。其中analysis、index和search3個為核心類。analysis主要功能為分詞，具體由analyzer的擴展類實現(xiàn)。index類主要負責提供讀寫接口，通過該接口可以實現(xiàn)創(chuàng)建新索引....

本文編號：4028149