近年來,隨著數(shù)據(jù)的價值受到了越來越多的關注,數(shù)據(jù)逐漸成為銀行的核心資產(chǎn)之一,因此用于實現(xiàn)大數(shù)據(jù)存儲和分析的大數(shù)據(jù)平臺已經(jīng)成為銀行最重要的IT基礎設施之一。大數(shù)據(jù)平臺管理系統(tǒng)為大數(shù)據(jù)平臺的管理員提供了對大數(shù)據(jù)平臺的系統(tǒng)管理、基礎設施管理、日志管理、用戶管理等功能,對于充分發(fā)揮大數(shù)據(jù)平臺的應用效能起到了重要的作用。然而隨著大數(shù)據(jù)應用的日益深入,大數(shù)據(jù)應用鮮明的行業(yè)特性使得通用設計的大數(shù)據(jù)平臺管理系統(tǒng)往往難于滿足特定行業(yè)的大數(shù)據(jù)應用需求。在銀行應用場景中,愈加強烈的競爭使得各銀行不得不在大數(shù)據(jù)應用創(chuàng)新方面給予更多的關注;同時當銀行大數(shù)據(jù)平臺越來越復雜時,還對平臺管理的復雜度和易用性提出了更高的需求。本文設計并實現(xiàn)了一套面向銀行應用場景的大數(shù)據(jù)平臺管理系統(tǒng)。該系統(tǒng)引入了生產(chǎn)用大數(shù)據(jù)系統(tǒng)和實驗用虛擬化系統(tǒng)協(xié)同的方法,在不影響生產(chǎn)用大數(shù)據(jù)系統(tǒng)的應用效能、穩(wěn)定性和安全性的前提下,解決了便捷構建和管理大數(shù)據(jù)實驗環(huán)境的需求,實現(xiàn)了對銀行大數(shù)據(jù)應用創(chuàng)新需求的支撐;運用了大數(shù)據(jù)技術,通過大數(shù)據(jù)平臺基礎設施和服務的配置信息、運行狀態(tài)等數(shù)據(jù)的采集、聚合、存儲和分析,實現(xiàn)了大數(shù)據(jù)平臺的運行狀態(tài)評估、異常狀態(tài)告警,... 

【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：105 頁

【學位級別】：碩士

【部分圖文】：

圖２－１以Ｈａｄｏｏｐ為核心的大數(shù)據(jù)軟件生態(tài)圖??４??

?求。因此銀行大數(shù)據(jù)平臺管理系統(tǒng)需要針對這些需求進行更進一步的設計和實現(xiàn)。??圖３－３展示了銀行大數(shù)據(jù)平臺管理系統(tǒng)的需求。??ｐ數(shù)據(jù)實驗室動態(tài)創(chuàng)建??■■■■■■■■■■?—？－觀實驗室管理??Ｌ生產(chǎn)用大數(shù)據(jù)系統(tǒng)與數(shù)據(jù)實驗室間數(shù)據(jù)遷移??大數(shù)據(jù)平臺運行數(shù)據(jù)采集??－大數(shù)據(jù)平臺運行數(shù)據(jù)的聚合與存儲??￣域Ｊ１平自節(jié)賠ｉ￥倘群狀態(tài)分析??＇？大數(shù)據(jù)平臺歷史運行狀態(tài)查詢??Ｌ大數(shù)據(jù)平臺運行狀態(tài)可視化圖表??圖３－３銀行大數(shù)據(jù)平臺管理系統(tǒng)需求??３．２．１銀行應用場景的特殊性??在銀行這種特殊的應用場景下，大數(shù)據(jù)平臺管理系統(tǒng)需要考慮和解決一些特??殊的問題。??隨著銀行數(shù)量的不斷增加、用戶需求的不斷提升、銀行提供服務的同質化，??導致銀行間的競爭愈發(fā)激烈。在這樣的背景下，通過增強產(chǎn)品的創(chuàng)新能力，強化??用戶數(shù)據(jù)分析來進一步理解用戶，從而提高產(chǎn)品的差異化水平和市場競爭力。因??此，借助大數(shù)據(jù)技術和方法，實現(xiàn)大數(shù)據(jù)應用創(chuàng)新，也就成為了銀行提升業(yè)務質??量、保障業(yè)務發(fā)展的有效解決方案［８］。??同時，由于銀行業(yè)務關系到用戶的資金，對數(shù)據(jù)的準確性要求非常高，從而??需要應用開發(fā)人員、數(shù)據(jù)分析人員在發(fā)布新的應用前，需要進行大量的、精密的??數(shù)據(jù)實驗

用場景下需要滿足一些特殊的需求，如數(shù)據(jù)實驗室的搭建、輕量化平臺管理等。??在這樣的需求背景下，大數(shù)據(jù)平臺的架構需要進行更有針對性的設計??平臺的整體架構圖如圖４－１所示。??Ｉ????????????ｊ??ｉ?生產(chǎn)應用?測贓用ｊ??！?＿?應用層?＿?！??！丨丨．——！?ｉ?．．■■■．．．．?—．￣ｉ?｜數(shù)據(jù)實驗室ｈ?！??：?ＭａｐＲｅｄｕＣ?ｓｐａｒｋ?Ｓｔｏｒｍ?｜?，?＇?，■?．?Ｉ?Ｈ＝?，，?］「?－ＺＺＨ?：??ｉ??１．?１Ｌ：」?數(shù)據(jù)ｇ移棋?數(shù)據(jù)實驗室?數(shù)據(jù)實驗室?數(shù)據(jù)?Ｉ？?數(shù)據(jù)?ｉ??分觀件?｜?Ｄａｔｉｘ?ｈ?管理梭塊?＊＊與存°儲?＾?：??Ｊ???Ｌｌ?：－－Ｊｌ丨坱?丨?｜橫塊｜｜?｜｜播塊｜｜?ｇ?Ｊ??；丨?￣｜??數(shù)據(jù)實驗室管理子系線?｜｜?平臺管理子系統(tǒng)??；??ＳＱＬ?ＮｏＳＱＬ?￣＿?■……?????－?．．．?????????｜??：?數(shù)＾系?數(shù)＾系?ＨＤＦＳ?｜虛擬化管理?￣計算資源一￣?一￣存儲資源ＳＳ?￣￣１１１１?￣?！??；?丨統(tǒng)?丨統(tǒng)???｜?＃冢統(tǒng)?＆ｍ．?｜?丨艦；??ｊ???持久化組件???虔擬化系銃???；??！???生產(chǎn)用大教據(jù)系統(tǒng)??實驗用虛擬化系統(tǒng)?｜！??ｉ??；??；?生產(chǎn)用大數(shù)據(jù)系抉所鬌物理設備?實驗用虜擬化系統(tǒng)所霱物理設備??；?＾＾９．１?ｊ???面向銀行應用場景的大數(shù)據(jù)平臺???圖４－１銀行大數(shù)據(jù)平臺架構圖??在該平臺架構設計中

【參考文獻】：
期刊論文
[1]北京銀行:借助大數(shù)據(jù)、機器學習技術構建一體化運維管理體系[J]. 楊春光.  中國金融電腦. 2018(07)
[2]基于Hadoop的大數(shù)據(jù)平臺架設探討[J]. 秦杰儀,曾志,孫蕾,鄧昭宇.  現(xiàn)代工業(yè)經(jīng)濟和信息化. 2018(05)
[3]大數(shù)據(jù)時代下的Hadoop智能運維[J]. 吳文昊.  通信世界. 2018(15)
[4]基于大數(shù)據(jù)的日志分析平臺在銀行中的研究與實現(xiàn)[J]. 王參參,姜青云,李彤.  網(wǎng)絡安全技術與應用. 2018(05)
[5]基于Hadoop技術的銀行大數(shù)據(jù)平臺架構設計[J]. 韓健.  電子世界. 2017(22)
[6]Hadoop平臺的自動化部署與監(jiān)控研究[J]. 于金良,朱志祥,李聰穎.  計算機與數(shù)字工程. 2016(12)
[7]Hadoop平臺下自響應故障感知的檢測技術研究實現(xiàn)[J]. 趙序光,張樹東,嚴業(yè)平.  計算機測量與控制. 2016(11)
[8]基于海量數(shù)據(jù)的消息隊列的性能對比與優(yōu)化方案[J]. 劉峰,鄂海紅.  軟件. 2016(10)
[9]Hadoop管理系統(tǒng)研究與實現(xiàn)[J]. 尤元建,黃增建.  中國新通信. 2016(17)
[10]基于Hadoop生態(tài)集群管理系統(tǒng)Ambari的研究與分析[J]. 李可,李昕.  軟件. 2016(02)



本文編號：3472110