互聯(lián)網(wǎng)的時(shí)代,各行各業(yè)都產(chǎn)生了大量的數(shù)據(jù),銀行作為一個(gè)特殊的行業(yè),擁有大量客戶,銀行產(chǎn)品信息越來(lái)越多,這些客戶每天的對(duì)產(chǎn)品和交易信息越來(lái)越多,所以銀行每天的數(shù)據(jù)都是成倍增長(zhǎng),如何存儲(chǔ)和從這些數(shù)據(jù)中升級(jí)為有用的信息,更好的進(jìn)行精準(zhǔn)營(yíng)銷,成為當(dāng)前亟待解決的問(wèn)題。本文針對(duì)銀行大數(shù)據(jù)面臨的存儲(chǔ)問(wèn)題和數(shù)據(jù)檢索問(wèn)題,設(shè)計(jì)了基于ELK的分布式存儲(chǔ)和全文檢索的銀行客戶大數(shù)據(jù)檢索平臺(tái),該平臺(tái)包括數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)全文檢索,并且解決了對(duì)查詢結(jié)果進(jìn)行可視化展示的功能,提升分析人員數(shù)據(jù)理解的能力,也幫助銀行決策者更好的去精準(zhǔn)營(yíng)銷。該平臺(tái)利用Hadoop或者Elasticsearch進(jìn)行數(shù)據(jù)存儲(chǔ),利用Elasticsearch進(jìn)行全文檢索,使用Logstash對(duì)數(shù)據(jù)進(jìn)行過(guò)濾分析,使用Kibana對(duì)結(jié)果進(jìn)行可視化展示。本文主要研究了以下內(nèi)容:1、深入研究國(guó)內(nèi)外針對(duì)全文檢索使用的技術(shù)和算法進(jìn)行現(xiàn)狀分析和未來(lái)發(fā)展的趨勢(shì)分析,并對(duì)Hadoop存儲(chǔ)架構(gòu)、MapReduce算法、ELK技術(shù)棧這些開源技術(shù)進(jìn)行的概述。2、對(duì)基于ELK的商業(yè)銀行客戶大數(shù)據(jù)檢索平臺(tái)進(jìn)行了總體設(shè)計(jì),并對(duì)該平臺(tái)中涉及到的模塊進(jìn)行了具體的需求分析和功能設(shè)... 

【文章頁(yè)數(shù)】：74 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語(yǔ)對(duì)照表
第一章 緒論
    1.1 研究背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 研究工作
    1.4 論文內(nèi)容架構(gòu)
第二章 大數(shù)據(jù)檢索平臺(tái)技術(shù)概述
    2.1 大數(shù)據(jù)存儲(chǔ)技術(shù)
        2.1.1 HDFS分布式文件系統(tǒng)
        2.1.2 Hadoop文件系統(tǒng)
        2.1.3 Map Reduce分布式計(jì)算框架介紹
    2.2 大數(shù)據(jù)檢索技術(shù)
        2.2.1 Elasticsearch技術(shù)簡(jiǎn)介
        2.2.2 Logstash技術(shù)概述
        2.2.3 Kibana技術(shù)概述
第三章 銀行客戶大數(shù)據(jù)檢索平臺(tái)總體設(shè)計(jì)
    3.1 銀行客戶大數(shù)據(jù)檢索平臺(tái)需求分析
        3.1.1 系統(tǒng)的功能需求分析
        3.1.2 大數(shù)據(jù)存儲(chǔ)需求分析
        3.1.3 大數(shù)據(jù)全文檢索需求分析
        3.1.4 大數(shù)據(jù)可視化展示需求分析
    3.2 銀行客戶大數(shù)據(jù)檢索平臺(tái)總體設(shè)計(jì)
        3.2.1 大數(shù)據(jù)檢索平臺(tái)架構(gòu)
        3.2.2 大數(shù)據(jù)檢索平臺(tái)功能設(shè)計(jì)
        3.2.3 大數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
        3.2.4 大數(shù)據(jù)全文檢索設(shè)計(jì)
        3.2.5 大數(shù)據(jù)可視化展示設(shè)計(jì)
第四章 大數(shù)據(jù)客戶數(shù)據(jù)檢索平臺(tái)的實(shí)現(xiàn)
    4.1 本系統(tǒng)面向的數(shù)據(jù)
    4.2 設(shè)備配置
    4.3 客戶數(shù)據(jù)規(guī)模
    4.4 集群及配置
        4.4.1 Hadoop集群配置
        4.4.2 Elasticsearch集群配置
    4.5 使用Kibana制作可視化頁(yè)面
    4.6 平臺(tái)整體系統(tǒng)性能
        4.6.1 寫入性能
        4.6.2 查詢相應(yīng)時(shí)間
        4.6.3 高可用性和可擴(kuò)展性
第五章 總結(jié)和展望
    5.1 論文總結(jié)
    5.2 展望
參考文獻(xiàn)
致謝
作者簡(jiǎn)介



本文編號(hào)：3695455