隨著城市軌道交通規(guī)模不斷擴(kuò)大以及信息化水平的提升,售檢票工作自動化程度越來越高,日益增加的交易量和用戶量使得自動售檢票(AFC)系統(tǒng)實(shí)時產(chǎn)生的數(shù)據(jù)量急劇增加,傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫的存儲模式和處理方法已無法滿足海量數(shù)據(jù)存儲和實(shí)時數(shù)據(jù)處理的需求,迫切需要對運(yùn)行和管理方式進(jìn)行提升和優(yōu)化。近年來,隨著云計算和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,如何將大數(shù)據(jù)技術(shù)靈活應(yīng)用于行業(yè)受到了廣泛關(guān)注。本文對現(xiàn)階段主流的大數(shù)據(jù)實(shí)時流處理和分布式存儲的原理、關(guān)鍵技術(shù)和相關(guān)應(yīng)用進(jìn)行了深入的研究和學(xué)習(xí),為AFC系統(tǒng)實(shí)時的數(shù)據(jù)接入、處理和存儲提供了一個良好的解決方案。本文在分析傳統(tǒng)城市軌道交通運(yùn)營系統(tǒng)的存儲和計算瓶頸的基礎(chǔ)上,深入研究、學(xué)習(xí)了現(xiàn)有開源的分布式存儲和實(shí)時計算框架,針對AFC系統(tǒng)實(shí)時數(shù)據(jù)特點(diǎn)和實(shí)際應(yīng)用需求,提出了利用大數(shù)據(jù)分布式技術(shù)處理AFC系統(tǒng)實(shí)時數(shù)據(jù)需要解決的問題。由于在實(shí)際的開發(fā)環(huán)境中不能影響原運(yùn)營系統(tǒng)提供服務(wù),本文設(shè)計了基于Canal的數(shù)據(jù)接入和解析方案,將原存儲系統(tǒng)數(shù)據(jù)實(shí)時同步至大數(shù)據(jù)分布式環(huán)境,為后續(xù)實(shí)時處理提供流動數(shù)據(jù)。針對原運(yùn)營系統(tǒng)吞吐量小、實(shí)時性差的問題,深入學(xué)習(xí)了 Kafka消息中間件和Spark...

【文章頁數(shù)】：86 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)介紹
    2.1 MySQL實(shí)時數(shù)據(jù)同步中間件
        2.1.1 MySQL復(fù)制機(jī)制
        2.1.2 實(shí)時數(shù)據(jù)同步中間件
    2.2 Kafka消息中間件
    2.3 Spark計算框架
        2.3.1 Spark簡介
        2.3.2 Spark Streaming簡介
    2.4 HBase數(shù)據(jù)庫
    2.5 Redis數(shù)據(jù)庫
第3章 AFC實(shí)時數(shù)據(jù)處理需求分析及軟件框架設(shè)計
    3.1 需求分析
        3.1.1 原運(yùn)營系統(tǒng)存在的問題
        3.1.2 AFC系統(tǒng)實(shí)時數(shù)據(jù)特點(diǎn)
        3.1.3 功能需求
    3.2 總體架構(gòu)設(shè)計
    3.3 本章小結(jié)
第4章 基于Canal的數(shù)據(jù)接入
    4.1 數(shù)據(jù)接入模塊分析
        4.1.1 Binlog接收子模塊
        4.1.2 數(shù)據(jù)抽取和發(fā)送子模塊
    4.2 數(shù)據(jù)接入模塊的詳細(xì)設(shè)計
    4.3 環(huán)境搭建與測試
        4.3.1 測試環(huán)境配置
        4.3.2 功能測試
        4.3.3 性能測試
    4.4 本章小結(jié)
第5章 基于Spark Streaming的數(shù)據(jù)處理
    5.1 數(shù)據(jù)處理流程分析
    5.2 數(shù)據(jù)處理的詳細(xì)設(shè)計
        5.2.1 數(shù)據(jù)整合模塊
        5.2.2 數(shù)據(jù)管理工具模塊
    5.3 數(shù)據(jù)處理模塊的實(shí)現(xiàn)
        5.3.1 交易量統(tǒng)計
        5.3.2 設(shè)備離線分析
        5.3.3 運(yùn)行效果
    5.4 性能優(yōu)化與測試
        5.4.1 算子性能分析
        5.4.2 并行度優(yōu)化
        5.4.3 負(fù)載均衡
        5.4.4 性能測試
    5.5 本章小結(jié)
第6章 基于HBase的數(shù)據(jù)存儲
    6.1 數(shù)據(jù)存儲設(shè)計
        6.1.1 表結(jié)構(gòu)設(shè)計
        6.1.2 Rowkey設(shè)計
        6.1.3 預(yù)分區(qū)設(shè)計
    6.2 性能優(yōu)化
        6.2.1 Redis緩存策略
        6.2.2 參數(shù)配置調(diào)優(yōu)
    6.3 本章小結(jié)
第7章 總結(jié)與展望
    7.1 總結(jié)
    7.2 未來工作展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間取得的研究成果



本文編號：4040999