近年來隨著企業(yè)業(yè)務(wù)的發(fā)展,企業(yè)數(shù)據(jù)膨脹迅速,管理、運營人員對企業(yè)數(shù)據(jù)的使用需求也更加復(fù)雜。面對業(yè)務(wù)部門的幾百個數(shù)據(jù)庫表、以T為單位的數(shù)據(jù)量,如何在ms級標(biāo)準(zhǔn)時間內(nèi)算出各種時間、空間聚合維度下的上百項指標(biāo)的離線、實時數(shù)據(jù),是綜合數(shù)據(jù)管理系統(tǒng)面對的難題。除了數(shù)據(jù)的查詢、計算,管理和運營人員還希望對數(shù)據(jù)進(jìn)行深入挖掘,以幫助業(yè)務(wù)發(fā)展平穩(wěn)推進(jìn)。本文設(shè)計了一套基于Spring Boot的離線與實時數(shù)據(jù)的綜合管理系統(tǒng)以解決上述問題。系統(tǒng)基于Spring Boot框架,結(jié)合Protobuf的數(shù)據(jù)交互方式,實現(xiàn)了前后端、后端微服務(wù)間的數(shù)據(jù)交互,以管理模塊架構(gòu)和數(shù)據(jù)通信。系統(tǒng)還結(jié)合了CAS和數(shù)據(jù)系統(tǒng)的接口特性,實現(xiàn)了數(shù)據(jù)系統(tǒng)的服務(wù)間認(rèn)證和日志管理架構(gòu),提高了安全性和可用性。系統(tǒng)中離線數(shù)據(jù)管理服務(wù)通過Crontab每日控制Sqoop、Hive、Hbase、HDFS等工具對離線數(shù)據(jù)進(jìn)行預(yù)處理,利用Kylin對預(yù)處理后的數(shù)據(jù)進(jìn)行預(yù)計算和預(yù)聚合,以應(yīng)對復(fù)雜的、高并發(fā)的離線數(shù)據(jù)使用需求。在線數(shù)據(jù)管理服務(wù)使用基于定時器的Mysql任務(wù)管理,通過每分鐘的預(yù)計算來實現(xiàn)數(shù)據(jù)預(yù)處理,實現(xiàn)ms級別的數(shù)據(jù)查詢響應(yīng)。系統(tǒng)還使用了機(jī)器學(xué)習(xí)的時間序列算法對數(shù)據(jù)進(jìn)行分析,利用Holt-winters算法,結(jié)合數(shù)據(jù)實際特征,實現(xiàn)了基于本系統(tǒng)核心數(shù)據(jù)的時間序列預(yù)測。本系統(tǒng)開發(fā)完成后,已經(jīng)應(yīng)用到了順豐科技同城業(yè)務(wù)的udata數(shù)據(jù)統(tǒng)計和豐聲APP中。本系統(tǒng)的應(yīng)用解決了企業(yè)大數(shù)據(jù)環(huán)境下,數(shù)據(jù)系統(tǒng)無法快速響應(yīng)復(fù)雜離線、實時數(shù)據(jù)查詢的瓶頸問題,為企業(yè)的運營狀況分析和變化趨勢監(jiān)控提供了關(guān)鍵信息,在企業(yè)長期的成長和發(fā)展過程中提供了可靠助力。
【學(xué)位單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP311.52
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文主要工作
    1.4 論文組織結(jié)構(gòu)
2 相關(guān)算法和技術(shù)
    2.1 Spring Boot框架和Protobuf協(xié)議
    2.2 基于Hadoop的數(shù)據(jù)處理和存儲
    2.3 基于Holt-Winters的預(yù)測器和監(jiān)控器
    2.4 基于Fast Cubing算法的數(shù)據(jù)預(yù)計算
    2.5 基于CAS的SSO過程
3 系統(tǒng)需求分析
    3.1 總體需求分析
    3.2 功能性需求
        3.2.1 離線數(shù)據(jù)管理
        3.2.2 實時數(shù)據(jù)管理
        3.2.3 KPI管理
        3.2.4 認(rèn)證和日志管理
    3.3 非功能性需求
4 系統(tǒng)設(shè)計
    4.1 總體設(shè)計
        4.1.1 微服務(wù)架構(gòu)設(shè)計
        4.1.2 離線數(shù)據(jù)處理流程設(shè)計
        4.1.3 實時數(shù)據(jù)處理流程設(shè)計
    4.2 數(shù)據(jù)管理設(shè)計
        4.2.1 Hive表設(shè)計
        4.2.2 Kylin的Cube設(shè)計
        4.2.3 MySQL表設(shè)計
    4.3 系統(tǒng)功能模塊設(shè)計
        4.3.1 離線數(shù)據(jù)管理模塊
        4.3.2 實時數(shù)據(jù)管理模塊
        4.3.3 KPI管理模塊
        4.3.4 認(rèn)證和日志管理模塊
5 系統(tǒng)實現(xiàn)
    5.1 離線數(shù)據(jù)管理模塊
        5.1.1 業(yè)務(wù)概覽子模塊
        5.1.2 經(jīng)營主題子模塊
        5.1.3 客戶主題子模塊
    5.2 實時數(shù)據(jù)管理模塊
        5.2.1 監(jiān)控概覽子模塊
        5.2.2 實時趨勢圖子模塊
        5.2.3 預(yù)測和報警器子模塊
    5.3 KPI管理模塊
        5.3.1 KPI展示
        5.3.2 KPI批量上傳
        5.3.3 KPI修改
        5.3.4 KPI下載
    5.4 認(rèn)證和日志管理模塊
        5.4.1 用戶單點登錄認(rèn)證
        5.4.2 KPI日志
        5.4.3 數(shù)據(jù)日志
6 系統(tǒng)測試
    6.1 測試?yán)碚?br>    6.2 系統(tǒng)典型模塊功能測試
        6.2.1 離線數(shù)據(jù)管理模塊
        6.2.2 實時數(shù)據(jù)管理模塊
        6.2.3 KPI管理模塊
        6.2.4 認(rèn)證和日志管理模塊
    6.3 性能測試
結(jié)論
參考文獻(xiàn)
致謝

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 聶曉旭;于鳳芹;欽道理;;基于Protobuf的數(shù)據(jù)傳輸協(xié)議[J];計算機(jī)系統(tǒng)應(yīng)用;2015年08期

2 李學(xué)龍;龔海剛;;大數(shù)據(jù)系統(tǒng)綜述[J];中國科學(xué):信息科學(xué);2015年01期

3 程學(xué)旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國杰;;大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J];軟件學(xué)報;2014年09期

4 陶雪嬌;胡曉峰;劉洋;;大數(shù)據(jù)研究綜述[J];系統(tǒng)仿真學(xué)報;2013年S1期

5 田雅軒;;面向提高醫(yī)院軟件質(zhì)量的測試過程管理[J];中國醫(yī)藥導(dǎo)刊;2013年07期

6 李建佳;王晶;;基于JA-SIG CAS統(tǒng)一認(rèn)證平臺(SSO)的設(shè)計與實現(xiàn)[J];廣東海洋大學(xué)學(xué)報;2013年03期

7 陶靜;;計算機(jī)軟件測試技術(shù)的淺析[J];通訊世界;2013年09期

8 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計算機(jī)研究與發(fā)展;2013年01期

9 劉勇生;;基于閑置資源利用的無線分布式審計模型設(shè)計[J];制造業(yè)自動化;2010年06期

相關(guān)碩士學(xué)位論文 前1條

1 李蘇璇;基于微服務(wù)架構(gòu)的SaaS應(yīng)用構(gòu)建方法研究[D];華南理工大學(xué);2016年

本文編號：2880552