為了解決海量數(shù)據(jù)的分析需求,圍繞Hive進(jìn)行大數(shù)據(jù)倉(cāng)庫(kù)建設(shè)并在之上使用HiveQL進(jìn)行統(tǒng)計(jì)分析是業(yè)界常用的解決方案。企業(yè)通常使用開(kāi)源數(shù)據(jù)同步工具Kettle、Sqoop等將業(yè)務(wù)數(shù)據(jù)庫(kù)產(chǎn)生的歷史數(shù)據(jù)、實(shí)時(shí)增量數(shù)據(jù)以及歷史文件數(shù)據(jù)同步到Hive倉(cāng)庫(kù)中。經(jīng)過(guò)前期的調(diào)研與研究,發(fā)現(xiàn)開(kāi)源數(shù)據(jù)同步工具存在以下問(wèn)題:a)在歷史數(shù)據(jù)同步任務(wù)中開(kāi)源數(shù)據(jù)同步工具雖然提供了強(qiáng)大的功能,但操作復(fù)雜,使用門(mén)檻高;b)實(shí)時(shí)數(shù)據(jù)同步任務(wù)對(duì)線上業(yè)務(wù)數(shù)據(jù)庫(kù)進(jìn)行I/O操作,影響線上業(yè)務(wù)數(shù)據(jù)庫(kù)性能,延遲高;c)文件數(shù)據(jù)一般存儲(chǔ)在單臺(tái)物理機(jī)器上,可能發(fā)生磁盤(pán)損壞導(dǎo)致文件丟失的情況,開(kāi)源數(shù)據(jù)同步工具創(chuàng)建的文件數(shù)據(jù)同步任務(wù)無(wú)法保證客戶端文件數(shù)據(jù)的安全性,同時(shí)沒(méi)有提供方便的了解文件的元數(shù)據(jù)視圖;d)開(kāi)源數(shù)據(jù)同步工具孤立、很難和大數(shù)據(jù)統(tǒng)計(jì)分析業(yè)務(wù)整合到一起。本文針對(duì)以上問(wèn)題構(gòu)建了一個(gè)異構(gòu)數(shù)據(jù)同步系統(tǒng)。主要研究?jī)?nèi)容包括以下四個(gè)部分:1)針對(duì)在歷史數(shù)據(jù)同步任務(wù)中操作復(fù)雜,使用門(mén)檻高等問(wèn)題,研究實(shí)現(xiàn)了一種基于Spark的歷史數(shù)據(jù)同步子系統(tǒng);2)針對(duì)在實(shí)時(shí)數(shù)據(jù)同步任務(wù)中存在的對(duì)線上業(yè)務(wù)數(shù)據(jù)庫(kù)進(jìn)行I/O操作,影響線上業(yè)務(wù)數(shù)據(jù)庫(kù)性能,延遲高等問(wèn)...

【文章頁(yè)數(shù)】：79 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀分析
    1.3 論文目標(biāo)及主要研究?jī)?nèi)容
    1.4 碩士期間主要工作
    1.5 論文組織結(jié)構(gòu)
第二章 異構(gòu)數(shù)據(jù)同步系統(tǒng)的需求分析和與整體架構(gòu)設(shè)計(jì)
    2.1 數(shù)據(jù)同步系統(tǒng)的特點(diǎn)
    2.2 異構(gòu)數(shù)據(jù)同步系統(tǒng)的需求分析
        2.2.1 歷史數(shù)據(jù)同步需求分析
        2.2.2 實(shí)時(shí)數(shù)據(jù)同步需求分析
        2.2.3 文件數(shù)據(jù)同步需求分析
        2.2.4 可視化大屏需求分析
    2.3 異構(gòu)數(shù)據(jù)同步系統(tǒng)的整體架構(gòu)設(shè)計(jì)
        2.3.1 歷史數(shù)據(jù)同步子系統(tǒng)概述
        2.3.2 實(shí)時(shí)數(shù)據(jù)同步子系統(tǒng)概述
        2.3.3 文件數(shù)據(jù)同步子系統(tǒng)概述
        2.3.4 可視化大屏子系統(tǒng)概述
    2.4 異構(gòu)數(shù)據(jù)同步系統(tǒng)的整體功能設(shè)計(jì)
    2.5 異構(gòu)數(shù)據(jù)同步任務(wù)數(shù)據(jù)庫(kù)設(shè)計(jì)
    2.6 本章小結(jié)
第三章 基于Spark的歷史數(shù)據(jù)同步子系統(tǒng)的研究與實(shí)現(xiàn)
    3.1 研究的動(dòng)機(jī)與設(shè)計(jì)目標(biāo)
        3.1.1 研究動(dòng)機(jī)
        3.1.2 設(shè)計(jì)目標(biāo)
    3.2 基于Spark的歷史數(shù)據(jù)同步子系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì)
    3.3 設(shè)計(jì)實(shí)現(xiàn)流程
    3.4 基于Spark的歷史數(shù)據(jù)同步子系統(tǒng)的詳細(xì)實(shí)現(xiàn)
        3.4.1 數(shù)據(jù)源讀取模塊
        3.4.2 數(shù)據(jù)過(guò)濾處理模塊
        3.4.3 數(shù)據(jù)裝載模塊
        3.4.4 Web平臺(tái)模塊
    3.5 本章小結(jié)
第四章 基于Storm的實(shí)時(shí)數(shù)據(jù)同步子系統(tǒng)的研究與實(shí)現(xiàn)
    4.1 研究的動(dòng)機(jī)與設(shè)計(jì)目標(biāo)
        4.1.1 研究動(dòng)機(jī)
        4.1.2 設(shè)計(jì)目標(biāo)
    4.2 基于Storm的實(shí)時(shí)數(shù)據(jù)同步子系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì)
    4.3 設(shè)計(jì)實(shí)現(xiàn)流程
    4.4 基于Storm的實(shí)時(shí)數(shù)據(jù)同步子系統(tǒng)的詳細(xì)實(shí)現(xiàn)
        4.4.1 日志解析模塊
        4.4.2 異步傳輸模塊
        4.4.3 數(shù)據(jù)處理模塊
        4.4.4 數(shù)據(jù)倉(cāng)庫(kù)模塊
        4.4.5 Web平臺(tái)模塊
    4.5 本章小結(jié)
第五章 基于HDFS的文件數(shù)據(jù)同步子系統(tǒng)的研究與實(shí)現(xiàn)
    5.1 研究的動(dòng)機(jī)與設(shè)計(jì)目標(biāo)
        5.1.1 研究動(dòng)機(jī)
        5.1.2 設(shè)計(jì)目標(biāo)
    5.2 基于HDFS的文件數(shù)據(jù)同步子系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì)
    5.3 設(shè)計(jì)實(shí)現(xiàn)流程
    5.4 基于HDFS的文件數(shù)據(jù)同步子系統(tǒng)的詳細(xì)實(shí)現(xiàn)
        5.4.1 文件上傳模塊
        5.4.2 元數(shù)據(jù)管理模塊
        5.4.3 實(shí)現(xiàn)數(shù)據(jù)讀寫(xiě)模塊
    5.5 本章小結(jié)
第六章 基于Quartz定時(shí)任務(wù)的可視化大屏子系統(tǒng)的研究與實(shí)現(xiàn)
    6.1 研究的動(dòng)機(jī)與設(shè)計(jì)目標(biāo)
        6.1.1 研究動(dòng)機(jī)
        6.1.2 設(shè)計(jì)目標(biāo)
    6.2 基于Quartz定時(shí)任務(wù)的可視化大屏子系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì)
    6.3 設(shè)計(jì)實(shí)現(xiàn)流程
    6.4 基于Quartz定時(shí)任務(wù)的可視化大屏子系統(tǒng)的詳細(xì)實(shí)現(xiàn)
        6.4.1 自定義統(tǒng)計(jì)指標(biāo)模塊
        6.4.2 可視化大屏配置模塊
        6.4.3 可視化大屏模塊
    6.5 本章小結(jié)
第七章 異構(gòu)數(shù)據(jù)同步系統(tǒng)的系統(tǒng)展示與測(cè)試
    7.1 測(cè)試環(huán)境
    7.2 功能測(cè)試
        7.2.1 基于Spark的歷史數(shù)據(jù)同步子系統(tǒng)功能測(cè)試
        7.2.2 基于Storm的實(shí)時(shí)數(shù)據(jù)同步子系統(tǒng)功能測(cè)試
        7.2.3 基于HDFS的文件數(shù)據(jù)同步子系統(tǒng)功能測(cè)試
        7.2.4 基于Quartz定時(shí)任務(wù)的可視化大屏子系統(tǒng)功能測(cè)試
    7.3 性能測(cè)試
    7.4 本章小結(jié)
第八章 總結(jié)與展望
    8.1 本文工作總結(jié)
    8.2 本文的不足及展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間取得的研究成果



本文編號(hào)：3900681