最近幾年,我國(guó)大數(shù)據(jù)在政策、技術(shù)、產(chǎn)業(yè)、應(yīng)用等多個(gè)層面都取得了顯著進(jìn)展,中國(guó)數(shù)字經(jīng)濟(jì)規(guī)模大幅增長(zhǎng)。與此同時(shí),電商互聯(lián)網(wǎng)公司也掌握了其他行業(yè)和企業(yè)無(wú)法相比的大數(shù)據(jù),擁有著最精準(zhǔn),最全面的用戶數(shù)據(jù),因此,運(yùn)用巨量數(shù)據(jù)指導(dǎo)企業(yè)的運(yùn)營(yíng)和加速互聯(lián)網(wǎng)產(chǎn)品的升級(jí),也形成為了未來(lái)電商互聯(lián)網(wǎng)公司向數(shù)據(jù)驅(qū)動(dòng)服務(wù)和爭(zhēng)奪市場(chǎng)份額的共識(shí),而數(shù)據(jù)源的異構(gòu)性以及PB乃至TB數(shù)量級(jí)歷史數(shù)據(jù)的應(yīng)用轉(zhuǎn)化卻對(duì)采用傳統(tǒng)的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的多維分析帶來(lái)了巨大的挑戰(zhàn)。為了解決海量數(shù)據(jù)下傳統(tǒng)基于大型服務(wù)器的數(shù)據(jù)倉(cāng)庫(kù)高額運(yùn)維代價(jià),以及憑借人員經(jīng)驗(yàn)迭代互聯(lián)網(wǎng)產(chǎn)品局限性,本文充分考慮電商用戶數(shù)據(jù)的特點(diǎn),設(shè)計(jì)并開(kāi)發(fā)了基于Hive的電商多維分析系統(tǒng),進(jìn)而用數(shù)據(jù)驅(qū)動(dòng)決策和智慧運(yùn)營(yíng),提高數(shù)據(jù)資源的復(fù)用性,該系統(tǒng)實(shí)現(xiàn)了基于CDH的大數(shù)據(jù)平臺(tái)架構(gòu),并在此平臺(tái)之上實(shí)現(xiàn)基于Hive的四層數(shù)據(jù)倉(cāng)庫(kù),通過(guò)分層建設(shè)數(shù)據(jù)倉(cāng)庫(kù),大大提升了數(shù)據(jù)治理能力,保證了數(shù)據(jù)質(zhì)量,優(yōu)化了傳統(tǒng)通過(guò)Linux下crontab的作業(yè)調(diào)度,集成Azkaban作業(yè)調(diào)度,全面監(jiān)控?cái)?shù)據(jù)運(yùn)行,并實(shí)現(xiàn)了電商用戶活躍等相關(guān)指標(biāo),論文的主要工作如下:1.本文研究了現(xiàn)有的大數(shù)據(jù)平臺(tái)相關(guān)技術(shù),搭建了基于C...

【文章頁(yè)數(shù)】：100 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 論文課題背景
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 論文主要工作
    1.4 論文組織架構(gòu)
第二章 電商多維分析系統(tǒng)的關(guān)鍵技術(shù)
    2.1 Hadoop簡(jiǎn)介
        2.1.1 HDFS分布式文件系統(tǒng)
        2.1.2 Mapreduce分布式計(jì)算框架
    2.2 Hive數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建
        2.2.1 Hive架構(gòu)原理
        2.2.2 Hive運(yùn)行機(jī)制
        2.2.3 數(shù)據(jù)倉(cāng)庫(kù)實(shí)施步驟
    2.3 ETL技術(shù)簡(jiǎn)介
    2.4 Druid即席查詢
    2.5 其他技術(shù)
第三章 電商多維分析系統(tǒng)的需求分析
    3.1 系統(tǒng)概況
        3.1.1 系統(tǒng)建設(shè)目標(biāo)
        3.1.2 建設(shè)原則
    3.2 系統(tǒng)功能性需求分析
    3.3 系統(tǒng)非功能性需求分析
第四章 電商多維分析系統(tǒng)概要設(shè)計(jì)
    4.1 系統(tǒng)總體技術(shù)架構(gòu)
    4.2 系統(tǒng)基礎(chǔ)平臺(tái)設(shè)計(jì)
        4.2.1 原始數(shù)據(jù)采集模塊設(shè)計(jì)
        4.2.2 平臺(tái)數(shù)據(jù)存儲(chǔ)模塊設(shè)計(jì)
        4.2.3 多源數(shù)據(jù)計(jì)算模塊設(shè)計(jì)
    4.3 系統(tǒng)OLAP設(shè)計(jì)
        4.3.1 系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)層次
        4.3.2 數(shù)據(jù)倉(cāng)庫(kù)的原始數(shù)據(jù)層
        4.3.3 數(shù)據(jù)倉(cāng)庫(kù)的明細(xì)數(shù)據(jù)層
        4.3.4 數(shù)據(jù)倉(cāng)庫(kù)的服務(wù)數(shù)據(jù)層
        4.3.5 數(shù)據(jù)倉(cāng)庫(kù)的業(yè)務(wù)數(shù)據(jù)層
第五章 電商多維分析系統(tǒng)的實(shí)現(xiàn)
    5.1 電商多維分析系統(tǒng)技術(shù)實(shí)現(xiàn)
    5.2 電商多維分析子系統(tǒng)ETL實(shí)現(xiàn)
        5.2.1 Flume日志采集詳細(xì)實(shí)現(xiàn)
        5.2.2 Sqoop結(jié)構(gòu)化數(shù)據(jù)采集詳細(xì)實(shí)現(xiàn)
    5.3 電商多維分析系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)詳細(xì)實(shí)現(xiàn)
        5.3.1 ODS層數(shù)據(jù)倉(cāng)庫(kù)具體實(shí)施
        5.3.2 DWD層數(shù)據(jù)倉(cāng)庫(kù)具體實(shí)施
        5.3.3 DWS層數(shù)據(jù)倉(cāng)庫(kù)具體實(shí)施
        5.3.4 ADS層數(shù)據(jù)倉(cāng)庫(kù)具體實(shí)施
    5.4 用戶行為多維維分析設(shè)計(jì)詳細(xì)實(shí)現(xiàn)
        5.4.1 活躍度用戶具體實(shí)現(xiàn)及效果展示
        5.4.2 忠誠(chéng)用戶分析實(shí)現(xiàn)及效果展示
        5.4.3 用戶轉(zhuǎn)化率具體實(shí)現(xiàn)及效果展示
        5.4.4 交易行為GMV統(tǒng)計(jì)分析具體實(shí)現(xiàn)及效果展示
第六章 系統(tǒng)測(cè)試
    6.1 基于CDH的系統(tǒng)環(huán)境搭建
        6.1.1 硬件平臺(tái)
        6.1.2 軟件環(huán)境
        6.1.3 集群部署
    6.2 Azkaban全自動(dòng)流水化任務(wù)調(diào)度
    6.3 系統(tǒng)測(cè)試與驗(yàn)證
        6.3.1 功能性驗(yàn)證測(cè)試
        6.3.2 非功能性驗(yàn)證測(cè)試
第七章 總結(jié)與展望
    7.1 論文總結(jié)
    7.2 論文展望
參考文獻(xiàn)
致謝
作者簡(jiǎn)介
    1 作者簡(jiǎn)歷
    2 發(fā)明專利
學(xué)位論文數(shù)據(jù)集



本文編號(hào)：3834564