隨著我國經(jīng)濟(jì)的不斷發(fā)展,物流行業(yè)也增長迅猛,物流公共服務(wù)平臺(tái)每天的訪問量也在飛速增長。海量的訪問日志數(shù)據(jù)看似雜亂無章,實(shí)則蘊(yùn)藏著海量用戶的各種行為習(xí)慣。平臺(tái)通過對(duì)用戶與網(wǎng)站交互過程深層次信息的挖掘,助力物流公共服務(wù)平臺(tái)提供更好的服務(wù)、滿足更深層的需求、留住更多的用戶。因此本文具有為為平臺(tái)提高物流企業(yè)效率、降低成本的實(shí)際意義。本文從用戶訪問日志入手,設(shè)計(jì)并實(shí)現(xiàn)了一套面向用戶訪問分析的物流公共服務(wù)平臺(tái)日志處理系統(tǒng),它涵蓋了從日志收集、存儲(chǔ)、分析到展示的過程。本文主要對(duì)以下幾點(diǎn)進(jìn)行了探索:(1)對(duì)文中涉及的技術(shù)進(jìn)行了研究。對(duì)本文所涉及的訪問日志、Flume和Hadoop等技術(shù)概念進(jìn)行了研究。主要包括訪問日志的作用及內(nèi)容,Flume工具的架構(gòu)原理和特點(diǎn)和Hadoop的相關(guān)技術(shù)。(2)對(duì)面向用戶訪問分析的物流公共服務(wù)平臺(tái)日志處理系統(tǒng)的需求進(jìn)行分析。針對(duì)當(dāng)前平臺(tái)無法存儲(chǔ)和分析海量數(shù)據(jù)、數(shù)據(jù)利用率低等問題,結(jié)合用戶訪問日志的內(nèi)容,得到解決相應(yīng)問題的需求,對(duì)系統(tǒng)的功能提出了相應(yīng)的需求指標(biāo)。(3)完成面向用戶訪問分析的物流公共服務(wù)平臺(tái)日志處理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。系統(tǒng)將由采集存儲(chǔ)、清洗過濾、分析挖掘和數(shù)據(jù)展...

【文章頁數(shù)】：66 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 研究現(xiàn)狀
        1.2.1 物流公共服務(wù)平臺(tái)現(xiàn)狀
        1.2.2 Web日志研究現(xiàn)狀
        1.2.3 分布式技術(shù)研究現(xiàn)狀
    1.3 研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第二章 相關(guān)概念和技術(shù)
    2.1 訪問日志相關(guān)概念
    2.2 Flume相關(guān)概念
    2.3 Hadoop相關(guān)概念
        2.3.1 基本介紹
        2.3.2 HDFS
        2.3.3 MapReduce編程模型
        2.3.4 Hive
    2.4 本章小結(jié)
第三章 物流公共服務(wù)平臺(tái)日志處理系統(tǒng)需求分析
    3.1 存在的問題分析
    3.2 物流公共服務(wù)平臺(tái)需求分析
        3.2.1 平臺(tái)的基礎(chǔ)統(tǒng)計(jì)需求
        3.2.2 平臺(tái)的深度分析需求
    3.3 日志分析系統(tǒng)功能需求
    3.4 系統(tǒng)工作流程
        3.4.1 系統(tǒng)啟動(dòng)流程
        3.4.2 日志分析流程
    3.5 本章小結(jié)
第四章 物流公共服務(wù)平臺(tái)日志處理系統(tǒng)設(shè)計(jì)
    4.1 系統(tǒng)總體架構(gòu)
    4.2 采集存儲(chǔ)模塊設(shè)計(jì)
        4.2.1 日志采集方式
        4.2.2 日志存儲(chǔ)方式
    4.3 清洗過濾模塊設(shè)計(jì)
        4.3.1 數(shù)據(jù)清洗的作用
        4.3.2 日志格式
        4.3.3 “臟數(shù)據(jù)”清洗
        4.3.4 用戶識(shí)別
        4.3.5 會(huì)話識(shí)別
    4.4 分析挖掘模塊設(shè)計(jì)
        4.4.1 基礎(chǔ)統(tǒng)計(jì)分析的設(shè)計(jì)
        4.4.2 用戶來源地識(shí)別的設(shè)計(jì)
        4.4.3 時(shí)間序列分析的設(shè)計(jì)
    4.5 數(shù)據(jù)展示模塊設(shè)計(jì)
    4.6 本章小結(jié)
第五章 物流公共服務(wù)平臺(tái)日志處理系統(tǒng)實(shí)現(xiàn)和測試
    5.1 采集存儲(chǔ)模塊實(shí)現(xiàn)
    5.2 清洗過濾模塊實(shí)現(xiàn)
    5.3 分析挖掘模塊實(shí)現(xiàn)
        5.3.1 基礎(chǔ)指標(biāo)的分析
        5.3.2 用戶來源地識(shí)別的實(shí)現(xiàn)
        5.3.3 時(shí)間序列分析的實(shí)現(xiàn)
    5.4 數(shù)據(jù)展示模塊實(shí)現(xiàn)
    5.5 系統(tǒng)測試與結(jié)果分析
        5.5.1 系統(tǒng)環(huán)境
        5.5.2 系統(tǒng)運(yùn)行及功能測試
        5.5.3 分析結(jié)果應(yīng)用
    5.6 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝



本文編號(hào)：3768436