發(fā)布時(shí)間：2023-03-23 06:04

　　隨著我國(guó)經(jīng)濟(jì)的不斷發(fā)展,物流行業(yè)也增長(zhǎng)迅猛,物流公共服務(wù)平臺(tái)每天的訪問(wèn)量也在飛速增長(zhǎng)。海量的訪問(wèn)日志數(shù)據(jù)看似雜亂無(wú)章,實(shí)則蘊(yùn)藏著海量用戶的各種行為習(xí)慣。平臺(tái)通過(guò)對(duì)用戶與網(wǎng)站交互過(guò)程深層次信息的挖掘,助力物流公共服務(wù)平臺(tái)提供更好的服務(wù)、滿足更深層的需求、留住更多的用戶。因此本文具有為為平臺(tái)提高物流企業(yè)效率、降低成本的實(shí)際意義。本文從用戶訪問(wèn)日志入手,設(shè)計(jì)并實(shí)現(xiàn)了一套面向用戶訪問(wèn)分析的物流公共服務(wù)平臺(tái)日志處理系統(tǒng),它涵蓋了從日志收集、存儲(chǔ)、分析到展示的過(guò)程。本文主要對(duì)以下幾點(diǎn)進(jìn)行了探索:(1)對(duì)文中涉及的技術(shù)進(jìn)行了研究。對(duì)本文所涉及的訪問(wèn)日志、Flume和Hadoop等技術(shù)概念進(jìn)行了研究。主要包括訪問(wèn)日志的作用及內(nèi)容,Flume工具的架構(gòu)原理和特點(diǎn)和Hadoop的相關(guān)技術(shù)。(2)對(duì)面向用戶訪問(wèn)分析的物流公共服務(wù)平臺(tái)日志處理系統(tǒng)的需求進(jìn)行分析。針對(duì)當(dāng)前平臺(tái)無(wú)法存儲(chǔ)和分析海量數(shù)據(jù)、數(shù)據(jù)利用率低等問(wèn)題,結(jié)合用戶訪問(wèn)日志的內(nèi)容,得到解決相應(yīng)問(wèn)題的需求,對(duì)系統(tǒng)的功能提出了相應(yīng)的需求指標(biāo)。(3)完成面向用戶訪問(wèn)分析的物流公共服務(wù)平臺(tái)日志處理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。系統(tǒng)將由采集存儲(chǔ)、清洗過(guò)濾、分析挖掘和數(shù)據(jù)展...

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 研究現(xiàn)狀
        1.2.1 物流公共服務(wù)平臺(tái)現(xiàn)狀
        1.2.2 Web日志研究現(xiàn)狀
        1.2.3 分布式技術(shù)研究現(xiàn)狀
    1.3 研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第二章 相關(guān)概念和技術(shù)
    2.1 訪問(wèn)日志相關(guān)概念
    2.2 Flume相關(guān)概念
    2.3 Hadoop相關(guān)概念
        2.3.1 基本介紹
        2.3.2 HDFS
        2.3.3 MapReduce編程模型
        2.3.4 Hive
    2.4 本章小結(jié)
第三章 物流公共服務(wù)平臺(tái)日志處理系統(tǒng)需求分析
    3.1 存在的問(wèn)題分析
    3.2 物流公共服務(wù)平臺(tái)需求分析
        3.2.1 平臺(tái)的基礎(chǔ)統(tǒng)計(jì)需求
        3.2.2 平臺(tái)的深度分析需求
    3.3 日志分析系統(tǒng)功能需求
    3.4 系統(tǒng)工作流程
        3.4.1 系統(tǒng)啟動(dòng)流程
        3.4.2 日志分析流程
    3.5 本章小結(jié)
第四章 物流公共服務(wù)平臺(tái)日志處理系統(tǒng)設(shè)計(jì)
    4.1 系統(tǒng)總體架構(gòu)
    4.2 采集存儲(chǔ)模塊設(shè)計(jì)
        4.2.1 日志采集方式
        4.2.2 日志存儲(chǔ)方式
    4.3 清洗過(guò)濾模塊設(shè)計(jì)
        4.3.1 數(shù)據(jù)清洗的作用
        4.3.2 日志格式
        4.3.3 “臟數(shù)據(jù)”清洗
        4.3.4 用戶識(shí)別
        4.3.5 會(huì)話識(shí)別
    4.4 分析挖掘模塊設(shè)計(jì)
        4.4.1 基礎(chǔ)統(tǒng)計(jì)分析的設(shè)計(jì)
        4.4.2 用戶來(lái)源地識(shí)別的設(shè)計(jì)
        4.4.3 時(shí)間序列分析的設(shè)計(jì)
    4.5 數(shù)據(jù)展示模塊設(shè)計(jì)
    4.6 本章小結(jié)
第五章 物流公共服務(wù)平臺(tái)日志處理系統(tǒng)實(shí)現(xiàn)和測(cè)試
    5.1 采集存儲(chǔ)模塊實(shí)現(xiàn)
    5.2 清洗過(guò)濾模塊實(shí)現(xiàn)
    5.3 分析挖掘模塊實(shí)現(xiàn)
        5.3.1 基礎(chǔ)指標(biāo)的分析
        5.3.2 用戶來(lái)源地識(shí)別的實(shí)現(xiàn)
        5.3.3 時(shí)間序列分析的實(shí)現(xiàn)
    5.4 數(shù)據(jù)展示模塊實(shí)現(xiàn)
    5.5 系統(tǒng)測(cè)試與結(jié)果分析
        5.5.1 系統(tǒng)環(huán)境
        5.5.2 系統(tǒng)運(yùn)行及功能測(cè)試
        5.5.3 分析結(jié)果應(yīng)用
    5.6 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝



本文編號(hào)：3768436