用戶行為分析領(lǐng)域一直是研究的熱點,例如研究校園里學(xué)生和老師的行為,了解校園里各場所的運轉(zhuǎn)情況,能夠為管理者的決策提供參考意見;研究商場里顧客的行為,有助于了解商場的客流量分布,可以給顧客提供個性化推薦,具有良好的商業(yè)價值。隨著移動智能終端設(shè)備的普及,越來越多的用戶會長期開啟手機等終端設(shè)備的WIFI功能,利用WIFI探針能比較方便的采集到大量用戶行為數(shù)據(jù)。由于利用WIFI探針采集到的數(shù)據(jù)集的數(shù)據(jù)量巨大,無法直接標注標簽,標注成本很高,探索一種無監(jiān)督算法來進行WIFI探針數(shù)據(jù)挖掘具有重要意義。本課題研究基于k-means算法的WIFI用戶行為分析系統(tǒng)設(shè)計與實現(xiàn)。主要研究內(nèi)容包含如下三點:(1)基于WIFI用戶行為分析的業(yè)務(wù)場景,分析系統(tǒng)需求,對WIFI用戶行為分析系統(tǒng)進行設(shè)計。整個系統(tǒng)分為數(shù)據(jù)接入模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)應(yīng)用模塊等三個部分。其中,數(shù)據(jù)接入模塊將WIFI探針數(shù)據(jù)同步到HDFS,實現(xiàn)大數(shù)據(jù)量訪問,提高容錯性。數(shù)據(jù)處理模塊對原始WIFI探針數(shù)據(jù)進行預(yù)處理與特征工程,從多個角度進行數(shù)據(jù)挖掘。數(shù)據(jù)應(yīng)用模塊對用戶行為分析結(jié)果進行直觀呈現(xiàn)。(2)構(gòu)建了 WIFI用戶行為多維度分析數(shù)學(xué)模型...

【文章頁數(shù)】：81 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景和意義
    1.2 研究現(xiàn)狀
    1.3 課題的主要研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)技術(shù)
    2.1 聚類算法
        2.1.1 k-means聚類算法
        2.1.2 聚類算法的相似性度量
        2.1.3 聚類算法的衡量指標
    2.2 機器學(xué)習(xí)優(yōu)化算法
    2.3 Hadoop相關(guān)技術(shù)
        2.3.1 Hadoop分布式文件系統(tǒng)HDFS
        2.3.2 資源管理框架
    2.4 Spark相關(guān)技術(shù)
        2.4.1 總體結(jié)構(gòu)
        2.4.2 彈性分布式數(shù)據(jù)集
        2.4.3 機器學(xué)習(xí)庫
        2.4.4 洗牌操作
    2.5 后端服務(wù)框架
        2.5.1 軟件模式
        2.5.2 核心組件
    2.6 異步技術(shù)
    2.7 可視化框架
    2.8 本章小結(jié)
第三章 基于k-means算法的WIFI用戶行為分析系統(tǒng)需求分析
    3.1 典型業(yè)務(wù)場景分析
    3.2 功能性需求分析
        3.2.1 用戶管理
        3.2.2 WIFI探針管理
        3.2.3 數(shù)據(jù)管理
        3.2.4 基于WIFI用戶維度分析
        3.2.5 基于地點維度分析
        3.2.6 基于時間維度分析
    3.3 非功能性需求分析
    3.4 本章小結(jié)
第四章 基于k-means算法的WIFI用戶行為分析系統(tǒng)設(shè)計
    4.1 總體架構(gòu)
    4.2 系統(tǒng)分層模塊描述
        4.2.1 數(shù)據(jù)接入模塊
        4.2.2 數(shù)據(jù)處理模塊
        4.2.3 數(shù)據(jù)應(yīng)用模塊
    4.3 系統(tǒng)數(shù)據(jù)流
    4.4 系統(tǒng)詳細設(shè)計
        4.4.1 數(shù)據(jù)接入模塊設(shè)計
        4.4.2 數(shù)據(jù)處理模塊設(shè)計
        4.4.3 數(shù)據(jù)應(yīng)用模塊設(shè)計
    4.5 數(shù)據(jù)庫設(shè)計
    4.6 接口設(shè)計
    4.7 本章小結(jié)
第五章 k-means算法改進
    5.1 WIFI用戶行為分析場景下k-means算法優(yōu)勢
    5.2 傳統(tǒng)k-means算法的局限性
    5.3 在線k-means算法
        5.3.1 與隨機梯度下降結(jié)合
        5.3.2 模型參數(shù)更新
        5.3.3 添加正則化項
        5.3.4 算法并行化
        5.3.5 改進算法描述
    5.4 實驗數(shù)據(jù)及算法分析
        5.4.1 數(shù)據(jù)集
        5.4.2 聚類數(shù)的確定
        5.4.3 算法性能對比
    5.5 本章小結(jié)
第六章 基于k-means算法的WIFI用戶行為分析系統(tǒng)實現(xiàn)及測試
    6.1 系統(tǒng)環(huán)境及配置
        6.1.1 系統(tǒng)硬件配置
        6.1.2 軟件配置
        6.1.3 WIFI探針部署說明
        6.1.4 集群部署
    6.2 系統(tǒng)實現(xiàn)
        6.2.1 數(shù)據(jù)接入模塊實現(xiàn)
        6.2.2 數(shù)據(jù)處理模塊實現(xiàn)
        6.2.3 數(shù)據(jù)應(yīng)用模塊實現(xiàn)
    6.3 系統(tǒng)測試
        6.3.1 功能測試
        6.3.2 系統(tǒng)性能測試
        6.3.3 測試結(jié)果
    6.4 本章小結(jié)
第七章 總結(jié)與展望
    7.1 總結(jié)
    7.2 展望
參考文獻
致謝



本文編號：3745272