隨著科學技術日新月異發(fā)展,人類在生產(chǎn)生活中產(chǎn)生了無數(shù)的數(shù)據(jù)信息,數(shù)據(jù)從處理對象成為了一種基礎性的資源。各高校積累了大量的學生行為數(shù)據(jù),這些行為數(shù)據(jù)記錄當中隱藏著大量有價值的信息,但我們很難憑借直觀的感覺發(fā)現(xiàn)它,必須通過數(shù)據(jù)挖掘的方法將其表示出來,發(fā)現(xiàn)其中的有價值的信息,為高校資源的合理分配,校園的規(guī)劃建設及師生的管理等工作提供有價值的參考。本文提出并實現(xiàn)了一個面向校園大數(shù)據(jù)的行為數(shù)據(jù)挖掘與分析系統(tǒng)。論文首先對現(xiàn)在高校的校園卡數(shù)據(jù)進行了分析和現(xiàn)在的相關技術的研究現(xiàn)狀做了簡要分析。然后,具體分析了數(shù)據(jù)挖掘中常用的Hadoop技術,具體介紹了FP-Growth算法的原理和流程。第三,基于sqoop技術設計了這種校園卡的用戶數(shù)據(jù)倉庫。最后對行為大數(shù)據(jù)進行了挖掘分析。主要包括:一、先統(tǒng)計分析確定出不同時間段食堂就餐人數(shù),分析其變化情況,從而明確學校就餐高峰期相關的規(guī)律;二、通過統(tǒng)計部分學生的消費,使用決策樹算法來建立學生貧困度模型,后通過剪枝手段優(yōu)化,提升評估的準確率;三、統(tǒng)計學生經(jīng)常去的商戶,對相關數(shù)據(jù)進行挖掘分析,確定出學生和商戶的關聯(lián)規(guī)則,從而得到更方便于學生的方式。

【文章頁數(shù)】：60 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景與意義
    1.2 研究目標與內(nèi)容
        1.2.1 研究目標
        1.2.2 研究內(nèi)容
    1.3 論文的總體結(jié)構(gòu)
第2章 相關關鍵技術及算法綜述
    2.1 Hadoop
        2.1.1 分布式文件系統(tǒng)HDFS
        2.1.2 分布式批處理框架MapReduce
        2.1.3 數(shù)據(jù)倉庫工具Hive
        2.1.4 數(shù)據(jù)傳遞工具Sqoop
    2.2 關聯(lián)規(guī)則挖掘算法
        2.2.1 關聯(lián)規(guī)則概念
        2.2.2 Fp-Growth算法
    2.3 決策樹分類算法
        2.3.1 決策樹基本概念
        2.3.2 常見劃分策略
        2.3.3 剪枝處理
第3章 系統(tǒng)總體架構(gòu)及關鍵算法研究
    3.1 系統(tǒng)平臺建設需求
    3.2 系統(tǒng)構(gòu)建模型
    3.3 系統(tǒng)技術架構(gòu)
    3.4 系統(tǒng)關鍵算法
        3.4.1 在校貧困學生挖掘方法
        3.4.2 學生就餐地點選擇關聯(lián)分析方法
第4章 行為數(shù)據(jù)數(shù)據(jù)倉庫構(gòu)建
    4.1 系統(tǒng)環(huán)境安裝
    4.2 行為數(shù)據(jù)預處理
        4.2.1 消費流水數(shù)據(jù)篩選預處理
        4.2.2 學生用戶信息數(shù)據(jù)預處理
        4.2.3 商戶信息預處理
        4.2.4 行為數(shù)據(jù)倉庫設計
    4.3 行為主題確定
        4.3.1 數(shù)據(jù)倉庫概念設計
        4.3.2 數(shù)據(jù)倉庫維度設計
        4.3.3 數(shù)據(jù)倉庫表設計
第5章 校園卡數(shù)據(jù)挖掘與分析
    5.1 就餐人數(shù)統(tǒng)計
        5.1.1 每日就餐人數(shù)統(tǒng)計
        5.1.2 早中晚就餐高峰時間
        5.1.3 就餐地點統(tǒng)計
    5.2 在校貧困學生挖掘與分析
        5.2.1 統(tǒng)計各類消費數(shù)據(jù)
        5.2.2 數(shù)據(jù)選取
        5.2.3 決策樹與分析
    5.3 學生就餐地點選擇關聯(lián)分析
        5.3.1 統(tǒng)計常去餐飲
        5.3.2 頻繁模式挖掘
        5.3.3 關聯(lián)規(guī)則分析
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻
致謝



本文編號：3756799