在“一庫一表”工程的建設(shè)理念指導(dǎo)下,高校的校園信息化工程不斷推進,將多年來累計的校園數(shù)據(jù)逐步整合形成了包括校務(wù)管理、教學管理、圖書借閱信息、學生消費數(shù)據(jù)等數(shù)據(jù)的共享數(shù)據(jù)平臺。這使得我們能有機會挖掘?qū)W生行為下潛藏的規(guī)律。本文通過分析高校校園大數(shù)據(jù)的特點,進而對反映學生行為和生活學習狀態(tài)的數(shù)據(jù)進行分析,借助Spark平臺對海量數(shù)據(jù)歸納,并通過阿里云的Data V工具進行可視化展示。由此讓全校學生發(fā)現(xiàn)并改善自身的問題,同時也反饋了學校的運行情況,便于及時改善。主要工作如下:(1)對本文所需的Spark和Data V進行了介紹和部署,并從學校公共數(shù)據(jù)平臺抽取并清洗相關(guān)數(shù)據(jù),對數(shù)據(jù)進行了標準化處理。(2)針對學生行為設(shè)計了學生行為畫像庫,并以優(yōu)化的LOF算法的改進方法進行數(shù)據(jù)的去噪工作,最后使用K-means++算法進行聚類,通過實驗驗證了優(yōu)化的LOF算法在去噪上較傳統(tǒng)的LOF算法在時間復(fù)雜度有較強的改進。(3)引入了關(guān)聯(lián)規(guī)則分析,用以發(fā)現(xiàn)學生行為之間的有趣聯(lián)系,介紹并改進了Apriori算法,并通過學生的消費行為、生活習慣、學習努力程度去與學生成績關(guān)聯(lián),推導(dǎo)出成績與這三者之間的關(guān)系,為學生改善...

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 引言
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 校園數(shù)據(jù)挖掘現(xiàn)狀
        1.2.2 學生畫像、行為分析現(xiàn)狀
    1.3 課題的研究內(nèi)容
    1.4 本文的組織結(jié)構(gòu)
    1.5 本章小結(jié)
2 數(shù)據(jù)預(yù)處理和工具介紹
    2.1 數(shù)據(jù)抽取
    2.2 數(shù)據(jù)清洗
        2.2.1 預(yù)處理階段
        2.2.2 缺失值清洗
        2.2.3 格式內(nèi)容清洗
        2.2.4 邏輯錯誤清洗
    2.3 數(shù)據(jù)標準化
    2.4 Spark大數(shù)據(jù)處理平臺
        2.4.1 Spark簡介
        2.4.2 彈性分布式數(shù)據(jù)集RDD
        2.4.3 Spark分布式平臺環(huán)境
        2.4.4 分布式平臺搭建過程
    2.5 數(shù)據(jù)可視化
        2.5.1 數(shù)據(jù)可視化簡介
        2.5.2 DataV
        2.5.3 輕量級數(shù)據(jù)庫訪問框架FastSQL
    2.6 本章小結(jié)
3 學生畫像庫建立和聚類算法
    3.1 學生“畫像”特征庫構(gòu)建
    3.2 經(jīng)典聚類算法K-means介紹
    3.3 LOF算法的介紹及其優(yōu)化
        3.3.1 傳統(tǒng)的LOF算法
        3.3.2 依賴K-means改進的LOF算法
        3.3.3 改進的LOF算法實驗結(jié)果分析
    3.4 K-means⁺⁺算法
    3.5 基于LOF優(yōu)化的K-means⁺⁺算法并行化實現(xiàn)
    3.6 實驗結(jié)果與分析
    3.7 本章小結(jié)
4 關(guān)聯(lián)規(guī)則分析在學生行為分析中的應(yīng)用
    4.1 關(guān)聯(lián)規(guī)則簡介
    4.2 Apriori算法介紹及其改進
        4.2.1 Apriori算法介紹
        4.2.2 Apriori算法的改進
        4.2.3 Apriori算法改進舉例說明
    4.3 基于優(yōu)化的Apriori算法挖掘?qū)W生行為規(guī)則
        4.3.1 數(shù)據(jù)準備
        4.3.2 關(guān)聯(lián)規(guī)則分析結(jié)果
    4.4 本章小結(jié)
5 基于DataV大數(shù)據(jù)可視化展示的實現(xiàn)
    5.1 大數(shù)據(jù)可視化展示的工作流程
    5.2 大數(shù)據(jù)可視化展示的整體結(jié)構(gòu)
    5.3 DataV可視化的數(shù)據(jù)整合
    5.4 基于DataV的校園大數(shù)據(jù)可視化結(jié)果
        5.4.1 DataV服務(wù)對象說明
        5.4.2 圖書館模塊成果
        5.4.3 信息中心模塊成果
        5.4.4 學生模塊成果
    5.5 本章小結(jié)
6 總結(jié)與展望
    6.1 本文工作總結(jié)
    6.2 未來工作展望
參考文獻
個人成果
致謝



本文編號：3814499