在“一庫(kù)一表”工程的建設(shè)理念指導(dǎo)下,高校的校園信息化工程不斷推進(jìn),將多年來(lái)累計(jì)的校園數(shù)據(jù)逐步整合形成了包括校務(wù)管理、教學(xué)管理、圖書(shū)借閱信息、學(xué)生消費(fèi)數(shù)據(jù)等數(shù)據(jù)的共享數(shù)據(jù)平臺(tái)。這使得我們能有機(jī)會(huì)挖掘?qū)W生行為下潛藏的規(guī)律。本文通過(guò)分析高校校園大數(shù)據(jù)的特點(diǎn),進(jìn)而對(duì)反映學(xué)生行為和生活學(xué)習(xí)狀態(tài)的數(shù)據(jù)進(jìn)行分析,借助Spark平臺(tái)對(duì)海量數(shù)據(jù)歸納,并通過(guò)阿里云的Data V工具進(jìn)行可視化展示。由此讓全校學(xué)生發(fā)現(xiàn)并改善自身的問(wèn)題,同時(shí)也反饋了學(xué)校的運(yùn)行情況,便于及時(shí)改善。主要工作如下:(1)對(duì)本文所需的Spark和Data V進(jìn)行了介紹和部署,并從學(xué)校公共數(shù)據(jù)平臺(tái)抽取并清洗相關(guān)數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行了標(biāo)準(zhǔn)化處理。(2)針對(duì)學(xué)生行為設(shè)計(jì)了學(xué)生行為畫(huà)像庫(kù),并以?xún)?yōu)化的LOF算法的改進(jìn)方法進(jìn)行數(shù)據(jù)的去噪工作,最后使用K-means++算法進(jìn)行聚類(lèi),通過(guò)實(shí)驗(yàn)驗(yàn)證了優(yōu)化的LOF算法在去噪上較傳統(tǒng)的LOF算法在時(shí)間復(fù)雜度有較強(qiáng)的改進(jìn)。(3)引入了關(guān)聯(lián)規(guī)則分析,用以發(fā)現(xiàn)學(xué)生行為之間的有趣聯(lián)系,介紹并改進(jìn)了Apriori算法,并通過(guò)學(xué)生的消費(fèi)行為、生活習(xí)慣、學(xué)習(xí)努力程度去與學(xué)生成績(jī)關(guān)聯(lián),推導(dǎo)出成績(jī)與這三者之間的關(guān)系,為學(xué)生改善...

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 引言
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 校園數(shù)據(jù)挖掘現(xiàn)狀
        1.2.2 學(xué)生畫(huà)像、行為分析現(xiàn)狀
    1.3 課題的研究?jī)?nèi)容
    1.4 本文的組織結(jié)構(gòu)
    1.5 本章小結(jié)
2 數(shù)據(jù)預(yù)處理和工具介紹
    2.1 數(shù)據(jù)抽取
    2.2 數(shù)據(jù)清洗
        2.2.1 預(yù)處理階段
        2.2.2 缺失值清洗
        2.2.3 格式內(nèi)容清洗
        2.2.4 邏輯錯(cuò)誤清洗
    2.3 數(shù)據(jù)標(biāo)準(zhǔn)化
    2.4 Spark大數(shù)據(jù)處理平臺(tái)
        2.4.1 Spark簡(jiǎn)介
        2.4.2 彈性分布式數(shù)據(jù)集RDD
        2.4.3 Spark分布式平臺(tái)環(huán)境
        2.4.4 分布式平臺(tái)搭建過(guò)程
    2.5 數(shù)據(jù)可視化
        2.5.1 數(shù)據(jù)可視化簡(jiǎn)介
        2.5.2 DataV
        2.5.3 輕量級(jí)數(shù)據(jù)庫(kù)訪問(wèn)框架FastSQL
    2.6 本章小結(jié)
3 學(xué)生畫(huà)像庫(kù)建立和聚類(lèi)算法
    3.1 學(xué)生“畫(huà)像”特征庫(kù)構(gòu)建
    3.2 經(jīng)典聚類(lèi)算法K-means介紹
    3.3 LOF算法的介紹及其優(yōu)化
        3.3.1 傳統(tǒng)的LOF算法
        3.3.2 依賴(lài)K-means改進(jìn)的LOF算法
        3.3.3 改進(jìn)的LOF算法實(shí)驗(yàn)結(jié)果分析
    3.4 K-means⁺⁺算法
    3.5 基于LOF優(yōu)化的K-means⁺⁺算法并行化實(shí)現(xiàn)
    3.6 實(shí)驗(yàn)結(jié)果與分析
    3.7 本章小結(jié)
4 關(guān)聯(lián)規(guī)則分析在學(xué)生行為分析中的應(yīng)用
    4.1 關(guān)聯(lián)規(guī)則簡(jiǎn)介
    4.2 Apriori算法介紹及其改進(jìn)
        4.2.1 Apriori算法介紹
        4.2.2 Apriori算法的改進(jìn)
        4.2.3 Apriori算法改進(jìn)舉例說(shuō)明
    4.3 基于優(yōu)化的Apriori算法挖掘?qū)W生行為規(guī)則
        4.3.1 數(shù)據(jù)準(zhǔn)備
        4.3.2 關(guān)聯(lián)規(guī)則分析結(jié)果
    4.4 本章小結(jié)
5 基于DataV大數(shù)據(jù)可視化展示的實(shí)現(xiàn)
    5.1 大數(shù)據(jù)可視化展示的工作流程
    5.2 大數(shù)據(jù)可視化展示的整體結(jié)構(gòu)
    5.3 DataV可視化的數(shù)據(jù)整合
    5.4 基于DataV的校園大數(shù)據(jù)可視化結(jié)果
        5.4.1 DataV服務(wù)對(duì)象說(shuō)明
        5.4.2 圖書(shū)館模塊成果
        5.4.3 信息中心模塊成果
        5.4.4 學(xué)生模塊成果
    5.5 本章小結(jié)
6 總結(jié)與展望
    6.1 本文工作總結(jié)
    6.2 未來(lái)工作展望
參考文獻(xiàn)
個(gè)人成果
致謝



本文編號(hào)：3814499