根據(jù)調(diào)查顯示,我國普通高等學(xué)校中貧困生的數(shù)量還相對較多,因此如何資助貧困生已成為非常重要的問題,而貧困生的評定則是高校貧困生資助的前提和難點(diǎn)所在。目前許多高校所采用的人工評定貧困生的方法存在著主觀依據(jù)多、客觀依據(jù)少等缺點(diǎn),而如今利用大數(shù)據(jù)挖掘技術(shù)對貧困生的評判已是大數(shù)據(jù)技術(shù)在校園中的一項(xiàng)重要應(yīng)用。本課題以我校真實(shí)的校園一卡通消費(fèi)數(shù)據(jù)為例進(jìn)行分析,完成從數(shù)據(jù)的預(yù)處理、數(shù)據(jù)導(dǎo)入、算法設(shè)計、模型建立到貧困生挖掘算法實(shí)現(xiàn)的整個過程。首先利用騰訊云服務(wù)器搭建大數(shù)據(jù)分析平臺,將校園一卡通數(shù)據(jù)經(jīng)過預(yù)處理,利用Sqoop工具導(dǎo)入至大數(shù)據(jù)分析平臺并存儲在HDFS中,基于SparkMLlib機(jī)器學(xué)習(xí)庫進(jìn)行數(shù)據(jù)挖掘,將挖掘結(jié)果展現(xiàn)出來。本文首先利用機(jī)器學(xué)習(xí)庫中的Logistic回歸算法進(jìn)行訓(xùn)練,然后將SVM算法引入到傳統(tǒng)的Logistic回歸模型中,利用新的集成判別分析規(guī)則對貧困生進(jìn)行挖掘。通過計算學(xué)生的食堂消費(fèi)金額,超市消費(fèi)比例,校園網(wǎng)網(wǎng)費(fèi)等變量,從而組成特征向量,依據(jù)這些特征向量構(gòu)成數(shù)據(jù)集,對貧困生進(jìn)行挖掘。通過實(shí)驗(yàn)建立模型,最后對新的消費(fèi)數(shù)據(jù)預(yù)測該數(shù)據(jù)對應(yīng)的學(xué)生是否為貧困生,并對結(jié)果進(jìn)行說明和分析。 

【文章來源】：西安科技大學(xué)陜西省

【文章頁數(shù)】：57 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖3.2個人消費(fèi)信息表字段

圖 3.3 卡戶信息表字段我校學(xué)生用戶的刷卡消費(fèi)在以下幾個地方比較集中，食堂、超市、校園網(wǎng)賬號的交費(fèi)等。由于七月份與八月份是學(xué)校的暑假時間，其消費(fèi)數(shù)據(jù)不全且很少，而且具有不確定性，也不能正確的反應(yīng)學(xué)生在校的基本情況，所以將七月份與八月份的消費(fèi)數(shù)據(jù)刪除，剩下的是 3 月 1 日到 6 月 30 日和 9 月 1 日到 12 月 31 日這八個月的消費(fèi)數(shù)據(jù)，總的數(shù)據(jù)量超過一千萬條，數(shù)據(jù)容量超過 3G。每條數(shù)據(jù)包含了校園統(tǒng)一身份認(rèn)證號、卡號、交易日期、交易時間、交易金額、交易余額等多個變量。這些數(shù)據(jù)是繁雜的，而且數(shù)據(jù)存在不規(guī)范等問題，因此在進(jìn)行數(shù)據(jù)挖掘之前需要進(jìn)行必要的數(shù)據(jù)預(yù)處理，如將不需要的數(shù)據(jù)予以剔除，對缺失的數(shù)據(jù)填補(bǔ)，如果沒有進(jìn)行數(shù)據(jù)預(yù)處理，在挖掘的過程中不僅會做許多不必要的工作量，還會影響模型建立過程的執(zhí)行效率，更有甚者會影響到模型的效率與準(zhǔn)確率。本文研究的是貧困生認(rèn)定輔助依據(jù)，擬用學(xué)生的校園一卡通消費(fèi)流水?dāng)?shù)據(jù)作為標(biāo)準(zhǔn)，所以需要保留學(xué)生的消費(fèi)流水，如食堂消費(fèi)、超市消費(fèi)、網(wǎng)費(fèi)等，以及能作為身份識別的數(shù)據(jù)字段，如校園統(tǒng)一身份認(rèn)證號等。學(xué)生身份數(shù)據(jù)表有校園統(tǒng)一身份認(rèn)證號、卡號、卡片狀態(tài)等多個字段。本文只選取其中需要的部分變量做描述和分析，其余的無關(guān)變量

圖 3.4 學(xué)生基本信息表字段為了使算法具有更好的泛化作用，對男生與女生的消費(fèi)情況依照用戶性別信息理，如圖 3.5 為學(xué)生基本信息表中的部分?jǐn)?shù)據(jù)，表中的 M 代表男生，F(xiàn) 代表

【參考文獻(xiàn)】：
期刊論文
[1]基于校園一卡通數(shù)據(jù)的貧困學(xué)生消費(fèi)異常數(shù)據(jù)檢測分析[J]. 蒲飛,趙正輝,涂旭東,陳苗.  電子測試. 2018(06)
[2]大數(shù)據(jù)下高校智能資助的技術(shù)方案與實(shí)施模式研究[J]. 胡培培.  無錫職業(yè)技術(shù)學(xué)院學(xué)報. 2018(01)
[3]大數(shù)據(jù)背景下高校精準(zhǔn)資助模式分析[J]. 朱平.  佳木斯職業(yè)學(xué)院學(xué)報. 2017(11)
[4]基于高校學(xué)生消費(fèi)數(shù)據(jù)的貧困生評價分析[J]. 譚浩,田愛奎,鄭睿.  電腦知識與技術(shù). 2017(21)
[5]高校貧困學(xué)生輔助評價的研究[J]. 林志興.  計算機(jī)系統(tǒng)應(yīng)用. 2017(06)
[6]基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J]. 張愛國.  現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化. 2017(03)
[7]論數(shù)據(jù)挖掘技術(shù)在貧困生認(rèn)定與管理中的應(yīng)用[J]. 龍媛.  知音勵志. 2017(01)
[8]數(shù)據(jù)挖掘在高校貧困生評價中的應(yīng)用[J]. 楊知玲.  軟件導(dǎo)刊. 2016(06)
[9]基于數(shù)據(jù)挖掘的貧困生認(rèn)定輔助系統(tǒng)的研究[J]. 劉海苑.  電腦知識與技術(shù). 2015(24)
[10]基于數(shù)據(jù)挖掘的貧困生認(rèn)定輔助系統(tǒng)設(shè)計[J]. 樊搏,姜玉國.  軟件導(dǎo)刊. 2015(12)

碩士論文
[1]大數(shù)據(jù)背景下高校貧困生資助工作精準(zhǔn)化研究[D]. 李成飛.南京郵電大學(xué) 2017
[2]數(shù)據(jù)挖掘技術(shù)在校園一卡通系統(tǒng)中的應(yīng)用研究[D]. 白萍.蘭州理工大學(xué) 2017
[3]基于Hadoop的校園卡數(shù)據(jù)挖掘的研究與實(shí)現(xiàn)[D]. 戴海輝.南昌航空大學(xué) 2017
[4]基于數(shù)據(jù)挖掘的貧困助學(xué)金認(rèn)定方法研究[D]. 李明君.華中師范大學(xué) 2017
[5]數(shù)據(jù)挖掘技術(shù)在高職院校貧困生認(rèn)定中的應(yīng)用[D]. 鄭丹.安徽大學(xué) 2016
[6]基于關(guān)聯(lián)規(guī)則的決策樹改進(jìn)算法在貧困生認(rèn)定中的應(yīng)用[D]. 董麗娟.鄭州大學(xué) 2016
[7]數(shù)據(jù)挖掘在校園卡消費(fèi)中的研究與應(yīng)用[D]. 張紅蕾.蘭州交通大學(xué) 2016
[8]數(shù)據(jù)挖掘在高校貧困生評價中的應(yīng)用研究[D]. 楊知玲.華南理工大學(xué) 2015
[9]校園一卡通數(shù)據(jù)分析平臺研究與設(shè)計[D]. 劉靈松.山東師范大學(xué) 2015
[10]基于數(shù)據(jù)挖掘的高校貧困生認(rèn)定系統(tǒng)設(shè)計和分析[D]. 張建明.東南大學(xué) 2015



本文編號：3364812