本文關(guān)鍵詞：大數(shù)據(jù)技術(shù)在學(xué)生業(yè)績分析中的研究與應(yīng)用，由筆耕文化傳播整理發(fā)布。

【摘要】：如今數(shù)據(jù)爆炸時(shí)代已經(jīng)來臨,傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)不能滿足海量數(shù)據(jù)的處理需求。隨著信息技術(shù)的發(fā)展,以Hadoop為首的眾多大數(shù)據(jù)處理技術(shù)已經(jīng)廣泛應(yīng)用到互聯(lián)網(wǎng)、商業(yè)、醫(yī)學(xué)、金融業(yè)以及工業(yè)等行業(yè),而在教育中的應(yīng)用確很少。因此本文應(yīng)用Hadoop集群平臺(tái)對(duì)本校的學(xué)生成績數(shù)據(jù)進(jìn)行了分析和處理,并且研究了一種基于Map Reduce的關(guān)聯(lián)規(guī)則算法,提高了關(guān)聯(lián)規(guī)則算法在處理海量數(shù)據(jù)時(shí)的效率,同時(shí)挖掘了課程之間的關(guān)聯(lián)規(guī)則。本文的工作主要分為以下兩個(gè)部分:首先學(xué)習(xí)了Hadoop平臺(tái)的核心架構(gòu)—HDFS和Map Reduce,采用HDFS實(shí)現(xiàn)學(xué)生數(shù)據(jù)的存儲(chǔ)。在深入了解到Map Reduce編程模型后,針對(duì)傳統(tǒng)Apriori算法的局限性,實(shí)現(xiàn)了一種基于Map Reduce編程模型的改進(jìn)算法,并通過實(shí)例驗(yàn)證了改進(jìn)后算法的可行性。然后通過改變數(shù)據(jù)集的大小和改變最小支持度閾值以及最小置信度閾值這三種方式對(duì)這兩種算法的性能進(jìn)行了對(duì)比,實(shí)驗(yàn)證明,經(jīng)過改進(jìn)Map Reduce Apriori算法的性能在各個(gè)方面都要優(yōu)于傳統(tǒng)的Apriori算法。其次本文搭建了Hadoop集群平臺(tái),將改進(jìn)的算法應(yīng)用到真實(shí)的學(xué)生成績數(shù)據(jù)中,挖掘出了課程之間隱藏的關(guān)聯(lián)關(guān)系,同時(shí)本文也應(yīng)用Hadoop平臺(tái)進(jìn)行了一些統(tǒng)計(jì)分析的工作。本文的主要?jiǎng)?chuàng)新點(diǎn)為:(1)根據(jù)Map Reduce編程模型的特點(diǎn),對(duì)傳統(tǒng)的Apriori關(guān)聯(lián)規(guī)則算法進(jìn)行了改進(jìn),改進(jìn)的算法不僅實(shí)現(xiàn)了發(fā)現(xiàn)頻繁項(xiàng)集這一過程,同時(shí)也根據(jù)發(fā)現(xiàn)的頻繁項(xiàng)集篩選出了強(qiáng)關(guān)聯(lián)規(guī)則;(2)通過對(duì)大數(shù)據(jù)技術(shù)的學(xué)習(xí)和學(xué)生數(shù)據(jù)的分析,本文搭建了Hadoop集群來分析和處理真實(shí)學(xué)生成績數(shù)據(jù)。高校中時(shí)時(shí)刻刻都會(huì)產(chǎn)生大量的數(shù)據(jù),同時(shí)教育數(shù)據(jù)中隱藏的潛在價(jià)值也是無窮無盡的,更值得我們?nèi)ヌ剿�。如果能將如此豐富的教育數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的教學(xué)研究成果,并且應(yīng)用到改善教學(xué)決策的制定和實(shí)踐中,那么對(duì)于各大高校和教育研究機(jī)構(gòu)來說意義非凡。希望通過本文的工作能為以后的研究學(xué)者提供一個(gè)方向,也能為學(xué)校的教育工作者在以后的教學(xué)管理上提供借鑒。
【關(guān)鍵詞】：大數(shù)據(jù) Hadoop Map Reduce Apriori
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13
【目錄】：

• 摘要4-5
• abstract5-9
• 第1章 緒論9-20
• 1.1 論文研究的背景和意義9-18
• 1.2 論文的主要研究內(nèi)容18-19
• 1.3 論文的組織結(jié)構(gòu)19
• 1.4 本章小結(jié)19-20
• 第2章 Hadoop理論基礎(chǔ)簡介20-31
• 2.1 Hadoop簡介20-25
• 2.1.1 Hadoop框架及其生態(tài)系統(tǒng)21-22
• 2.1.2 第二代Hadoop平臺(tái)—YARN22-24
• 2.1.3 Hadoop的應(yīng)用現(xiàn)狀和發(fā)展趨勢(shì)24-25
• 2.2 Hadoop分布式文件系統(tǒng)25-28
• 2.2.1 HDFS簡介25-26
• 2.2.2 HDFS工作原理26-28
• 2.3 MapReduce編程模型28-30
• 2.3.1 MapReduce簡介28-29
• 2.3.2 MapReduce工作原理29-30
• 2.4 本章小結(jié)30-31
• 第3章 基于Map Reduce關(guān)聯(lián)規(guī)則算法的研究與改進(jìn)31-43
• 3.1 Apriori算法簡介31-34
• 3.2 Apriori算法的缺陷34-35
• 3.3 基于MapReduce的Apriori算法的研究與改進(jìn)35-37
• 3.4 改進(jìn)算法的可行性分析37-42
• 3.5 本章小結(jié)42-43
• 第4章 大數(shù)據(jù)技術(shù)在學(xué)生成績分析中的應(yīng)用43-57
• 4.1 實(shí)驗(yàn)環(huán)境介紹43-45
• 4.2 數(shù)據(jù)預(yù)處理45-46
• 4.3 基于學(xué)生成績的統(tǒng)計(jì)分析46-50
• 4.4 MapReduce Apriori在學(xué)生成績分析中的應(yīng)用50-56
• 4.4.1 輸入數(shù)據(jù)格式50-51
• 4.4.2 分析結(jié)果51-56
• 4.5 應(yīng)用結(jié)果分析56
• 4.6 本章小結(jié)56-57
• 第5章 總結(jié)和展望57-59
• 5.1 總結(jié)57-58
• 5.2 不足與展望58-59
• 參考文獻(xiàn)59-63
• 作者簡介及科研成果63-64
• 致謝64

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;2013年企業(yè)將大規(guī)模投資大數(shù)據(jù)技術(shù)[J];通訊世界;2013年06期

2 趙姝淳;孫曙輝;;大數(shù)據(jù)技術(shù)及其在教育領(lǐng)域的應(yīng)用[J];中小學(xué)信息技術(shù)教育;2014年03期

3 ;2013中國大數(shù)據(jù)技術(shù)大會(huì)將在京舉辦[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年22期

4 ;2013中國大數(shù)據(jù)技術(shù)大會(huì)圓滿落幕[J];信息網(wǎng)絡(luò)安全;2014年01期

5 梁春麗;;英國政府嘗鮮大數(shù)據(jù)技術(shù)[J];金融科技時(shí)代;2013年06期

6 孫中東;;大數(shù)據(jù)技術(shù)應(yīng)用與銀行信用評(píng)級(jí)體系創(chuàng)新之探[J];金融電子化;2013年11期

7 邱仁宗;黃雯;翟曉梅;;大數(shù)據(jù)技術(shù)的倫理問題[J];科學(xué)與社會(huì);2014年01期

8 劉鵬;;專題:大數(shù)據(jù)技術(shù)與應(yīng)用[J];中興通訊技術(shù);2013年04期

9 劉莉;閻桂蘭;;新一波科技浪潮——大數(shù)據(jù)技術(shù)引領(lǐng)“智慧城市”發(fā)展方向[J];海峽科技與產(chǎn)業(yè);2013年10期

10 秦建秀;;大數(shù)據(jù)一定需要大投入嗎?[J];軟件和信息服務(wù);2012年06期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前5條

1 ;北京京南航天數(shù)據(jù)技術(shù)有限公司[A];第十二屆全國實(shí)驗(yàn)力學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

2 徐子偉;張陳斌;陳宗海;;大數(shù)據(jù)技術(shù)概述[A];系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第15卷）[C];2014年

3 賈麗;嚴(yán)f^雋;李聿淵;尹航;;大數(shù)據(jù)技術(shù)在指揮信息系統(tǒng)中的應(yīng)用研究[A];2014第二屆中國指揮控制大會(huì)論文集（下）[C];2014年

4 李忠;李?yuàn)檴?韓瑩;;地震監(jiān)測大數(shù)據(jù)技術(shù)研究框架[A];大數(shù)據(jù)、云計(jì)算與地球物理應(yīng)用研討活動(dòng)論文摘要集[C];2014年

5 李欣;任越;;數(shù)據(jù)技術(shù)在存量住房批量評(píng)稅中的運(yùn)用[A];中國房地產(chǎn)估價(jià)師與房地產(chǎn)經(jīng)紀(jì)人學(xué)會(huì)2011年年會(huì)論文集[C];2011年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 記者 劉石磊;英國大數(shù)據(jù)技術(shù)應(yīng)用獲突破 瓶頸等問題尚待解決[N];經(jīng)濟(jì)參考報(bào);2013年

2 中國證券投資基金業(yè)協(xié)會(huì) 王葦航;英國投資“大數(shù)據(jù)”能帶來大收益嗎[N];中國財(cái)經(jīng)報(bào);2013年

3 姜念云;以大數(shù)據(jù)技術(shù)促文化資源管理[N];中國文化報(bào);2013年

4 本報(bào)記者 王娟;用大數(shù)據(jù)技術(shù)再造企業(yè)“外腦”[N];中國計(jì)算機(jī)報(bào);2013年

5 陶翔 羅天雨;大數(shù)據(jù)技術(shù)的發(fā)展歷程及其演化趨勢(shì)[N];科技日?qǐng)?bào);2014年

6 記者 張?zhí)m;運(yùn)用大數(shù)據(jù)技術(shù)推進(jìn)保險(xiǎn)業(yè)創(chuàng)新發(fā)展[N];金融時(shí)報(bào);2014年

7 記者 李利軍;巨細(xì)公司以紡織大數(shù)據(jù)技術(shù)打造共贏圈[N];中國紡織報(bào);2014年

8 李倩;數(shù)據(jù)技術(shù)讓保險(xiǎn)更精彩[N];金融時(shí)報(bào);2014年

9 北京大學(xué)教育學(xué)院副院長 教育技術(shù)系主任 尚俊杰;大數(shù)據(jù)技術(shù)下，如何報(bào)志愿？[N];光明日?qǐng)?bào);2014年

10 本報(bào)記者 陳鵬;改變生活，它真無所不能？[N];大連日?qǐng)?bào);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 段德珂;技術(shù)哲學(xué)視野下大數(shù)據(jù)技術(shù)研究[D];武漢理工大學(xué);2014年

2 陳敏偉;大數(shù)據(jù)技術(shù)在鐵路貨運(yùn)電子商務(wù)系統(tǒng)中的基本應(yīng)用研究[D];西南交通大學(xué);2015年

3 李虎;大數(shù)據(jù)技術(shù)在衛(wèi)星運(yùn)控中應(yīng)用探索[D];中國科學(xué)院研究生院(空間科學(xué)與應(yīng)用研究中心);2015年

4 王二朋;大數(shù)據(jù)技術(shù)和案例推理在城市建設(shè)審批中的研究與應(yīng)用[D];浙江大學(xué);2015年

5 李安增;基于大數(shù)據(jù)技術(shù)的環(huán)境質(zhì)量監(jiān)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國科學(xué)院研究生院（沈陽計(jì)算技術(shù)研究所）;2015年

6 李隆幟;基于大數(shù)據(jù)技術(shù)的MOOC教學(xué)質(zhì)量評(píng)測系統(tǒng)[D];大連理工大學(xué);2015年

7 趙毅;大數(shù)據(jù)技術(shù)對(duì)新聞業(yè)務(wù)的影響研究[D];大連理工大學(xué);2015年

8 楊光;百事公司大數(shù)據(jù)技術(shù)應(yīng)用及實(shí)施管理研究[D];天津財(cái)經(jīng)大學(xué);2014年

9 徐超;從信息孤島到信息共享[D];江西財(cái)經(jīng)大學(xué);2015年

10 張蕾;基于3D打印的海量創(chuàng)意管理服務(wù)研究與實(shí)現(xiàn)[D];中國海洋大學(xué);2015年

  本文關(guān)鍵詞：大數(shù)據(jù)技術(shù)在學(xué)生業(yè)績分析中的研究與應(yīng)用，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：477252