【摘要】：隨著互聯(lián)網(wǎng)和教育大數(shù)據(jù)的快速發(fā)展,大規(guī)模在線課程已經(jīng)越來(lái)越普及,國(guó)內(nèi)外都出現(xiàn)了大量的慕課平臺(tái),注冊(cè)人數(shù)都達(dá)到了上百萬(wàn),并且平臺(tái)注冊(cè)人數(shù)會(huì)越來(lái)越多,但是據(jù)調(diào)查統(tǒng)計(jì)發(fā)現(xiàn)課程的完成率普遍低下,關(guān)于如何降低慕課平臺(tái)學(xué)習(xí)者的輟學(xué)率成為亟待研究的問(wèn)題。盡管大量的學(xué)者對(duì)該問(wèn)題進(jìn)行了理論和預(yù)測(cè)模型方面的分析,但是研究基礎(chǔ)都是基于小樣本數(shù)據(jù)進(jìn)行研究,很少考慮大數(shù)據(jù)環(huán)境下的時(shí)效性。本文基于師大學(xué)堂慕課平臺(tái)研究慕課用戶的輟學(xué)率問(wèn)題,在用戶行為特征構(gòu)建和用戶輟學(xué)率預(yù)測(cè)模型構(gòu)建兩個(gè)方面進(jìn)行一系列的研究,給出了基于大數(shù)據(jù)環(huán)境慕課用戶輟學(xué)率預(yù)測(cè)的新思路,研究的主要內(nèi)容主要包含下面三個(gè)方面:1)基于分布式的權(quán)重SVM預(yù)測(cè)模型基于慕課平臺(tái)數(shù)據(jù)量大和實(shí)時(shí)的特性,分析師大學(xué)堂用戶的行為數(shù)據(jù)特性,采用ELK架構(gòu)設(shè)計(jì)了慕課平臺(tái)的數(shù)據(jù)收集機(jī)制,其中Logstash和Elasticsearch都具備良好的可擴(kuò)展性,隨著慕課平臺(tái)的擴(kuò)大,數(shù)據(jù)收集管道也可以擴(kuò)展,Logstash在數(shù)據(jù)收集中可以自定義組件對(duì)數(shù)據(jù)進(jìn)行清洗,結(jié)合Elasticsearch和Kibana可以高效的對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和統(tǒng)計(jì)等操作,根據(jù)研究現(xiàn)狀和師大平臺(tái)的用戶行為特性分析用戶的行為屬性,進(jìn)一步統(tǒng)計(jì)用戶行為數(shù)據(jù),得出用戶行為的特征矩陣�；诜植际江h(huán)境和SVM分類(lèi)器,設(shè)計(jì)分布式SVM,并且在此基礎(chǔ)之上加入特殊的權(quán)重矩陣,對(duì)模型的數(shù)據(jù)進(jìn)行優(yōu)化,提高不平衡數(shù)據(jù)的可識(shí)別度,進(jìn)一步提升模型的準(zhǔn)確度和訓(xùn)練效率,其中的核心算法在本文中簡(jiǎn)稱(chēng)PW-SVM。2)用戶特征權(quán)重模型和PW-SVM實(shí)現(xiàn)由于試驗(yàn)數(shù)據(jù)具有一定的不均衡特性,為了提高模型的訓(xùn)練效率和準(zhǔn)確率,充分分離樣本點(diǎn),使用層次分析法對(duì)構(gòu)建用戶特征權(quán)重矩陣,再進(jìn)一步將矩陣加入到分布式SVM模型中。支持向量機(jī)(SVM)在訓(xùn)練線性不可分和高緯度等小樣本數(shù)據(jù)時(shí)具備良好的效果,在應(yīng)用到大數(shù)據(jù)環(huán)境下,傳統(tǒng)的SVM的計(jì)算效率會(huì)極大的下降,針對(duì)該問(wèn)題,已有大量文獻(xiàn)提出了分布式SVM算法,包括Spark框架中內(nèi)置了 SVM算法,但是該算法是基于線性分類(lèi)器設(shè)計(jì)的,對(duì)非線性樣本數(shù)據(jù)訓(xùn)練會(huì)存在一定的缺陷,在此基礎(chǔ)之上,本文基于分布式P-pack SVM算法和用戶權(quán)重模型,實(shí)現(xiàn)了基于Spark的非線性SVM算法PW-SVM,理論上算法的效率會(huì)隨著節(jié)點(diǎn)的增加而提高。3)實(shí)驗(yàn)分析本文最后對(duì)模型進(jìn)行實(shí)驗(yàn)分析,實(shí)驗(yàn)分析分為兩個(gè)部分,分別用小樣本數(shù)據(jù)和大樣本數(shù)據(jù)對(duì)LibSVM、MllibSVM和PW-SVM做對(duì)比實(shí)驗(yàn),在試驗(yàn)之前,先進(jìn)行試驗(yàn)分析PW-SVM算法的最佳參數(shù)。第一組實(shí)驗(yàn)結(jié)果表明PW-SVM在小樣本訓(xùn)練時(shí)耗時(shí)較長(zhǎng),但是仍然具備一定的準(zhǔn)確度,說(shuō)明了模型的可用性;第二組實(shí)驗(yàn)利用數(shù)十萬(wàn)的大樣本進(jìn)行對(duì)比實(shí)驗(yàn),發(fā)現(xiàn)PW-SVM在訓(xùn)練時(shí)間上比LibSVM的效率高,并且比MlibSVM中線性的訓(xùn)練方式準(zhǔn)確度好,說(shuō)明在大數(shù)據(jù)環(huán)境下,PW-SVM擁有更好的效果。進(jìn)一步基于師大學(xué)堂的課程行為數(shù)據(jù),利用PW-SVM進(jìn)行訓(xùn)練,由于該數(shù)據(jù)集具備不均衡的特點(diǎn),最后發(fā)現(xiàn)在添加權(quán)重矩陣之后,模型訓(xùn)練收斂的速度回更快,準(zhǔn)確率也有相應(yīng)的提升,說(shuō)明不均衡數(shù)據(jù)在經(jīng)過(guò)權(quán)重矩陣計(jì)算之后,再利用SVM訓(xùn)練會(huì)有更好的效果,進(jìn)一步說(shuō)明該方法在慕課用戶輟學(xué)率預(yù)測(cè)上面有一定的借鑒意義,可以為相關(guān)的教學(xué)決策作數(shù)據(jù)支撐。
【學(xué)位授予單位】：華中師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：G434
【圖文】：

邐Ｈａｄｏｏｐ邋ＨＤＦＳ邐Ａｍａｚｏｎ邋Ｓ３逡逑圖２－１－２邋Ｅｌａｓｔｉｃｓｅａｒｃｈ技術(shù)架構(gòu)圖逡逑其中重點(diǎn)說(shuō)明下功能層中的索引模塊（ＩｎｄｅｘＭｏｄｅｌ），這個(gè)是ＥＳ中比較重要的逡逑模塊，ＥＳ在建立索引的時(shí)候采用倒排索引（Ｉｎｖｅｒｔｅｄｉｎｄｅｘ）邋［１９］的機(jī)制，這和傳統(tǒng)的逡逑數(shù)據(jù)庫(kù)是完全不一樣的，所以ＥＳ在檢索的效率上比傳統(tǒng)的數(shù)據(jù)庫(kù)高很多，ＥＳ的索逡逑引結(jié)構(gòu)如下圖所示，其中包含段、文檔、域和項(xiàng)，他們之間相互包含。逡逑段一Ｉ邐文檔一Ｉ邐域一Ｉ邐項(xiàng)逡逑——？邐——？邋邐？逡逑段邐文檔域邐項(xiàng)逡逑索引邐段邐文檔邐域逡逑圖２－１－３邋ＥＳ索引關(guān)系逡逑２．１．３邋Ｋｉｂａｎａ逡逑Ｋｉｂａｎａｆ＾是一個(gè)開(kāi)源的分析和可視化平臺(tái)，可以與ＥＳ高度集成，可以使用逡逑９逡逑

心學(xué)位論文逡逑ＭＡＳＴＥＲ＇Ｓ邋ＴＨＥＳＩＳ逡逑機(jī)在這種非線性的分類(lèi)中擁有巨大的優(yōu)勢(shì)，在解決非線性的分類(lèi)映射函數(shù)，該函數(shù)可以對(duì)低維度數(shù)據(jù)進(jìn)行映射，將非線性轉(zhuǎn)化為在這樣的函數(shù)，一定能夠構(gòu)造出映射函數(shù)，將低煒度線性不可分可分，這個(gè)函數(shù)稱(chēng)為核函數(shù)。逡逑

／＾？＼恥學(xué)位論文逡逑ＭＡＳＴＥＲ＇Ｓ邋ＴＨＥＳＩＳ逡逑不僅可以批量創(chuàng)建ＲＤＤ，還可以對(duì)任意內(nèi)存位置進(jìn)行讀寫(xiě)，可以實(shí)現(xiàn)高效的容錯(cuò)，逡逑對(duì)于計(jì)算失效的部分，不需要回滾操作，只需要重新計(jì)算丟失部分的ＲＤＤ分區(qū)即逡逑可。ＢｌｏｃｋＭａｎａｇｅｒ用數(shù)據(jù)塊來(lái)抽象大量的數(shù)據(jù)，存儲(chǔ)在內(nèi)存或者磁盤(pán)，在計(jì)算中如逡逑果數(shù)據(jù)不在本節(jié)點(diǎn)，就復(fù)制其他節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行計(jì)算。在物理上存儲(chǔ)上，ＲＤＤ是一逡逑種元數(shù)據(jù)結(jié)構(gòu)，保存數(shù)據(jù)的元數(shù)據(jù)信息，類(lèi)似于Ｈａｄｏｏｐ中存在ｎａｍｅｎｏｄｅ上的數(shù)逡逑據(jù)，存儲(chǔ)形式如圖３所示。ＲＤＤ的創(chuàng)建方式可以從Ｈａｄｏｏｐ文件系統(tǒng)或者其他的持逡逑久化存儲(chǔ)系統(tǒng)，如ｈｉｖｅ、ｃａｓｓａｎｄｒａ、Ｈｂａｓｅ等輸入創(chuàng)建也是一種常用的方式，對(duì)ＲＤＤ逡逑的操作類(lèi)別主要包括兩個(gè)算子：Ｔｒａｎｓｆｏｒｍａｔｉｏｎ算子（變換）與Ａｃｔｉｏｎ算子（行動(dòng)），逡逑Ｓｐａｒｋ為了降低系統(tǒng)內(nèi)存的使用頻率，使用遲延的執(zhí)行方式，當(dāng)只有操作累計(jì)到逡逑Ａｃｔｉｏｎ算子時(shí)，Ｔｒａｎｓｆｏｒｍａｔｉｏｎ算子才會(huì)把一個(gè)ＲＤＤ轉(zhuǎn)換為另外一個(gè)ＲＤＤ；邋Ａｃｔｉｏｎ逡逑算子會(huì)正真觸發(fā)整個(gè)操作序列的執(zhí)行，中間的結(jié)果不會(huì)重新分配內(nèi)存，而是在同一逡逑個(gè)數(shù)據(jù)塊上進(jìn)行流水線操作。逡逑ＲＤＤ１

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳健;孫慶梅;;青海省農(nóng)村牧區(qū)中小學(xué) 春季收費(fèi)規(guī)范 中學(xué)生輟學(xué)率下降[J];青海統(tǒng)計(jì);2006年09期

2 ;本市初中畢業(yè)生屆鞏固率逐年提高,屆輟學(xué)率逐年下降[J];北京教育;1997年Z2期

3 道俊;;昭陽(yáng)區(qū)教育局狠抓控輟保學(xué)工作[J];云南教育(視界時(shí)政版);2017年04期

4 都麗萍;;對(duì)輟學(xué)率反彈問(wèn)題的幾點(diǎn)認(rèn)識(shí)[J];中小學(xué)管理;2005年12期

5 樊樹(shù)權(quán);農(nóng)民增收:輟學(xué)率何以升高?[J];農(nóng)村天地;2005年06期

6 鄭宏;不能僅用“年輟學(xué)率”來(lái)評(píng)價(jià)“控輟”工作[J];中小學(xué)管理;2004年01期

7 畢永良;農(nóng)村初中輟學(xué)率回升現(xiàn)象透析[J];中小學(xué)管理;2003年12期

8 李守紀(jì);“輟學(xué)率受到影響”?[J];語(yǔ)文建設(shè);2003年01期

9 ;1995年與2000年小學(xué)生輟學(xué)情況比較[J];教育發(fā)展研究;2001年12期

10 張武中;中小學(xué)生輟學(xué)原因的分析與思考[J];青海師專(zhuān)學(xué)報(bào);1999年S1期

相關(guān)會(huì)議論文 前10條

1 袁宇迪;;讓孩子帶著期盼去上學(xué)[A];2016年國(guó)家教師科研專(zhuān)項(xiàng)基金科研成果[C];2016年

2 簡(jiǎn)榮華;;山區(qū)初中學(xué)生輟學(xué)的原因及對(duì)策[A];中華教育理論與實(shí)踐科研論文成果選編（第2卷）[C];2010年

3 楊奎;;搞好寄宿學(xué)校管理有利于控輟保學(xué)[A];中華教育理論與實(shí)踐科研論文成果選編（第1卷）[C];2009年

4 金延春;;再談實(shí)質(zhì)性解決“控輟”問(wèn)題的思路與對(duì)策[A];創(chuàng)新沈陽(yáng)文集（B）[C];2009年

5 夏成元;;馬關(guān)縣壯族、苗族學(xué)生“輟學(xué)”情況的調(diào)研與思考[A];全國(guó)教育科研“十五”成果論文集（第一卷）[C];2005年

6 黃彤哲;;中小學(xué)輟學(xué)原因及對(duì)策[A];全國(guó)教育科研“十五”成果論文集（第一卷）[C];2005年

7 劉海濤;聶衍剛;;大學(xué)生無(wú)聊傾向與網(wǎng)絡(luò)成癮、人格特質(zhì)的相關(guān)研究[A];心理學(xué)與創(chuàng)新能力提升——第十六屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議論文集[C];2013年

8 姚延芹;;武漢市“流動(dòng)兒童”義務(wù)教育狀況調(diào)查——從“上學(xué)難”到“上好學(xué)校難”轉(zhuǎn)變的思考[A];2007年中國(guó)教育經(jīng)濟(jì)學(xué)年會(huì)會(huì)議論文集[C];2007年

9 麻付上;;農(nóng)村初中生流失原因初探[A];基礎(chǔ)教育理論研究成果薈萃（中）[C];2006年

10 陳明昆;張曉楠;姚嬌嬌;;埃塞俄比亞初等教育發(fā)展取得的成就及面臨的問(wèn)題與挑戰(zhàn)[A];非洲研究2017年第1卷（總第10卷）[C];2017年

相關(guān)重要報(bào)紙文章 前10條

1 記者 韋繼川 通訊員 郭超前;江南區(qū)建檔立卡學(xué)生輟學(xué)率降零[N];廣西日?qǐng)?bào);2019年

2 中國(guó)教育科學(xué)研究院高等教育研究中心博士 姜朝暉;“慕課”高輟學(xué)率亦不妨理性看待[N];中國(guó)教育報(bào);2014年

3 本報(bào)記者 趙婀娜 張爍;輟學(xué)率低于國(guó)家控制線[N];人民日?qǐng)?bào);2012年

4 華東師大發(fā)展規(guī)劃辦公室及教育管理學(xué)系教授 文新華;小學(xué)輟學(xué)率大大低于十年前[N];中國(guó)教育報(bào);2013年

5 新華社記者 王進(jìn)業(yè) 文遠(yuǎn)竹;警惕：農(nóng)村輟學(xué)率上升[N];中國(guó)教育報(bào);2001年

6 民進(jìn)中央副主席 王立平;努力降低農(nóng)村初中輟學(xué)率[N];光明日?qǐng)?bào);2001年

7 旅美華人 山石;美國(guó)學(xué)生輟學(xué)率為何“雷人”的高?[N];新華每日電訊;2011年

8 耿 漢;由40％的高輟學(xué)率想到……[N];中國(guó)信息報(bào);2004年

9 湖北省南漳縣政協(xié) 李傳友;2104名初中生為何輟學(xué)了[N];人民政協(xié)報(bào);2001年

10 ;一個(gè)都不能少[N];人民政協(xié)報(bào);2005年

相關(guān)碩士學(xué)位論文 前10條

1 占高強(qiáng);面向大規(guī)模在線課程的輟學(xué)率預(yù)測(cè)研究[D];華中師范大學(xué);2018年

2 劉小紅;中職生輟學(xué)成因及其教育對(duì)策研究[D];上海師范大學(xué);2010年

3 劉原媛;民族地區(qū)初中生輟學(xué)原因分析及對(duì)策[D];四川師范大學(xué);2013年

4 葉小紅;農(nóng)村普通高中輟學(xué)現(xiàn)象的調(diào)查與分析[D];華中師范大學(xué);2006年

5 王靜;信陽(yáng)市職業(yè)高中隱性輟學(xué)的成因及對(duì)策研究[D];華中師范大學(xué);2012年

6 孫遠(yuǎn);莊河農(nóng)村初中生輟學(xué)現(xiàn)狀的調(diào)查分析及對(duì)策[D];遼寧師范大學(xué);2006年

7 陳林;基層電大現(xiàn)代遠(yuǎn)程教育輟學(xué)情況探究[D];華中師范大學(xué);2006年

8 伍琪;基于馬斯洛需要層次理論的農(nóng)村中學(xué)生輟學(xué)原因分析與對(duì)策研究[D];四川師范大學(xué);2017年

9 陳鳳;溫江區(qū)中職學(xué)生輟學(xué)原因及對(duì)策研究[D];四川師范大學(xué);2014年

10 劉露陽(yáng);美國(guó)學(xué)院高中項(xiàng)目研究[D];東北師范大學(xué);2013年

本文編號(hào)：2744748