本文關(guān)鍵詞：基于Hadoop的并行SVM算法研究及在Mooc平臺(tái)中的應(yīng)用

  更多相關(guān)文章： 支持向量機(jī) Hadoop 慕課 二進(jìn)制粒子群 遺傳算法

【摘要】：在教育全球化的進(jìn)程中,慕課誕生了。慕課平臺(tái)因其學(xué)習(xí)者眾多、免費(fèi)、開放等諸多特性,正在教育領(lǐng)域掀起一場(chǎng)變革。然而由于諸多因素,最終能通過慕課考試,獲取證書的人數(shù)在整體學(xué)習(xí)者中占比很小,為了促進(jìn)慕課平臺(tái)的發(fā)展,提高學(xué)習(xí)者證書獲取率是當(dāng)務(wù)之急。因此在海量教育大數(shù)據(jù)中,對(duì)學(xué)習(xí)者進(jìn)行分類,過程性地監(jiān)控學(xué)習(xí)者能否獲取證書,而后對(duì)他們提供定制服務(wù)是有效提高慕課證書獲取率的有效方法。在分類算法中,支持向量機(jī)因其較少過度擬合、特征向量維數(shù)災(zāi)難不明顯等優(yōu)勢(shì)被廣泛應(yīng)用。傳統(tǒng)的SVM算法因時(shí)間復(fù)雜度高,訓(xùn)練時(shí)間長(zhǎng)等因素,并不適合處理大規(guī)模數(shù)據(jù)集。為了解決這些不足之處,將SVM算法并行化來處理大規(guī)模數(shù)據(jù)集,是一種有效的解決方法。論文的主要內(nèi)容包括:(1)簡(jiǎn)單描述了本文研究的相關(guān)背景與實(shí)際意義,查閱國(guó)內(nèi)外研究相關(guān)的文獻(xiàn),并對(duì)其進(jìn)行分析與總結(jié),為本文提出改進(jìn)的基于Hadoop的并行SVM算法提供重要的科學(xué)參考與理論支持。(2)對(duì)支持向量機(jī)相關(guān)理論進(jìn)行系統(tǒng)介紹,包括支持向量機(jī)的定義及其數(shù)學(xué)模型,然后介紹了SVM在二分類情況下的典型應(yīng)用,最后利用二進(jìn)制粒子群算法和遺傳算法,對(duì)SVM的核函數(shù)參數(shù)和懲罰因子進(jìn)行尋優(yōu),提高分類準(zhǔn)確率。(3)在層疊支持向量機(jī)的理論基礎(chǔ)之上,對(duì)基于Hadoop的并行SVM算法進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn),并針對(duì)其存在的不足之處,提出了兩點(diǎn)改進(jìn)建議,并將其應(yīng)用于處理大規(guī)模數(shù)據(jù)集,大幅度地提高了SVM的訓(xùn)練速度。(4)總結(jié)本文所做工作和科研中存在的不足之處,并對(duì)未來并行支持向量機(jī)的發(fā)展方向進(jìn)行展望。
【關(guān)鍵詞】：支持向量機(jī) Hadoop 慕課 二進(jìn)制粒子群 遺傳算法
【學(xué)位授予單位】：杭州電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：G434;TP18
【目錄】：

• 摘要5-6
• ABSTRACT6-9
• 第一章 緒論9-13
• 1.1 研究背景和意義9-10
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀10-11
• 1.3 本文研究?jī)?nèi)容11-12
• 1.4 本文組織結(jié)構(gòu)12-13
• 第二章 相關(guān)理論及技術(shù)原理13-20
• 2.1 MOOC相關(guān)介紹13
• 2.2 分類算法的評(píng)價(jià)標(biāo)準(zhǔn)13-14
• 2.3 Hadoop分布式平臺(tái)14-19
• 2.3.1 Hadoop概述14
• 2.3.2 HDFS分布式文件系統(tǒng)14-18
• 2.3.3 MapReduce分布式計(jì)算框架18-19
• 2.4 本章小節(jié)19-20
• 第三章 SVM相關(guān)理論研究20-31
• 3.1 統(tǒng)計(jì)學(xué)習(xí)理論20-22
• 3.1.1 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則20-21
• 3.1.2 VC維21
• 3.1.3 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則21-22
• 3.2 支持向量機(jī)（SVM）原理22-28
• 3.2.1 線性可分情況23-26
• 3.2.2 線性不可分情況26-28
• 3.3 SVM待優(yōu)化參數(shù)與交叉驗(yàn)證28-30
• 3.3.1 待優(yōu)化參數(shù)28-29
• 3.3.2 交叉驗(yàn)證29-30
• 3.4 本章小節(jié)30-31
• 第四章 兩種支持向量機(jī)參數(shù)尋優(yōu)的比較31-44
• 4.1 粒子群優(yōu)化算法及其改進(jìn)31-33
• 4.1.1 標(biāo)準(zhǔn)粒子群算法31-33
• 4.1.2 改進(jìn)的二進(jìn)制粒子群33
• 4.2 遺傳算法33-36
• 4.3 針對(duì)MOOC平臺(tái)樣本不均衡的SVM優(yōu)化36-37
• 4.4 實(shí)驗(yàn)設(shè)計(jì)及分析37-43
• 4.4.1 實(shí)驗(yàn)數(shù)據(jù)集&實(shí)驗(yàn)環(huán)境37-38
• 4.4.2 GA與二進(jìn)制PSO的SVM參數(shù)尋優(yōu)實(shí)驗(yàn)設(shè)計(jì)38-40
• 4.4.3 實(shí)驗(yàn)結(jié)果與分析40-43
• 4.5 本章小節(jié)43-44
• 第五章 基于Hadoop的并行支持向量機(jī)44-60
• 5.1 層疊支持向量機(jī)44-49
• 5.1.1 層疊支持向量機(jī)的基礎(chǔ)理論44-47
• 5.1.2 層疊支持向量機(jī)的收斂證明47-49
• 5.2 層疊支持向量機(jī)的改進(jìn)49-51
• 5.2.1 層疊向量機(jī)算法的兩點(diǎn)改進(jìn)49-50
• 5.2.2 訓(xùn)練樣本集劃分改進(jìn)50-51
• 5.3 基于Hadoop的并行SVM算法實(shí)現(xiàn)51-53
• 5.4 實(shí)驗(yàn)設(shè)計(jì)及分析53-59
• 5.4.1 實(shí)驗(yàn)數(shù)據(jù)集&實(shí)驗(yàn)環(huán)境54-56
• 5.4.2 并行SVM分類實(shí)驗(yàn)設(shè)計(jì)與分析56-59
• 5.5 本章小節(jié)59-60
• 第六章 總結(jié)與展望60-61
• 6.1 全文總結(jié)60
• 6.2 工作展望60-61
• 致謝61-62
• 參考文獻(xiàn)62-65
• 附錄65-66
• 詳細(xì)摘要66-68

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王云英;閻滿富;;C-支持向量機(jī)及其改進(jìn)[J];唐山師范學(xué)院學(xué)報(bào);2012年05期

2 謝飛;;支持向量機(jī)及其應(yīng)用研究[J];安徽教育學(xué)院學(xué)報(bào);2007年03期

3 方輝;艾青;;支持向量機(jī)訓(xùn)練及分類算法研究[J];大慶師范學(xué)院學(xué)報(bào);2009年03期

4 胡運(yùn)紅;;支持向量機(jī)的研究與應(yīng)用[J];運(yùn)城學(xué)院學(xué)報(bào);2012年02期

5 吳疆;董婷;;基于支持向量機(jī)算法的癌癥預(yù)測(cè)[J];榆林學(xué)院學(xué)報(bào);2007年04期

6 燕孝飛;王艷秋;;支持向量機(jī)及其在羽絨識(shí)別中的應(yīng)用研究[J];棗莊學(xué)院學(xué)報(bào);2007年05期

7 王達(dá);張坤;;基于支持向量機(jī)和轉(zhuǎn)換的錯(cuò)誤驅(qū)動(dòng)學(xué)習(xí)方法的組塊識(shí)別[J];南陽師范學(xué)院學(xué)報(bào);2009年06期

8 胡運(yùn)紅;段惠琴;;多分類支持向量機(jī)的算法研究[J];運(yùn)城學(xué)院學(xué)報(bào);2010年02期

9 周宓;;基于支持向量機(jī)的信用卡信譽(yù)檢測(cè)[J];新鄉(xiāng)學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年06期

10 余萍;;基于邊界調(diào)節(jié)的支持向量機(jī)模型[J];新課程(教育學(xué)術(shù)版);2008年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 余樂安;姚瀟;;基于中心化支持向量機(jī)的信用風(fēng)險(xiǎn)評(píng)估模型[A];第六屆（2011）中國(guó)管理學(xué)年會(huì)——商務(wù)智能分會(huì)場(chǎng)論文集[C];2011年

2 劉希玉;徐志敏;段會(huì)川;;基于支持向量機(jī)的創(chuàng)新分類器[A];山東省計(jì)算機(jī)學(xué)會(huì)2005年信息技術(shù)與信息化研討會(huì)論文集（一）[C];2005年

3 史曉濤;劉建麗;駱玉榮;;一種抗噪音的支持向量機(jī)學(xué)習(xí)方法[A];全國(guó)第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

4 何琴淑;劉信恩;肖世富;;基于支持向量機(jī)的系統(tǒng)辨識(shí)方法研究及應(yīng)用[A];中國(guó)力學(xué)大會(huì)——2013論文摘要集[C];2013年

5 劉駿;;基于支持向量機(jī)方法的衢州降雪模型[A];第五屆長(zhǎng)三角氣象科技論壇論文集[C];2008年

6 王婷;胡秀珍;;基于組合向量的支持向量機(jī)方法預(yù)測(cè)膜蛋白類型[A];第十一次中國(guó)生物物理學(xué)術(shù)大會(huì)暨第九屆全國(guó)會(huì)員代表大會(huì)摘要集[C];2009年

7 趙晶;高雋;張旭東;謝昭;;支持向量機(jī)綜述[A];全國(guó)第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2003年

8 周星宇;王思元;;智能數(shù)學(xué)與支持向量機(jī)[A];2005年中國(guó)智能自動(dòng)化會(huì)議論文集[C];2005年

9 顏根廷;馬廣富;朱良寬;宋斌;;一種魯棒支持向量機(jī)算法[A];2006中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

10 侯澍e，

本文編號(hào)：915765