本文關(guān)鍵詞：基于Spark的并行SVM算法研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著數(shù)據(jù)規(guī)模的不斷增加,支持向量機(jī)(SVM)的并行化設(shè)計(jì)成為數(shù)據(jù)挖掘領(lǐng)域的一個(gè)研究熱點(diǎn)。針對(duì)SVM算法訓(xùn)練大規(guī)模數(shù)據(jù)時(shí)存在尋優(yōu)速度慢、內(nèi)存占用大等問題,提出了一種基于Spark平臺(tái)的并行支持向量機(jī)算法(SP-SVM)。該方法通過調(diào)整層疊支持向量機(jī)(Cascade SVM)的合并策略和訓(xùn)練結(jié)構(gòu),并利用Spark分布式計(jì)算框架實(shí)現(xiàn);其次,進(jìn)一步分析并行操作算子的性能,優(yōu)化算法并行化實(shí)現(xiàn)方案,有效克服了層疊模型訓(xùn)練效率低的缺點(diǎn)。實(shí)驗(yàn)結(jié)果表明,新的并行訓(xùn)練方法在損失較小精度的前提下,在一定程度上減少了訓(xùn)練時(shí)間,能夠很好地提高模型的學(xué)習(xí)效率。
【作者單位】： 解放軍理工大學(xué)指揮信息系統(tǒng)學(xué)院;
【關(guān)鍵詞】： 并行計(jì)算 支持向量機(jī) 大規(guī)模數(shù)據(jù) 層疊模型 Spark
【基金】：國家自然科學(xué)基金項(xiàng)目(61473149)資助
【分類號(hào)】：TP18;TP338.6
【正文快照】： 1　引言支持向量機(jī)[1]是一種具有完整理論推導(dǎo)和優(yōu)異實(shí)踐性能的機(jī)器學(xué)習(xí)算法,被廣泛應(yīng)用于文本分類、人臉識(shí)別和圖像檢測(cè)等領(lǐng)域。近年來,許多SVM的軟件模型得到了很好的發(fā)展,Libsvm[2]由于實(shí)際中應(yīng)用效果良好而深受學(xué)者喜愛。但是當(dāng)訓(xùn)練樣本不斷變大時(shí),SVM算法訓(xùn)練的內(nèi)存和時(shí)

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 吳娟;范玉妹;王麗;;關(guān)于改進(jìn)的支持向量機(jī)的研究[J];攀枝花學(xué)院學(xué)報(bào);2006年05期

2 劉碩明;劉佳;楊海濱;;一種新的多類支持向量機(jī)算法[J];計(jì)算機(jī)應(yīng)用;2008年S2期

3 尹傳環(huán);牟少敏;田盛豐;黃厚寬;;單類支持向量機(jī)的研究進(jìn)展[J];計(jì)算機(jī)工程與應(yīng)用;2012年12期

4 王云英;閻滿富;;C-支持向量機(jī)及其改進(jìn)[J];唐山師范學(xué)院學(xué)報(bào);2012年05期

5 李逢煥;;試述不確定支持向量機(jī)應(yīng)用分析及改進(jìn)思路[J];中國證券期貨;2012年12期

6 邵惠鶴;支持向量機(jī)理論及其應(yīng)用[J];自動(dòng)化博覽;2003年S1期

7 曾嶸,蔣新華,劉建成;基于支持向量機(jī)的異常值檢測(cè)的兩種方法[J];信息技術(shù);2004年05期

8 張凡,賀蘇寧;模糊判決支持向量機(jī)在自動(dòng)語種辨識(shí)中的研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

9 魏玲,張文修;基于支持向量機(jī)集成的分類[J];計(jì)算機(jī)工程;2004年13期

10 沈翠華,鄧乃揚(yáng),肖瑞彥;基于支持向量機(jī)的個(gè)人信用評(píng)估[J];計(jì)算機(jī)工程與應(yīng)用;2004年23期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 余樂安;姚瀟;;基于中心化支持向量機(jī)的信用風(fēng)險(xiǎn)評(píng)估模型[A];第六屆（2011）中國管理學(xué)年會(huì)——商務(wù)智能分會(huì)場論文集[C];2011年

2 劉希玉;徐志敏;段會(huì)川;;基于支持向量機(jī)的創(chuàng)新分類器[A];山東省計(jì)算機(jī)學(xué)會(huì)2005年信息技術(shù)與信息化研討會(huì)論文集（一）[C];2005年

3 史曉濤;劉建麗;駱玉榮;;一種抗噪音的支持向量機(jī)學(xué)習(xí)方法[A];全國第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

4 何琴淑;劉信恩;肖世富;;基于支持向量機(jī)的系統(tǒng)辨識(shí)方法研究及應(yīng)用[A];中國力學(xué)大會(huì)——2013論文摘要集[C];2013年

5 劉駿;;基于支持向量機(jī)方法的衢州降雪模型[A];第五屆長三角氣象科技論壇論文集[C];2008年

6 王婷;胡秀珍;;基于組合向量的支持向量機(jī)方法預(yù)測(cè)膜蛋白類型[A];第十一次中國生物物理學(xué)術(shù)大會(huì)暨第九屆全國會(huì)員代表大會(huì)摘要集[C];2009年

7 趙晶;高雋;張旭東;謝昭;;支持向量機(jī)綜述[A];全國第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2003年

8 周星宇;王思元;;智能數(shù)學(xué)與支持向量機(jī)[A];2005年中國智能自動(dòng)化會(huì)議論文集[C];2005年

9 顏根廷;馬廣富;朱良寬;宋斌;;一種魯棒支持向量機(jī)算法[A];2006中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

10 侯澍e，

本文編號(hào)：447878