本文關(guān)鍵詞：基于Spark的并行SVM算法研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著數(shù)據(jù)規(guī)模的不斷增加,支持向量機(SVM)的并行化設(shè)計成為數(shù)據(jù)挖掘領(lǐng)域的一個研究熱點。針對SVM算法訓(xùn)練大規(guī)模數(shù)據(jù)時存在尋優(yōu)速度慢、內(nèi)存占用大等問題,提出了一種基于Spark平臺的并行支持向量機算法(SP-SVM)。該方法通過調(diào)整層疊支持向量機(Cascade SVM)的合并策略和訓(xùn)練結(jié)構(gòu),并利用Spark分布式計算框架實現(xiàn);其次,進一步分析并行操作算子的性能,優(yōu)化算法并行化實現(xiàn)方案,有效克服了層疊模型訓(xùn)練效率低的缺點。實驗結(jié)果表明,新的并行訓(xùn)練方法在損失較小精度的前提下,在一定程度上減少了訓(xùn)練時間,能夠很好地提高模型的學(xué)習效率。
【作者單位】： 解放軍理工大學(xué)指揮信息系統(tǒng)學(xué)院;
【關(guān)鍵詞】： 并行計算 支持向量機 大規(guī)模數(shù)據(jù) 層疊模型 Spark
【基金】：國家自然科學(xué)基金項目(61473149)資助
【分類號】：TP18;TP338.6
【正文快照】： 1　引言支持向量機[1]是一種具有完整理論推導(dǎo)和優(yōu)異實踐性能的機器學(xué)習算法,被廣泛應(yīng)用于文本分類、人臉識別和圖像檢測等領(lǐng)域。近年來,許多SVM的軟件模型得到了很好的發(fā)展,Libsvm[2]由于實際中應(yīng)用效果良好而深受學(xué)者喜愛。但是當訓(xùn)練樣本不斷變大時,SVM算法訓(xùn)練的內(nèi)存和時

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 吳娟;范玉妹;王麗;;關(guān)于改進的支持向量機的研究[J];攀枝花學(xué)院學(xué)報;2006年05期

2 劉碩明;劉佳;楊海濱;;一種新的多類支持向量機算法[J];計算機應(yīng)用;2008年S2期

3 尹傳環(huán);牟少敏;田盛豐;黃厚寬;;單類支持向量機的研究進展[J];計算機工程與應(yīng)用;2012年12期

4 王云英;閻滿富;;C-支持向量機及其改進[J];唐山師范學(xué)院學(xué)報;2012年05期

5 李逢煥;;試述不確定支持向量機應(yīng)用分析及改進思路[J];中國證券期貨;2012年12期

6 邵惠鶴;支持向量機理論及其應(yīng)用[J];自動化博覽;2003年S1期

7 曾嶸,蔣新華,劉建成;基于支持向量機的異常值檢測的兩種方法[J];信息技術(shù);2004年05期

8 張凡,賀蘇寧;模糊判決支持向量機在自動語種辨識中的研究[J];計算機工程與應(yīng)用;2004年21期

9 魏玲,張文修;基于支持向量機集成的分類[J];計算機工程;2004年13期

10 沈翠華,鄧乃揚,肖瑞彥;基于支持向量機的個人信用評估[J];計算機工程與應(yīng)用;2004年23期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 余樂安;姚瀟;;基于中心化支持向量機的信用風險評估模型[A];第六屆（2011）中國管理學(xué)年會——商務(wù)智能分會場論文集[C];2011年

2 劉希玉;徐志敏;段會川;;基于支持向量機的創(chuàng)新分類器[A];山東省計算機學(xué)會2005年信息技術(shù)與信息化研討會論文集（一）[C];2005年

3 史曉濤;劉建麗;駱玉榮;;一種抗噪音的支持向量機學(xué)習方法[A];全國第19屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2008年

4 何琴淑;劉信恩;肖世富;;基于支持向量機的系統(tǒng)辨識方法研究及應(yīng)用[A];中國力學(xué)大會——2013論文摘要集[C];2013年

5 劉駿;;基于支持向量機方法的衢州降雪模型[A];第五屆長三角氣象科技論壇論文集[C];2008年

6 王婷;胡秀珍;;基于組合向量的支持向量機方法預(yù)測膜蛋白類型[A];第十一次中國生物物理學(xué)術(shù)大會暨第九屆全國會員代表大會摘要集[C];2009年

7 趙晶;高雋;張旭東;謝昭;;支持向量機綜述[A];全國第十五屆計算機科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會議論文集[C];2003年

8 周星宇;王思元;;智能數(shù)學(xué)與支持向量機[A];2005年中國智能自動化會議論文集[C];2005年

9 顏根廷;馬廣富;朱良寬;宋斌;;一種魯棒支持向量機算法[A];2006中國控制與決策學(xué)術(shù)年會論文集[C];2006年

10 侯澍e，

本文編號：447878