本文關(guān)鍵詞：基于Spark的LIBSVM參數(shù)優(yōu)選并行化算法

  更多相關(guān)文章： LIBSVM 參數(shù)優(yōu)選 網(wǎng)格搜索 并行化 Spark

【摘要】：利用Spark集群設計LIBSVM參數(shù)優(yōu)選的并行化實現(xiàn).LIBSVM是一款廣泛使用的SVM軟件包,廣泛應用于模型搭建、樣本訓練和結(jié)果預測等方面.在用LIBSVM訓練數(shù)據(jù)集時,參數(shù)的選擇對訓練結(jié)果影響顯著,其中以參數(shù)C和g最為重要.LIBSVM軟件包中采用網(wǎng)格搜索算法對C、g參數(shù)組合進行尋優(yōu),盡管該算法在單機上實現(xiàn)了并行化,但當數(shù)據(jù)量達到一定程度時,仍需要花費大量的時間.基于Spark并行計算架構(gòu),進行了LIBSVM的C、g參數(shù)網(wǎng)格優(yōu)選并行算法的設計與實現(xiàn).實驗結(jié)果表明,提出的并行粗粒度網(wǎng)格搜索C、g參數(shù)優(yōu)選算法比傳統(tǒng)算法速度提升了近7倍,而且這一提升將隨著集群規(guī)模的擴大而進一步加大.另一方面,在粗粒度網(wǎng)格搜索的基礎上,進而提出的細粒度并行網(wǎng)格搜索算法又進一步提升了C、g參數(shù)組合的優(yōu)選結(jié)果.
【作者單位】： 中國礦業(yè)大學信息與電氣工程學院;中國礦業(yè)大學物聯(lián)網(wǎng)(感知礦山)研究中心;礦山互聯(lián)網(wǎng)應用技術(shù)國家地方聯(lián)合工程實驗室;南京大學計算機系PASA大數(shù)據(jù)實驗室;
【基金】：國家高技術(shù)研究發(fā)展計劃(863計劃)(2013AA06A411) 國家自然科學基金(61471361) 中央高校基本科研業(yè)務費(2011QNB26)
【分類號】：TP18
【正文快照】： 在機器學習領域,LIBSVM作為支持向量機的一個工具軟件包,在模型搭建、樣本訓練和結(jié)果預測方面得到了廣泛應用.在大多數(shù)直接使用LIBSVM工具包的情況下,對于懲罰參數(shù)C和核函數(shù)參數(shù)g的選取,均采用傳統(tǒng)的網(wǎng)格搜索算法進行尋優(yōu),該方法得到的并不是全局最優(yōu)解,而在更大范圍內(nèi)進行尋

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 吳正娟;職為梅;楊勇;范明;;并行化的粒子群技術(shù)[J];微計算機信息;2009年36期

2 齊書陽;;迎接并行化的明天[J];軟件世界;2009年06期

3 曹琳,楊學軍,金國華;兩種并行化機制的分析[J];計算機研究與發(fā)展;1993年09期

4 金國華，陳福接;并行化技術(shù)與工具[J];計算機研究與發(fā)展;1996年07期

5 蔡立志,童維勤,廖文昭;序列拼裝程序的并行化研究與實現(xiàn)[J];計算機工程與應用;2003年14期

6 王偉;潘建偉;;有限差分法的并行化計算實現(xiàn)[J];電腦知識與技術(shù);2008年07期

7 程錦松;;迭代法的并行化[J];安徽大學學報(自然科學版);1997年03期

8 陳再高;王s，

本文編號：1258165