本文關(guān)鍵詞：基于Spark的LIBSVM參數(shù)優(yōu)選并行化算法

  更多相關(guān)文章： LIBSVM 參數(shù)優(yōu)選 網(wǎng)格搜索 并行化 Spark

【摘要】：利用Spark集群設(shè)計(jì)LIBSVM參數(shù)優(yōu)選的并行化實(shí)現(xiàn).LIBSVM是一款廣泛使用的SVM軟件包,廣泛應(yīng)用于模型搭建、樣本訓(xùn)練和結(jié)果預(yù)測等方面.在用LIBSVM訓(xùn)練數(shù)據(jù)集時(shí),參數(shù)的選擇對訓(xùn)練結(jié)果影響顯著,其中以參數(shù)C和g最為重要.LIBSVM軟件包中采用網(wǎng)格搜索算法對C、g參數(shù)組合進(jìn)行尋優(yōu),盡管該算法在單機(jī)上實(shí)現(xiàn)了并行化,但當(dāng)數(shù)據(jù)量達(dá)到一定程度時(shí),仍需要花費(fèi)大量的時(shí)間.基于Spark并行計(jì)算架構(gòu),進(jìn)行了LIBSVM的C、g參數(shù)網(wǎng)格優(yōu)選并行算法的設(shè)計(jì)與實(shí)現(xiàn).實(shí)驗(yàn)結(jié)果表明,提出的并行粗粒度網(wǎng)格搜索C、g參數(shù)優(yōu)選算法比傳統(tǒng)算法速度提升了近7倍,而且這一提升將隨著集群規(guī)模的擴(kuò)大而進(jìn)一步加大.另一方面,在粗粒度網(wǎng)格搜索的基礎(chǔ)上,進(jìn)而提出的細(xì)粒度并行網(wǎng)格搜索算法又進(jìn)一步提升了C、g參數(shù)組合的優(yōu)選結(jié)果.
【作者單位】： 中國礦業(yè)大學(xué)信息與電氣工程學(xué)院;中國礦業(yè)大學(xué)物聯(lián)網(wǎng)(感知礦山)研究中心;礦山互聯(lián)網(wǎng)應(yīng)用技術(shù)國家地方聯(lián)合工程實(shí)驗(yàn)室;南京大學(xué)計(jì)算機(jī)系PASA大數(shù)據(jù)實(shí)驗(yàn)室;
【基金】：國家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)(2013AA06A411) 國家自然科學(xué)基金(61471361) 中央高�；究蒲袠I(yè)務(wù)費(fèi)(2011QNB26)
【分類號】：TP18
【正文快照】： 在機(jī)器學(xué)習(xí)領(lǐng)域,LIBSVM作為支持向量機(jī)的一個(gè)工具軟件包,在模型搭建、樣本訓(xùn)練和結(jié)果預(yù)測方面得到了廣泛應(yīng)用.在大多數(shù)直接使用LIBSVM工具包的情況下,對于懲罰參數(shù)C和核函數(shù)參數(shù)g的選取,均采用傳統(tǒng)的網(wǎng)格搜索算法進(jìn)行尋優(yōu),該方法得到的并不是全局最優(yōu)解,而在更大范圍內(nèi)進(jìn)行尋

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 吳正娟;職為梅;楊勇;范明;;并行化的粒子群技術(shù)[J];微計(jì)算機(jī)信息;2009年36期

2 齊書陽;;迎接并行化的明天[J];軟件世界;2009年06期

3 曹琳,楊學(xué)軍,金國華;兩種并行化機(jī)制的分析[J];計(jì)算機(jī)研究與發(fā)展;1993年09期

4 金國華，陳福接;并行化技術(shù)與工具[J];計(jì)算機(jī)研究與發(fā)展;1996年07期

5 蔡立志,童維勤,廖文昭;序列拼裝程序的并行化研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2003年14期

6 王偉;潘建偉;;有限差分法的并行化計(jì)算實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2008年07期

7 程錦松;;迭代法的并行化[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);1997年03期

8 陳再高;王s，

本文編號：1258165