針對(duì)傳統(tǒng)支持向量機(jī)（SVM）參數(shù)尋優(yōu)算法在處理大樣本數(shù)據(jù)集時(shí)存在的尋優(yōu)時(shí)間過長(zhǎng),內(nèi)存消耗過大等問題,提出了一種基于Spark通用計(jì)算引擎的并行可調(diào)SVM參數(shù)尋優(yōu)算法。該算法首先使用Spark集群將訓(xùn)練集以廣播變量的形式廣播給各個(gè)Executor,然后并行化SVM的參數(shù)尋優(yōu)過程,并在在尋優(yōu)過程中控制Task并行度,使各個(gè)Executor負(fù)載均衡,從而加快尋優(yōu)速度。實(shí)驗(yàn)結(jié)果表明,本文提出的參數(shù)尋優(yōu)算法,通過設(shè)置合理的Task并行度,可以在充分使用集群資源的同時(shí)提高最優(yōu)參數(shù)的尋找速度,減少尋優(yōu)時(shí)間。 

【文章來(lái)源】：武漢工程大學(xué)學(xué)報(bào). 2019,41(03)

【文章頁(yè)數(shù)】：7 頁(yè)

【參考文獻(xiàn)】：
期刊論文
[1]基于Spark的分布式大數(shù)據(jù)分析算法研究[J]. 宋泊東,張立臣,江其洲.  計(jì)算機(jī)應(yīng)用與軟件. 2019(01)
[2]基于Hadoop平臺(tái)的分布式SVM參數(shù)尋優(yōu)[J]. 吳云蔚,寧芊.  計(jì)算機(jī)工程與科學(xué). 2017(06)
[3]Hadoop云平臺(tái)MapReduce模型優(yōu)化研究[J]. 張紅,王曉明,曹潔,馬彥宏,郭義戎,王慜.  計(jì)算機(jī)工程與應(yīng)用. 2016(22)
[4]基于Spark的并行SVM算法研究[J]. 劉澤燊,潘志松.  計(jì)算機(jī)科學(xué). 2016(05)
[5]基于Spark的LIBSVM參數(shù)優(yōu)選并行化算法[J]. 李坤,劉鵬,呂雅潔,張國(guó)鵬,黃宜華.  南京大學(xué)學(xué)報(bào)(自然科學(xué)). 2016(02)
[6]基于Hadoop云平臺(tái)的分布式支持向量機(jī)[J]. 張小琴,胡景,肖煒.  山西師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2015(04)
[7]基于MapReduce的SVM分類算法研究[J]. 秦軍,戴新華,童毅,林巧民.  計(jì)算機(jī)技術(shù)與發(fā)展. 2015(06)
[8]海量數(shù)據(jù)挖掘過程相關(guān)技術(shù)研究進(jìn)展[J]. 米允龍,米春橋,劉文奇.  計(jì)算機(jī)科學(xué)與探索. 2015(06)
[9]基于MapReduce的層疊分組并行SVM算法研究[J]. 張鵬翔,劉利民,馬志強(qiáng).  計(jì)算機(jī)應(yīng)用與軟件. 2015(03)

碩士論文
[1]Hadoop平臺(tái)參數(shù)尋優(yōu)的分布式SVM算法研究[D]. 王越.西安理工大學(xué) 2016



本文編號(hào)：3413349