【摘要】：極限學(xué)習(xí)機(jī)算法雖然訓(xùn)練速度較快,但包含了大量矩陣運(yùn)算,因此其在面對大數(shù)據(jù)量時,處理效率依然緩慢。在充分研究Spark分布式數(shù)據(jù)集并行計算機(jī)制的基礎(chǔ)上,設(shè)計了核心環(huán)節(jié)矩陣乘法的并行計算方案,并對基于Spark的極限學(xué)習(xí)機(jī)并行化算法進(jìn)行了設(shè)計與實(shí)現(xiàn)。為方便性能比較,同時實(shí)現(xiàn)了基于Hadoop MapReduce的極限學(xué)習(xí)機(jī)并行化算法。實(shí)驗(yàn)結(jié)果表明,基于Spark的極限學(xué)習(xí)機(jī)并行化算法相比于Hadoop MapReduce版本的運(yùn)行時間明顯縮短,而且若處理數(shù)據(jù)量越大,Spark在效率方面的優(yōu)勢就越明顯。
[Abstract]:Although the training speed of extreme learning machine is fast, it contains a large number of matrix operations, so its processing efficiency is still slow in the face of large amount of data. On the basis of fully studying the parallel computing mechanism of Spark distributed data set, the parallel computing scheme of matrix multiplication of core link is designed, and the parallel algorithm of extreme learning machine based on Spark is designed and implemented. In order to facilitate performance comparison, parallel algorithm of extreme learning machine based on Hadoop MapReduce is implemented at the same time. The experimental results show that the running time of the parallel algorithm based on Spark is significantly shorter than that of the Hadoop MapReduce version, and the more data is processed, the more obvious the efficiency of Spark is.
【作者單位】： 中國礦業(yè)大學(xué)物聯(lián)網(wǎng)(感知礦山)研究中心;礦山互聯(lián)網(wǎng)應(yīng)用技術(shù)國家地方聯(lián)合工程實(shí)驗(yàn)室;中國礦業(yè)大學(xué)信息與控制工程學(xué)院;南京大學(xué)計算機(jī)系PASA大數(shù)據(jù)實(shí)驗(yàn)室;
【基金】：國家重點(diǎn)研發(fā)計劃:礦山安全生產(chǎn)物聯(lián)網(wǎng)關(guān)鍵技術(shù)與裝備研發(fā)(2017YFC0804400,2017YFC0804401) 國家自然科學(xué)基金項目(61471361,41302203)資助
【分類號】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前5條

1 趙世光,陳文培,嚴(yán)雋琪;港口機(jī)械產(chǎn)品制造生產(chǎn)過程的并行化改造[J];機(jī)械工程師;1999年07期

2 薛曉青,劉德貴,宋曉秋;發(fā)汗控制方程差分解法的并行化[J];系統(tǒng)工程與電子技術(shù);1996年09期

3 沈占鋒;駱劍承;吳煒;胡曉東;;遙感影像均值漂移分割算法的并行化實(shí)現(xiàn)[J];哈爾濱工業(yè)大學(xué)學(xué)報;2010年05期

4 余永紅;向小軍;商琳;;并行化的情感分類算法的研究[J];計算機(jī)科學(xué);2013年06期

5 曹琰;魏強(qiáng);王清賢;丁文博;;基于集中式存儲的全局約束并行相容模型[J];計算機(jī)應(yīng)用研究;2013年11期

相關(guān)碩士學(xué)位論文 前5條

1 梁雪琦;極限學(xué)習(xí)機(jī)并行化算法及在NO_x排放預(yù)測中的應(yīng)用[D];太原理工大學(xué);2016年

2 付小利;并行化深度學(xué)習(xí)算法及其應(yīng)用研究[D];西南交通大學(xué);2016年

3 高彥明;蟻群算法并行化研究[D];蘇州大學(xué);2005年

4 皮興杰;基于Spark的電網(wǎng)大數(shù)據(jù)統(tǒng)計中等值連接問題的優(yōu)化及其應(yīng)用[D];重慶大學(xué);2016年

5 莊鐘杰;基于MPI的并行化剛體動力學(xué)仿真[D];華南理工大學(xué);2013年

，

本文編號：2287874