發(fā)布時(shí)間：2018-08-26 18:03

【摘要】：針對(duì)Spark平臺(tái)的彈性分布式數(shù)據(jù)集并行計(jì)算框架機(jī)制,提出一種在線連續(xù)極限學(xué)習(xí)機(jī)并行處理的改進(jìn)算法。利用分離在線連續(xù)極限學(xué)習(xí)機(jī)矩陣之間的依賴關(guān)系,將大規(guī)模數(shù)據(jù)中的高度復(fù)雜的矩陣分布到Spark集群中并行化計(jì)算,并行計(jì)算多個(gè)增量數(shù)據(jù)塊的隱藏層輸出矩陣,實(shí)現(xiàn)OS-ELM對(duì)矩陣的加速求解。實(shí)驗(yàn)結(jié)果表明,該算法在保持精度的同時(shí)可有效縮短學(xué)習(xí)時(shí)間,改善了大數(shù)據(jù)的擴(kuò)展能力。
[Abstract]:An improved algorithm for parallel processing of online continuous limit learning machines (CLMs) is proposed to solve the problem of elastic distributed data set parallel computing framework based on Spark platform. By using the dependence relation between the matrix of separated on-line continuous ultimate learning machine, the highly complex matrix in large-scale data is distributed to the parallel computing in Spark cluster, and the hidden layer output matrix of multiple incremental data blocks is computed in parallel. The accelerated solution of matrix by OS-ELM is realized. The experimental results show that the algorithm can effectively shorten the learning time and improve big data's ability to expand.
【作者單位】： 西安郵電大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國家自然科學(xué)基金資助項(xiàng)目(61572399) 陜西省科技新星資助項(xiàng)目(2013KJXX-29)
【分類號(hào)】：TP338.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫廣中;陳國良;徐云;鄭啟龍;吳俊敏;;并行計(jì)算系列課程教學(xué)團(tuán)隊(duì)建設(shè)[J];中國大學(xué)教學(xué);2008年02期

2 孫廣中;徐云;鄭啟龍;吳俊敏;陳國良;;并行計(jì)算系列課程教學(xué)團(tuán)隊(duì)建設(shè)[J];計(jì)算機(jī)教育;2008年15期

3 陸克中;孫宏元;;同構(gòu)集群中并行計(jì)算熵研究[J];深圳大學(xué)學(xué)報(bào)(理工版);2009年01期

4 胡霞;;并行計(jì)算如何用于科學(xué)問題研究[J];科技資訊;2009年27期

5 顏寶勇;快速富里葉變換的并行計(jì)算[J];計(jì)算機(jī)工程與科學(xué);1984年03期

6 吳靖;;一種用于基因序列比較的并行計(jì)算方法[J];國外醫(yī)學(xué).生物醫(yī)學(xué)工程分冊(cè);1992年01期

7 李斌;并行計(jì)算用的計(jì)算機(jī)和模型[J];管理科學(xué)文摘;1996年04期

8 魏臻;;高性能計(jì)算,高興能計(jì)算[J];中國教育網(wǎng)絡(luò);2010年06期

9 劉杰,遲利華,胡慶豐;優(yōu)化并行計(jì)算的性能評(píng)價(jià)[J];計(jì)算機(jī)工程與設(shè)計(jì);2000年06期

10 劉赫男,羅霄,高曉東;并行計(jì)算的現(xiàn)狀與發(fā)展[J];煤;2001年01期

相關(guān)會(huì)議論文 前10條

1 黃宇光;;整體同步并行計(jì)算方法的現(xiàn)狀與發(fā)展[A];信息科學(xué)與微電子技術(shù):中國科協(xié)第三屆青年學(xué)術(shù)年會(huì)論文集[C];1998年

2 羅文彩;陳小前;;并行計(jì)算的多方法優(yōu)化協(xié)作[A];第二十四屆中國控制會(huì)議論文集（上冊(cè)）[C];2005年

3 左風(fēng)麗;莫?jiǎng)t堯;葉文華;;計(jì)算流體三維分裂格式的高效并行計(jì)算[A];中國工程物理研究院科技年報(bào)（2003）[C];2003年

4 王欣;李志山;張志遠(yuǎn);;并行計(jì)算在彈塑性時(shí)程分析中的應(yīng)用[A];信息化推動(dòng)工程建設(shè)工業(yè)化——第四屆工程建設(shè)計(jì)算機(jī)應(yīng)用創(chuàng)新論壇論文集[C];2013年

5 張理濤;黃廷祝;谷同祥;左憲禹;;一種適合于分布式并行計(jì)算改進(jìn)的平方共軛殘差法[A];2008年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

6 胡金初;;并行計(jì)算中的任務(wù)分配算法[A];2005年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

7 宋庭新;李慧;;面向服務(wù)的有限元并行計(jì)算網(wǎng)格系統(tǒng)設(shè)計(jì)[A];湖北省機(jī)械工程學(xué)會(huì)設(shè)計(jì)與傳動(dòng)學(xué)會(huì)、武漢機(jī)械設(shè)計(jì)與傳動(dòng)學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集（2）[C];2008年

8 裘懿勇;徐斌;劉曉明;;并行計(jì)算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];第十四屆中國科協(xié)年會(huì)第5分會(huì)場(chǎng)：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

9 裘懿勇;徐斌;劉曉明;;并行計(jì)算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];2012年MIS/S&A學(xué)術(shù)交流會(huì)議論文集[C];2012年

10 肖保國;楊順華;邢建文;趙慧勇;;當(dāng)?shù)刈赃m應(yīng)建表方法在煤油超燃發(fā)動(dòng)機(jī)并行計(jì)算中的應(yīng)用[A];第十四屆全國激波與激波管學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 軼嘉;英特爾全球首個(gè)并行計(jì)算中心落戶無錫[N];人民郵電;2009年

2 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計(jì)算任重道遠(yuǎn)[N];中國計(jì)算機(jī)報(bào);2007年

3 英特爾并行計(jì)算實(shí)驗(yàn)室研究員 TimothyMattson;并行計(jì)算:減少串行軟件[N];中國計(jì)算機(jī)報(bào);2007年

4 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計(jì)算軟件開發(fā)概述[N];中國計(jì)算機(jī)報(bào);2007年

5 劉霞;計(jì)算能力的提升需要一場(chǎng)革命[N];科技日?qǐng)?bào);2010年

6 安世亞太 雷先華;ANSYS高性能并行計(jì)算[N];中國航空?qǐng)?bào);2005年

7 張?jiān)迫?并行計(jì)算：迎接多核時(shí)代的挑戰(zhàn)[N];計(jì)算機(jī)世界;2006年

8 本報(bào)記者 馬文方;英特爾為何要牽頭并行計(jì)算[N];中國計(jì)算機(jī)報(bào);2009年

9 英特爾 趙軍(Jun Zhao);PC機(jī)并行計(jì)算革命尚未成功[N];中國計(jì)算機(jī)報(bào);2009年

10 ;Linux下的網(wǎng)絡(luò)并行計(jì)算[N];計(jì)算機(jī)世界;2000年

相關(guān)博士學(xué)位論文 前10條

1 張雨新;改進(jìn)的MPS方法及其三維并行計(jì)算研究[D];上海交通大學(xué);2014年

2 孫安香;數(shù)值氣象預(yù)報(bào)變分同化的伴隨模式并行計(jì)算[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

3 張理論;面向氣象預(yù)報(bào)數(shù)值模式的高效并行計(jì)算研究[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

4 龍柏;并行計(jì)算平臺(tái)上的數(shù)據(jù)索引技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年

5 管建和;電磁場(chǎng)有限元法解釋分布式并行計(jì)算的研究[D];中國地質(zhì)大學(xué)（北京）;2006年

6 劉耀儒;三維有限元并行計(jì)算及其在水利工程中的應(yīng)用[D];清華大學(xué);2003年

7 金晶;并行計(jì)算普適編程模型及系統(tǒng)架構(gòu)研究[D];北京郵電大學(xué);2012年

8 盛艷秀;多核異構(gòu)環(huán)境下通用并行計(jì)算框架關(guān)鍵技術(shù)研究[D];中國海洋大學(xué);2013年

9 張帆;過程系統(tǒng)優(yōu)化的分布式并行計(jì)算[D];浙江大學(xué);2002年

10 劉壽生;虛擬現(xiàn)實(shí)仿真平臺(tái)異構(gòu)并行計(jì)算關(guān)鍵技術(shù)研究[D];中國海洋大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 張康宇;基于ASAR近海風(fēng)場(chǎng)反演方法研究[D];浙江大學(xué);2015年

2 胡榮華;并行計(jì)算在臨近天氣預(yù)報(bào)系統(tǒng)中的應(yīng)用研究[D];華南理工大學(xué);2015年

3 嚴(yán)善楷;異構(gòu)系統(tǒng)中并行計(jì)算的動(dòng)態(tài)負(fù)載均衡技術(shù)研究[D];華南理工大學(xué);2015年

4 陳磊;基于監(jiān)控信號(hào)的多信息提取識(shí)別的并行計(jì)算方法[D];南京理工大學(xué);2015年

5 焦弘杰;CPU-GPU異構(gòu)并行計(jì)算體系的設(shè)計(jì)與實(shí)現(xiàn)[D];江蘇科技大學(xué);2015年

6 陳從江;基于面向云服務(wù)的Python并行計(jì)算的研究[D];電子科技大學(xué);2014年

7 唐吉卓;基于GPU平臺(tái)的SVD并行計(jì)算研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

8 吳頎;GPU并行計(jì)算及其在飛行器設(shè)計(jì)中的應(yīng)用[D];北京理工大學(xué);2015年

9 李保安;基于液態(tài)食品冷凍濃縮冰晶生長(zhǎng)機(jī)制并行計(jì)算[D];電子科技大學(xué);2013年

10 鐘承群;基于CPU/GPU異構(gòu)并行計(jì)算的OTN仿真驗(yàn)證系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

，

本文編號(hào)：2205722