【摘要】：針對Spark平臺的彈性分布式數(shù)據(jù)集并行計算框架機(jī)制,提出一種在線連續(xù)極限學(xué)習(xí)機(jī)并行處理的改進(jìn)算法。利用分離在線連續(xù)極限學(xué)習(xí)機(jī)矩陣之間的依賴關(guān)系,將大規(guī)模數(shù)據(jù)中的高度復(fù)雜的矩陣分布到Spark集群中并行化計算,并行計算多個增量數(shù)據(jù)塊的隱藏層輸出矩陣,實現(xiàn)OS-ELM對矩陣的加速求解。實驗結(jié)果表明,該算法在保持精度的同時可有效縮短學(xué)習(xí)時間,改善了大數(shù)據(jù)的擴(kuò)展能力。
[Abstract]:An improved algorithm for parallel processing of online continuous limit learning machines (CLMs) is proposed to solve the problem of elastic distributed data set parallel computing framework based on Spark platform. By using the dependence relation between the matrix of separated on-line continuous ultimate learning machine, the highly complex matrix in large-scale data is distributed to the parallel computing in Spark cluster, and the hidden layer output matrix of multiple incremental data blocks is computed in parallel. The accelerated solution of matrix by OS-ELM is realized. The experimental results show that the algorithm can effectively shorten the learning time and improve big data's ability to expand.
【作者單位】： 西安郵電大學(xué)計算機(jī)學(xué)院;
【基金】：國家自然科學(xué)基金資助項目(61572399) 陜西省科技新星資助項目(2013KJXX-29)
【分類號】：TP338.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫廣中;陳國良;徐云;鄭啟龍;吳俊敏;;并行計算系列課程教學(xué)團(tuán)隊建設(shè)[J];中國大學(xué)教學(xué);2008年02期

2 孫廣中;徐云;鄭啟龍;吳俊敏;陳國良;;并行計算系列課程教學(xué)團(tuán)隊建設(shè)[J];計算機(jī)教育;2008年15期

3 陸克中;孫宏元;;同構(gòu)集群中并行計算熵研究[J];深圳大學(xué)學(xué)報(理工版);2009年01期

4 胡霞;;并行計算如何用于科學(xué)問題研究[J];科技資訊;2009年27期

5 顏寶勇;快速富里葉變換的并行計算[J];計算機(jī)工程與科學(xué);1984年03期

6 吳靖;;一種用于基因序列比較的并行計算方法[J];國外醫(yī)學(xué).生物醫(yī)學(xué)工程分冊;1992年01期

7 李斌;并行計算用的計算機(jī)和模型[J];管理科學(xué)文摘;1996年04期

8 魏臻;;高性能計算,高興能計算[J];中國教育網(wǎng)絡(luò);2010年06期

9 劉杰,遲利華,胡慶豐;優(yōu)化并行計算的性能評價[J];計算機(jī)工程與設(shè)計;2000年06期

10 劉赫男,羅霄,高曉東;并行計算的現(xiàn)狀與發(fā)展[J];煤;2001年01期

相關(guān)會議論文 前10條

1 黃宇光;;整體同步并行計算方法的現(xiàn)狀與發(fā)展[A];信息科學(xué)與微電子技術(shù):中國科協(xié)第三屆青年學(xué)術(shù)年會論文集[C];1998年

2 羅文彩;陳小前;;并行計算的多方法優(yōu)化協(xié)作[A];第二十四屆中國控制會議論文集（上冊）[C];2005年

3 左風(fēng)麗;莫則堯;葉文華;;計算流體三維分裂格式的高效并行計算[A];中國工程物理研究院科技年報（2003）[C];2003年

4 王欣;李志山;張志遠(yuǎn);;并行計算在彈塑性時程分析中的應(yīng)用[A];信息化推動工程建設(shè)工業(yè)化——第四屆工程建設(shè)計算機(jī)應(yīng)用創(chuàng)新論壇論文集[C];2013年

5 張理濤;黃廷祝;谷同祥;左憲禹;;一種適合于分布式并行計算改進(jìn)的平方共軛殘差法[A];2008年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集(下冊)[C];2008年

6 胡金初;;并行計算中的任務(wù)分配算法[A];2005年全國理論計算機(jī)科學(xué)學(xué)術(shù)年會論文集[C];2005年

7 宋庭新;李慧;;面向服務(wù)的有限元并行計算網(wǎng)格系統(tǒng)設(shè)計[A];湖北省機(jī)械工程學(xué)會設(shè)計與傳動學(xué)會、武漢機(jī)械設(shè)計與傳動學(xué)會2008年學(xué)術(shù)年會論文集（2）[C];2008年

8 裘懿勇;徐斌;劉曉明;;并行計算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

9 裘懿勇;徐斌;劉曉明;;并行計算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];2012年MIS/S&A學(xué)術(shù)交流會議論文集[C];2012年

10 肖保國;楊順華;邢建文;趙慧勇;;當(dāng)?shù)刈赃m應(yīng)建表方法在煤油超燃發(fā)動機(jī)并行計算中的應(yīng)用[A];第十四屆全國激波與激波管學(xué)術(shù)會議論文集（下冊）[C];2010年

相關(guān)重要報紙文章 前10條

1 軼嘉;英特爾全球首個并行計算中心落戶無錫[N];人民郵電;2009年

2 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計算任重道遠(yuǎn)[N];中國計算機(jī)報;2007年

3 英特爾并行計算實驗室研究員 TimothyMattson;并行計算:減少串行軟件[N];中國計算機(jī)報;2007年

4 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計算軟件開發(fā)概述[N];中國計算機(jī)報;2007年

5 劉霞;計算能力的提升需要一場革命[N];科技日報;2010年

6 安世亞太 雷先華;ANSYS高性能并行計算[N];中國航空報;2005年

7 張云泉;并行計算：迎接多核時代的挑戰(zhàn)[N];計算機(jī)世界;2006年

8 本報記者 馬文方;英特爾為何要牽頭并行計算[N];中國計算機(jī)報;2009年

9 英特爾 趙軍(Jun Zhao);PC機(jī)并行計算革命尚未成功[N];中國計算機(jī)報;2009年

10 ;Linux下的網(wǎng)絡(luò)并行計算[N];計算機(jī)世界;2000年

相關(guān)博士學(xué)位論文 前10條

1 張雨新;改進(jìn)的MPS方法及其三維并行計算研究[D];上海交通大學(xué);2014年

2 孫安香;數(shù)值氣象預(yù)報變分同化的伴隨模式并行計算[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

3 張理論;面向氣象預(yù)報數(shù)值模式的高效并行計算研究[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

4 龍柏;并行計算平臺上的數(shù)據(jù)索引技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年

5 管建和;電磁場有限元法解釋分布式并行計算的研究[D];中國地質(zhì)大學(xué)（北京）;2006年

6 劉耀儒;三維有限元并行計算及其在水利工程中的應(yīng)用[D];清華大學(xué);2003年

7 金晶;并行計算普適編程模型及系統(tǒng)架構(gòu)研究[D];北京郵電大學(xué);2012年

8 盛艷秀;多核異構(gòu)環(huán)境下通用并行計算框架關(guān)鍵技術(shù)研究[D];中國海洋大學(xué);2013年

9 張帆;過程系統(tǒng)優(yōu)化的分布式并行計算[D];浙江大學(xué);2002年

10 劉壽生;虛擬現(xiàn)實仿真平臺異構(gòu)并行計算關(guān)鍵技術(shù)研究[D];中國海洋大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 張康宇;基于ASAR近海風(fēng)場反演方法研究[D];浙江大學(xué);2015年

2 胡榮華;并行計算在臨近天氣預(yù)報系統(tǒng)中的應(yīng)用研究[D];華南理工大學(xué);2015年

3 嚴(yán)善楷;異構(gòu)系統(tǒng)中并行計算的動態(tài)負(fù)載均衡技術(shù)研究[D];華南理工大學(xué);2015年

4 陳磊;基于監(jiān)控信號的多信息提取識別的并行計算方法[D];南京理工大學(xué);2015年

5 焦弘杰;CPU-GPU異構(gòu)并行計算體系的設(shè)計與實現(xiàn)[D];江蘇科技大學(xué);2015年

6 陳從江;基于面向云服務(wù)的Python并行計算的研究[D];電子科技大學(xué);2014年

7 唐吉卓;基于GPU平臺的SVD并行計算研究與實現(xiàn)[D];電子科技大學(xué);2014年

8 吳頎;GPU并行計算及其在飛行器設(shè)計中的應(yīng)用[D];北京理工大學(xué);2015年

9 李保安;基于液態(tài)食品冷凍濃縮冰晶生長機(jī)制并行計算[D];電子科技大學(xué);2013年

10 鐘承群;基于CPU/GPU異構(gòu)并行計算的OTN仿真驗證系統(tǒng)的研究與實現(xiàn)[D];電子科技大學(xué);2015年

，

本文編號：2205722