本文選題：人工智能　切入點(diǎn)：并行深度學(xué)習(xí)　出處：《吉林大學(xué)學(xué)報(bào)(工學(xué)版)》2015年03期

【摘要】：為了提升深度學(xué)習(xí)技術(shù)并行化學(xué)習(xí)效率,設(shè)計(jì)了一種面向計(jì)算機(jī)集群的分布式內(nèi)存計(jì)算方法。構(gòu)建分布式內(nèi)存環(huán)境,建立數(shù)據(jù)分片處理和多任務(wù)調(diào)度機(jī)制,使模型參數(shù)和神經(jīng)元節(jié)點(diǎn)的計(jì)算和存儲(chǔ)并行運(yùn)行于該環(huán)境中,避免了磁盤I/O對(duì)訓(xùn)練速率的影響;采用深度信念網(wǎng)絡(luò)模型,以多個(gè)副本異步并行計(jì)算的方式進(jìn)行模型訓(xùn)練,并使用dropout方法防止模型訓(xùn)練過擬合。對(duì)CIFAR-10圖像數(shù)據(jù)集進(jìn)行分類訓(xùn)練,試驗(yàn)結(jié)果表明,該方法可以明顯提高深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率,并具備良好的可擴(kuò)展性。
[Abstract]:In order to improve the parallel learning efficiency of deep learning technology, a distributed memory computing method for computer cluster is designed.The distributed memory environment is constructed, and the mechanism of data fragmentation and multitask scheduling is established, which makes the calculation and storage of model parameters and neuron nodes run in parallel in this environment, thus avoiding the influence of disk I / O on the training rate.The deep belief network model is used to train the model by asynchronous parallel computing with multiple replicas, and the dropout method is used to prevent the model from overfitting.The classification training of CIFAR-10 image data sets is carried out. The experimental results show that this method can obviously improve the training efficiency of the deep neural network and has good scalability.
【作者單位】： 吉林大學(xué)儀器科學(xué)與電氣工程學(xué)院;國家標(biāo)準(zhǔn)化管理委員會(huì)標(biāo)準(zhǔn)信息中心;
【基金】：科技部創(chuàng)新方法工作專項(xiàng)項(xiàng)目(2011IM010400)
【分類號(hào)】：TP333;TP18

【相似文獻(xiàn)】

相關(guān)博士學(xué)位論文 前1條

1 章軍;分布式內(nèi)存多處理機(jī)上并行任務(wù)靜態(tài)調(diào)度[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;1999年

相關(guān)碩士學(xué)位論文 前1條

1 周水力;基于分布式內(nèi)存的OLAP查詢技術(shù)研究[D];昆明理工大學(xué);2014年

，

本文編號(hào)：1702411