發(fā)布時(shí)間：2020-12-26 22:00

　　BP(Back Propagation)算法,即誤差反傳訓(xùn)練算法,具有良好的非線形逼近能力,是人工神經(jīng)網(wǎng)絡(luò)應(yīng)用最廣泛的訓(xùn)練算法。但是BP算法存在訓(xùn)練速度慢、易陷入局部極小值等缺陷。以彈性BP算法為代表的BP改進(jìn)算法雖然在一定程度上加快了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,但是對(duì)于訓(xùn)練規(guī)模巨大的神經(jīng)網(wǎng)絡(luò),這些改進(jìn)算法仍然不能滿足實(shí)際應(yīng)用的要求�？紤]到神經(jīng)網(wǎng)絡(luò)本身所具有的并行處理能力,可以利用并行計(jì)算來解決大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題。BP網(wǎng)絡(luò)并行化有結(jié)構(gòu)并行和數(shù)據(jù)并行兩種方法。在基于數(shù)據(jù)并行的BP算法中,訓(xùn)練樣本被劃分給不同的處理機(jī),各處理機(jī)對(duì)同樣的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,然后統(tǒng)計(jì)所有的訓(xùn)練結(jié)果更新神經(jīng)網(wǎng)絡(luò)。這種方法的優(yōu)點(diǎn)是處理機(jī)之間的通信量少、并行粒度大。在基于MPI(消息傳遞接口)的并行環(huán)境下,通過局域網(wǎng)內(nèi)互聯(lián)的PC機(jī),組建了一個(gè)機(jī)群訓(xùn)練平臺(tái)。采用主/從結(jié)構(gòu)的并行模型,將訓(xùn)練樣本數(shù)據(jù)平均分配到各從節(jié)點(diǎn),由主節(jié)點(diǎn)收集并統(tǒng)計(jì)訓(xùn)練結(jié)果,實(shí)現(xiàn)了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的并行化。同時(shí)根據(jù)神經(jīng)網(wǎng)絡(luò)初始權(quán)值隨機(jī)性的特點(diǎn),在并行BP算法的基礎(chǔ)上作出了改進(jìn)。在訓(xùn)練初期,各個(gè)節(jié)點(diǎn)分別對(duì)各自的神經(jīng)網(wǎng)絡(luò)進(jìn)行隨機(jī)初始化,然后同時(shí)對(duì)其進(jìn)行訓(xùn)練,在一定... 

【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：57 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

誤差函數(shù)曲面

以二維的情況為例，圖2.5為函數(shù)11 12E = f ( w , w)的曲面圖形，圖2.6為該函數(shù)圖形的平面等高圖。圖2.5 誤差函數(shù)曲面圖2.6 函數(shù)的平面等高圖圖2.6顯示了梯度下降法的過程，即在初始點(diǎn)處求得該點(diǎn)的梯度，在梯度的負(fù)方向上通過固定的步長a找到下一個(gè)點(diǎn)，并重復(fù)以上過程最終找到了該函數(shù)的極小值點(diǎn)。由于梯度的方向是函數(shù)值增長最快的方向，那么沿梯度相反的方向即為函數(shù)減少最快的方向，如果每次都在梯度相反的方向上搜索，經(jīng)過若干步之后可以到達(dá)極小值點(diǎn)。11faw 12faw tW11W12

本實(shí)驗(yàn)利用BP神經(jīng)網(wǎng)絡(luò)解決函數(shù)逼近的問題。逼近的函數(shù)為正弦函數(shù)。樣本數(shù)據(jù)為51組；網(wǎng)絡(luò)結(jié)構(gòu)為，輸入層1個(gè)節(jié)點(diǎn)，隱含層8個(gè)節(jié)點(diǎn)，輸出層1個(gè)節(jié)點(diǎn)；最小誤差為0.0001；最大迭代次數(shù)為200。原始算法和彈性算法的誤差曲線如圖2.7所示。(a) (b)圖 2.7 (a)原始 BP 算法的訓(xùn)練誤差曲線 (b)彈性 BP 算法的訓(xùn)練誤差曲線從圖 2.7 中可以看出，彈性 BP 算法在訓(xùn)練速度和精度上較原始 BP 算法有較大的提高。在相同的迭代步數(shù)之內(nèi)，彈性 BP 算法達(dá)到了 10-3的精度，而原始 BP 算法只達(dá)到了 10-1。在最初 40 步迭代內(nèi)，彈性算法已經(jīng)具有非�？斓挠�(xùn)練速度，如果精度要求不是很高，則只需要很少的步數(shù)即可收斂。而原始 BP 算法的下降速度則非常緩慢，在 60 步之后已經(jīng)趨于平緩。

【參考文獻(xiàn)】：
期刊論文
[1]一種并行BP神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)負(fù)載平衡方案[J]. 趙莉,程榮.  計(jì)算機(jī)技術(shù)與發(fā)展. 2006(07)
[2]BP算法改進(jìn)方法的研究進(jìn)展[J]. 譚顯勝,周鐵軍.  懷化學(xué)院學(xué)報(bào)(自然科學(xué)). 2006(02)
[3]基于數(shù)據(jù)并行的神經(jīng)網(wǎng)絡(luò)預(yù)測模型[J]. 胡浩民,馬德云.  計(jì)算機(jī)工程. 2005(11)
[4]RPROP算法在測井巖性識(shí)別中的應(yīng)用[J]. 張治國,楊毅恒,夏立顯.  吉林大學(xué)學(xué)報(bào)(地球科學(xué)版). 2005(03)
[5]一種新的BP算法并行策略[J]. 胡月,熊忠陽.  計(jì)算機(jī)工程. 2005(08)
[6]一個(gè)面向大規(guī)模BP神經(jīng)網(wǎng)絡(luò)并行算法[J]. 李旗堂,李娜,宋國杰.  河南廣播電視大學(xué)學(xué)報(bào). 2004(01)
[7]BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)及其應(yīng)用[J]. 吳凌云.  信息技術(shù). 2003(07)
[8]基于機(jī)群的并行BP算法的設(shè)計(jì)與實(shí)現(xiàn)[J]. 高曙.  武漢理工大學(xué)學(xué)報(bào)(交通科學(xué)與工程版). 2002(05)
[9]一種綜合改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)及其實(shí)現(xiàn)[J]. 劉剛.  武漢理工大學(xué)學(xué)報(bào). 2002(10)
[10]BP網(wǎng)絡(luò)改進(jìn)算法的性能對(duì)比研究[J]. 高雪鵬,叢爽.  控制與決策. 2001(02)

碩士論文
[1]基于MPI的并行計(jì)算研究[D]. 張治宏.中國地質(zhì)大學(xué)（北京） 2006
[2]動(dòng)態(tài)隧道技術(shù)在BP網(wǎng)絡(luò)中的應(yīng)用與研究[D]. 劉君.重慶大學(xué) 2005



本文編號(hào)：2940523