本文關(guān)鍵詞：具有最優(yōu)學(xué)習(xí)率的RBF神經(jīng)網(wǎng)絡(luò)及其應(yīng)用，由筆耕文化傳播整理發(fā)布。

第4期衛(wèi)敏等：具有最優(yōu)學(xué)習(xí)率的RBF神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

—51—

φ（r）=

11+exp

r(σ)

2

［10］

2

1/22

（2）

權(quán)重wi需要通過反復(fù)學(xué)習(xí)（訓(xùn)練）來使神經(jīng)權(quán)重的計(jì)算網(wǎng)絡(luò)的輸出達(dá)到其準(zhǔn)確性．在本文中，

方法為最小均方算法（leastmeansquare，LMS），網(wǎng)絡(luò)的學(xué)習(xí)算法為梯度下降法（gradientdescent）．梯度下降法是優(yōu)化算法的一種［16］，在RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中，使權(quán)重沿著與目標(biāo)函數(shù)梯度相反的方向進(jìn)行逐步調(diào)整，最終求得權(quán)重的最優(yōu)值，使網(wǎng)絡(luò)最優(yōu)化．權(quán)重的調(diào)整過程可表示為

w（t+1）=w（t）－η

d

E（w）dwt

（5）

3）Multiquadrics函數(shù)

2

（3）φ（r）=（r+σ）

2

這里r為徑向基函數(shù)的半徑，而σ為徑向基函數(shù)的方差．

在眾多可選的徑向基函數(shù)中，人們通常選擇Gaussian函數(shù)作為RBF神經(jīng)網(wǎng)絡(luò)的徑向基函數(shù)．因?yàn)镚aussian函數(shù)從中心到兩邊單調(diào)遞減，所以其回應(yīng)是局部有限的，具有更加逼真的生物特．與之相對(duì)比的是，Multiquadric函數(shù)的回應(yīng)是全局且無限的，因?yàn)镸ultiquadric函數(shù)從中心征

到兩邊單調(diào)遞增．

選定徑向基函數(shù)之后，通過對(duì)這些函數(shù)的結(jié)

RBF果進(jìn)行線性求和，就可以得到輸出值．這樣，神經(jīng)網(wǎng)絡(luò)就完成了一個(gè)映射f∶R→R，公式如下：

n

r

［13］

其中t表示迭代的次數(shù)，目標(biāo)函數(shù)Et（w）通常為成本函數(shù)（costfunction），η為學(xué)習(xí)率（learningrate），亦稱搜索步長(zhǎng)．

在RBF神經(jīng)網(wǎng)絡(luò)的使用中，學(xué)習(xí)率通常被人為主觀地設(shè)為一個(gè)固定值，在整個(gè)網(wǎng)絡(luò)學(xué)習(xí)過程這樣的方法存在著很多問題：如果學(xué)中保持不變，

網(wǎng)絡(luò)的收斂速度可能會(huì)很快，但也習(xí)率設(shè)置過大，

有可能會(huì)導(dǎo)致網(wǎng)絡(luò)不穩(wěn)定甚至無法學(xué)習(xí)；而學(xué)習(xí)率過小又會(huì)導(dǎo)致網(wǎng)絡(luò)收斂速度慢，消耗大量的計(jì)算時(shí)間，無法滿足實(shí)際應(yīng)用的時(shí)效要求．同時(shí)，不同的RBF神經(jīng)網(wǎng)絡(luò)需要選擇不同的學(xué)習(xí)率，這給RBF神經(jīng)網(wǎng)絡(luò)的使用帶來了很大的不便．因此，對(duì)于傳統(tǒng)RBF神經(jīng)網(wǎng)絡(luò)來說，，選擇一個(gè)合適的學(xué)習(xí)率是非常困難的．為了解決這樣的問題，將會(huì)推導(dǎo)“動(dòng)態(tài)最優(yōu)學(xué)習(xí)率”，這種學(xué)習(xí)率在每一種新型的

一步迭代都會(huì)進(jìn)行優(yōu)化計(jì)算，是可變的學(xué)習(xí)率．動(dòng)態(tài)最優(yōu)學(xué)習(xí)率對(duì)于每一步迭代來說都是適用的，在保證網(wǎng)絡(luò)穩(wěn)定學(xué)習(xí)的同時(shí)兼顧網(wǎng)絡(luò)的收斂速度，提高網(wǎng)絡(luò)的運(yùn)行效率．

f（x）=w0+

wiφ（‖x－ci‖）∑i=1

（4）

r

ci（1≤i≤n）為RBF神其中x∈R為輸入向量，

經(jīng)網(wǎng)絡(luò)的中心，范數(shù)‖·‖表示歐氏距離，

wi（1≤i≤n）為線性求和的權(quán)重，wo表示偏差（bias）．如上文所述，選擇Gaussian函數(shù)作為徑向）．通常，RBF神經(jīng)網(wǎng)絡(luò)的中心ci被設(shè)基函數(shù)φ（·為不變

［14］

．

中心ci的選擇方法有三類：1）固定中心法．這種方法從輸入數(shù)據(jù)集中隨機(jī)選擇中心，比較適用于訓(xùn)練數(shù)據(jù)的分布很有代表性的情況．其缺陷是容易使網(wǎng)絡(luò)表現(xiàn)不理想或使網(wǎng)絡(luò)體積過于龐［10］

大．2）自組織選擇法．K－均值聚類法就是自組織中心選擇法的一種，這種方法將輸入數(shù)據(jù)集進(jìn)行聚類，將聚類的中心作為網(wǎng)絡(luò)的中心．這種方法的優(yōu)點(diǎn)是可以將RBF中心設(shè)置成相對(duì)較重要的數(shù)據(jù)點(diǎn)，其缺陷是如果初始聚類的中心是準(zhǔn)確那最終結(jié)果可能會(huì)是局部最優(yōu)解．3）有監(jiān)督的，

的中心選擇法．這種方法需要在網(wǎng)絡(luò)學(xué)習(xí)過程中確定成本函數(shù)，中心的確定過程就是使成本函數(shù)

［15］

最小的過程，這種方法通常要用到梯度下降法（gradientdescent）．為了避免上述幾種方法所產(chǎn)生的問題和不便，使用了一種更加完善的中心選擇方法：正交最小二乘法（orthogonalleastsquares）［10］．

1

1．1

RBF神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)最優(yōu)學(xué)習(xí)率

RBF神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)最優(yōu)學(xué)習(xí)率推導(dǎo)RBF神經(jīng)網(wǎng)絡(luò)由RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可知，

的輸出為

n

f（x）=

wiφ（‖x－ci‖）∑i=1

（6）

wi為連接其中，φ（‖x－ci‖）為Gaussian函數(shù)，權(quán)重，偏差（bias）w0在這里被簡(jiǎn)化為權(quán)重的一部分．φ（‖x－ci‖）可表示為

  本文關(guān)鍵詞：具有最優(yōu)學(xué)習(xí)率的RBF神經(jīng)網(wǎng)絡(luò)及其應(yīng)用，由筆耕文化傳播整理發(fā)布。