本文關(guān)鍵詞：bp神經(jīng)網(wǎng)絡(luò)模型，由筆耕文化傳播整理發(fā)布。

BP神經(jīng)網(wǎng)絡(luò)-- 基本模型

         BP 神經(jīng)網(wǎng)絡(luò)中的 BP 為 Back  Propagation 的簡(jiǎn)寫(xiě)，最早它是由Rumelhart、McCelland等科學(xué)家于 1986 年提出來(lái)的，Rumelhart 并在Nature 上發(fā)表了一篇非常著名的文章 《Learning representations by back-propagating errors》 。隨著時(shí)代的遷移，BP神經(jīng)網(wǎng)絡(luò)理論不斷的得到改進(jìn)、更新，現(xiàn)在無(wú)疑已成為了應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。讓我們一起來(lái)探索下 BP神經(jīng)網(wǎng)絡(luò)最初的 基本模型和概念！

從神經(jīng)網(wǎng)絡(luò)的生物模型說(shuō)起

         我們知道人大腦信息的傳遞、對(duì)外界刺激產(chǎn)生反應(yīng)都由神經(jīng)元控制的，人腦就是由上百億個(gè)的這樣神經(jīng)元構(gòu)成。這些神經(jīng)元之間并不孤立而且聯(lián)系很密切，每個(gè)神經(jīng)元平均與幾千個(gè)神經(jīng)元相連接，因此構(gòu)成了人腦的神經(jīng)網(wǎng)絡(luò)。刺激在神經(jīng)網(wǎng)絡(luò)中的傳播是遵循一定的規(guī)則的，一個(gè)神經(jīng)元并非每次接到其他神經(jīng)傳遞過(guò)來(lái)的刺激都產(chǎn)生反應(yīng)。它首先會(huì)將與其相鄰的神經(jīng)元傳來(lái)的刺激進(jìn)行積累，到一定的時(shí)候產(chǎn)生自己的刺激將其傳遞給一些與它相鄰的神經(jīng)元。這樣工作的百億個(gè)的神經(jīng)元構(gòu)成了人腦對(duì)外界進(jìn)行的反應(yīng)。而人腦對(duì)外界刺激的學(xué)習(xí)的機(jī)制就是通過(guò)調(diào)節(jié)這些神經(jīng)元之間聯(lián)系以及其強(qiáng)度。當(dāng)然，實(shí)際上以上說(shuō)的是對(duì)人腦真正神經(jīng)工作的一種簡(jiǎn)化的生物模型，利用這種簡(jiǎn)化的生物模型可以將它推廣至機(jī)器學(xué)習(xí)中來(lái)，并把它描述成人工神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)就是其中的一種，來(lái)看看具體對(duì)神經(jīng)元的分析。

圖1  神經(jīng)網(wǎng)絡(luò)中神經(jīng)元示意圖

         神經(jīng)元的積累的刺激是由其他神經(jīng)元傳遞過(guò)來(lái)的刺激量和對(duì)應(yīng)的權(quán)重之和，用 Xj 表示這種積累，Yi 表示某個(gè)神經(jīng)元傳遞過(guò)來(lái)的刺激量，Wi 表示鏈接某個(gè)神經(jīng)元刺激的權(quán)重，得到公式：

         Xj = (y1 * W1)+(y2 * W2)+...+(yi * Wi)+...+ (yn * Wn)

         而當(dāng) Xj 完成積累后，完成積累的神經(jīng)元本身對(duì)周圍的一些神經(jīng)元傳播刺激，將其表示為  yj  得到如下所示：

         yj = f（Xj）

         神經(jīng)元根據(jù)積累后 Xj 的結(jié)果進(jìn)行處理后，對(duì)外傳遞刺激 yj 。用 f 函數(shù)映射來(lái)表示這種處理，將它稱之為 激活函數(shù)。

BP神經(jīng)網(wǎng)絡(luò)的構(gòu)成

         分析完單個(gè)的神經(jīng)元后，再來(lái)看看它們組成網(wǎng)絡(luò)后的情形，用圖形來(lái)說(shuō)明是最直觀的方法，如圖2所示：

圖2  BP神經(jīng)網(wǎng)絡(luò)示意圖

         第一區(qū)域的來(lái)說(shuō)，它們相當(dāng)于外界的刺激，是刺激的來(lái)源并且將刺激傳遞給神經(jīng)元，因此把第一區(qū)域命名為輸入層。第二區(qū)域，表示神經(jīng)元相互之間傳遞刺激相當(dāng)于人腦里面，因此把第二區(qū)命名為隱藏層。第三區(qū)域，表示神經(jīng)元經(jīng)過(guò)多層次相互傳遞后對(duì)外界的反應(yīng)，因此把第三區(qū)域命名為輸出層。

    簡(jiǎn)單的描述就是，，輸入層將刺激傳遞給隱藏層，隱藏層通過(guò)神經(jīng)元之間聯(lián)系的強(qiáng)度（權(quán)重）和傳遞規(guī)則（激活函數(shù)）將刺激傳到輸出層，輸出層整理隱藏層處理的后的刺激產(chǎn)生最終結(jié)果。若有正確的結(jié)果，那么將正確的結(jié)果和產(chǎn)生的結(jié)果進(jìn)行比較，得到誤差，再逆推對(duì)神經(jīng)網(wǎng)中的鏈接權(quán)重進(jìn)行反饋修正，從而來(lái)完成學(xué)習(xí)的過(guò)程。這就是BP神經(jīng)網(wǎng)的反饋機(jī)制，也正是BP（Back  Propagation）名字的來(lái)源：運(yùn)用向后反饋的學(xué)習(xí)機(jī)制，來(lái)修正神經(jīng)網(wǎng)中的權(quán)重，最終達(dá)到輸出正確結(jié)果的目的！

BP神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)推導(dǎo)

         從數(shù)學(xué)上對(duì)bp神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分析，本文第一部分神經(jīng)網(wǎng)的生物模型中可以得到關(guān)于BP神經(jīng)網(wǎng)絡(luò)的第一個(gè)公式(1)：

         對(duì)于神經(jīng)元本身的輸出的激活函數(shù)，一般來(lái)說(shuō)選取 Sigmoid 函數(shù)，那么可以得到第二個(gè)公式（2）：

         通過(guò)以上兩個(gè)公式，可以分析出來(lái)BP神經(jīng)網(wǎng)絡(luò)中輸出結(jié)果的計(jì)算過(guò)程。每個(gè)神經(jīng)元收到刺激 yi  然后加權(quán)積累（權(quán)重 Wji  ）完成后產(chǎn)生 xj ，再通過(guò)激活函數(shù)產(chǎn)生刺激 yj ，向下一層與它相連的神經(jīng)元傳遞，依次類推最終輸出結(jié)果。

         我們?cè)賮?lái)分析如何利用向后反饋機(jī)制來(lái)修正神經(jīng)元權(quán)重 Wji，這一部分?jǐn)?shù)學(xué)推導(dǎo)需要運(yùn)用到多元微分的數(shù)學(xué)內(nèi)容。要修正 Wji  就需要得到誤差量。具體來(lái)看，首先用 dj  來(lái)表示真實(shí)的正確結(jié)果，并且設(shè)誤差為 E ，那么（ yj - dj ）對(duì)應(yīng)的就是 E 對(duì)于 yj 的微分增量，即 yj  減去（ yj - dj ）后就能得到正確值，得到公式（3）：

         然后，明確目標(biāo)，需要知道的是對(duì)于權(quán)重 Wji 的誤差量是多少也就是     的值。而由公式（1）中知道 Wji 與 xj 相關(guān)， 那么可以推導(dǎo)出公式（4）：

         需要求得 Wji 的誤差量，轉(zhuǎn)換為需要求    的值了。它的推導(dǎo)如下：

         其中    的值，可以通過(guò)公式（2）求導(dǎo)得出來(lái)：

         所以最終得到的的誤差量的值為：

         以上公式需要注意下標(biāo)：最后一個(gè)是 yi ，前面的都是 yj 。推到這里可以算是完成了運(yùn)用神經(jīng)網(wǎng)絡(luò)的輸出值 yj 和正確值 dj  對(duì)最后一層隱藏層 Wji 的修正，那么對(duì)其他隱藏層呢？ 接著往下看。

         上面的推導(dǎo)過(guò)程由公式（3）開(kāi)始，如果我們知道   （注意是 yi ，公式（3）中是 yj ），就可以 同理 推導(dǎo)求出其對(duì)應(yīng)其他隱藏層需要修正的權(quán)重值誤差量了。推導(dǎo)如下：

         這樣所有的誤差量的都可以 同理 推導(dǎo)完成！

         最后一步修正 Wji ，就是加上下面變量了，設(shè)置一個(gè) l （0 到 1 之間）學(xué)習(xí)率。

         至此，BP神經(jīng)網(wǎng)絡(luò)反饋部分的數(shù)學(xué)推導(dǎo)算完成了，可以在自己的草稿紙上畫(huà)畫(huà)~

參考文獻(xiàn)

 Learning representations by back-propagating errors   David E.Rumelhart*,Geoffrey E.Hinton*,Ronald J Williams*  1986

An introduction to neural networks 

posted @

  本文關(guān)鍵詞：bp神經(jīng)網(wǎng)絡(luò)模型，由筆耕文化傳播整理發(fā)布。