本文關(guān)鍵詞：構(gòu)造型神經(jīng)網(wǎng)絡(luò)綜述，由筆耕文化傳播整理發(fā)布。

構(gòu)造型神經(jīng)網(wǎng)絡(luò)綜述

５０

模式識(shí)別與人工智能

２１卷

生，在國內(nèi)外產(chǎn)生一定影響．

構(gòu)造型神經(jīng)網(wǎng)絡(luò)是張鈸和張鈴，從Ｍ—Ｐ神經(jīng)元模型的幾何意義［２３出發(fā)，于１９９８年提出的，它的核心是覆蓋算法．稱其為構(gòu)造型神經(jīng)網(wǎng)絡(luò)，是相對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)而言的．以多層感知器的網(wǎng)絡(luò)結(jié)構(gòu)為例，整個(gè)網(wǎng)絡(luò)是一個(gè)密不可分的整體，各神經(jīng)元間的功能、所要學(xué)習(xí)和處理的數(shù)據(jù)彼此相同或相似，并且網(wǎng)絡(luò)基本功能就是建立從輸入到輸出的映射，無法或很難劃分出輸入到輸出間逐步轉(zhuǎn)化的過程．構(gòu)造型神經(jīng)網(wǎng)絡(luò)可以分層逐步構(gòu)造，網(wǎng)絡(luò)的基本功能劃分成若干獨(dú)立的功能模塊．該網(wǎng)絡(luò)在對(duì)給定具體的數(shù)據(jù)處理過程中，同時(shí)給出網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)．該算法以覆蓋算法為基礎(chǔ)，經(jīng)一次非線性變換，構(gòu)造“球形領(lǐng)域”，將學(xué)習(xí)問題轉(zhuǎn)化為覆蓋問題，計(jì)算量小，適合大規(guī)模模式分類［３］．因此，在許多領(lǐng)域得到廣泛地應(yīng)用．目前它成功實(shí)現(xiàn)了手寫漢字識(shí)別［３］、圖像檢索［４］、通信信號(hào)分類和識(shí)別［５喃］、股票行情預(yù)測(cè)口］、計(jì)算機(jī)入侵行為檢測(cè)［８］、無線電監(jiān)測(cè)數(shù)據(jù)的挖掘Ｌ９３等方面．

．，

類獨(dú)立的訓(xùn)練樣本投影到高一維的超球面上，形成不同覆蓋的球形領(lǐng)域．每個(gè)球形領(lǐng)域?qū)?yīng)一個(gè)神經(jīng)元，球形領(lǐng)域的中心代表對(duì)應(yīng)神經(jīng)元的權(quán)重，半徑代表閾值，由此構(gòu)造神經(jīng)網(wǎng)絡(luò)隱含層．再將同類樣本對(duì)應(yīng)的球形領(lǐng)域合并，構(gòu)成神經(jīng)網(wǎng)絡(luò)輸出層，可實(shí)現(xiàn)對(duì)測(cè)試樣本的分類，詳細(xì)過程參照文獻(xiàn)Ｅｅ３．

為什么將樣本投影到球面后，可將原來非常復(fù)雜的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題，轉(zhuǎn)換成一個(gè)非常直觀的覆蓋問題．下面我們從劃分區(qū)域和劃分邊界對(duì)這兩種不同的幾何表示進(jìn)行分析．

１）從劃分區(qū)域進(jìn)行比較．超平面模型將空間分成兩個(gè)無窮大的半空間，而球形領(lǐng)域?qū)⑶蛎鎰澐殖蓛蓚�(gè)有限大的領(lǐng)域．這種“局部化”的效果將學(xué)習(xí)問題大大簡化．因?yàn)橐粋�(gè)超平面模型將空間劃分成兩個(gè)無窮大的半空間，起個(gè)超平面就將空間劃分成最多可達(dá)Ｏ（２”）個(gè)不同的連通區(qū)域，而且這些區(qū)域的構(gòu)成很難從直觀上給出明確分析．而神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題就是利用神經(jīng)元網(wǎng)絡(luò)，將樣本分割開來使各連通區(qū)域中只包含同類的樣本．因?yàn)橛煽總�(gè)超平面劃分的連通區(qū)非常復(fù)雜，無法從直觀上給出理解，故由它構(gòu)成的網(wǎng)絡(luò)也就很難從直觀上給出學(xué)習(xí)的方法．反之，，球形領(lǐng)域的模型，所劃分的連通區(qū)域是有限的區(qū)域，當(dāng)給定靠個(gè)神經(jīng)元時(shí)，其對(duì)應(yīng)的領(lǐng)域，只要適當(dāng)選取半徑，可以使各領(lǐng)域互不相交．由上面所述神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題相當(dāng)于利用神經(jīng)網(wǎng)絡(luò)將空間劃分成若干連通區(qū)域，并使每個(gè)連通區(qū)域只包含同類樣本．于是球形領(lǐng)域的模型使神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題變?yōu)橐粋�(gè)非常直觀的求覆蓋問題．

２）從劃分邊界進(jìn)行比較．超平面模型的劃分邊界是超平面（線性），而球形領(lǐng)域的劃分邊界是超球面（二次曲面）．從理論上說，次數(shù)越高的曲面其逼近能力越強(qiáng)，故二次曲面的逼近能力比一次曲面強(qiáng)．這也是覆蓋算法比其它算法劃分能力強(qiáng)的一個(gè)原因．球形領(lǐng)域的邊界是二次曲面，這是否增加計(jì)算量？仔細(xì)分析我們可以看到球形領(lǐng)域的模型在本質(zhì)上并沒有增加計(jì)算量，因?yàn)槠渲饕?jì)算仍舊是Ｙ＝ｓｇｎ（＜銣，ｚ＞一口）中內(nèi)積，而內(nèi)積計(jì)算是線性的．我們進(jìn)一步要問，為什么利用線性的計(jì)算能得出二次的邊界？這是因?yàn)槲覀冇?jì)算的定義域是二次曲面（超球面），而在二次曲面（定義域）上的一次計(jì)算等價(jià)于在平面空間（定義域）上的二次計(jì)算．這樣通過投影到球面上的操作，使我們利用一次計(jì)算能完成二次邊界的劃分，從而提高劃分的逼近能力，這也是覆蓋算法的優(yōu)點(diǎn)之一

ｚ

近年來，隨著網(wǎng)絡(luò)在許多領(lǐng)域展開應(yīng)用，算法上也得到許多改進(jìn)．本文簡介其基本原理，分析其性能，比較其他神經(jīng)網(wǎng)絡(luò)，介紹一些改進(jìn)的措施和研究現(xiàn)狀，分析其應(yīng)用價(jià)值．

２構(gòu)造型神經(jīng)網(wǎng)絡(luò)分析

Ｍ—Ｐ模型是將神經(jīng)元看成是１個(gè)有，２個(gè)輸入，１個(gè)輸出的元件，其輸出函數(shù)為Ｙ＝ｓｇｎ（（叫，ｚ＞一口），其中＜鋤，ｚ＞一０—０表示ｎ維空間中的一個(gè)超平面，

于是神經(jīng)元就是一個(gè)空間劃分器．當(dāng)（耽一口）＞０

時(shí)，表示點(diǎn)ｚ落在超平面的正半空間內(nèi)，此時(shí)，Ｙ＝

１；當(dāng)（Ｖ％一日）＜０時(shí)，表示點(diǎn)ｚ落在Ｐ的負(fù)半空間

內(nèi)，此時(shí)，Ｙ一一１．這就是Ｍ—Ｐ神經(jīng)元超平面的幾何

意義．

若將樣本均投影到一個(gè)半徑為尺的超球面上［２］，神經(jīng)元模型仍為Ｙ—ｓｇｎ（（叫，ｚ＞一日），且Ｉ的點(diǎn)，恰好是落在以Ｗ為中心（這里設(shè)Ｉ

—Ｒ．于是落在平面的正半空間，同時(shí)又在超球面上

ＷＩ＝Ｒ）以

ｒ（口）＝￣／Ｒ２一儼為半徑的球形領(lǐng)域內(nèi)．將樣本投影到球面上，得出Ｍ—Ｐ神經(jīng)元新的幾何意義，也就是球形領(lǐng)域幾何意義：神經(jīng)元的功能函數(shù)恰好表示球面上的一個(gè)球形領(lǐng)域的特征函數(shù)．利用這個(gè)幾何意義，我們提出了一個(gè)新的學(xué)習(xí)方法：覆蓋算法［２］．

在構(gòu)造此算法分類時(shí)，充分運(yùn)用先驗(yàn)知識(shí)，將各

  本文關(guān)鍵詞：構(gòu)造型神經(jīng)網(wǎng)絡(luò)綜述，由筆耕文化傳播整理發(fā)布。