本文關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀及其展望，由筆耕文化傳播整理發(fā)布。

??

第3卷第1期

??

2004年2月

??

江南大學(xué)學(xué)報(bào)(自然科學(xué)版)

??????

Vol.3??No.1Feb.??2004

??文章編號(hào):1671-7147(2004)01-0103-08

人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀及其展望

朱大奇

(江南大學(xué)通信與控制工程學(xué)院,江蘇無錫214036)

摘??要:回顧了神經(jīng)網(wǎng)絡(luò)理論發(fā)展的歷史和現(xiàn)狀。在此基礎(chǔ)上,介紹并討論了20世紀(jì)90年代神經(jīng)網(wǎng)絡(luò)研究的一些新進(jìn)展。根據(jù)神經(jīng)網(wǎng)絡(luò)研究的特點(diǎn),對(duì)人工神經(jīng)網(wǎng)絡(luò)今后的發(fā)展前景作了一定的評(píng)述,人工神經(jīng)網(wǎng)絡(luò)的研究與發(fā)展必將對(duì)現(xiàn)代科學(xué)技術(shù)產(chǎn)生深遠(yuǎn)的影響.

關(guān)鍵詞:人工神經(jīng)網(wǎng)絡(luò);感知器;并行分布處理;模糊神經(jīng)網(wǎng)絡(luò);量子神經(jīng)網(wǎng)絡(luò)中圖分類號(hào):TP183

文獻(xiàn)標(biāo)識(shí)碼:A

TheResearchProgressandProspectsofArtificialNeuralNetworks

ZHUDa??qi

(SchoolofCommunicationandControlEngineering,SouthernYangtzeUniversity,Wuxi214036,China)

Abstract:Therecentprogressofartificialneuralnetworksisreviewed.Itsnewdevelopmentin90??sisintro??ducedanddiscussedinthispaper.Accordingtothecharacteristicsofartificialneuralnetworks,theauthorpre??sentssomepointsofviewabouttheprospectsofartificialneuralnetworksinthefuture.Theprofoundandfar??reachingeffectcanbepredictedwithdevelopmentofartificialneuralnetworksresearch.

Keywords:artificialneuralnetworks;perceptron;paralleleddistributedprocessing;fuzzyneuralnetworks;quantumneuralnetworks

????人類關(guān)于認(rèn)知的探索由來已久.早在公元前400年左右,希臘哲學(xué)家柏拉圖(Plato)和亞里士多德(Asidtole)等,就曾對(duì)人類認(rèn)知的性質(zhì)和起源進(jìn)行過思考,并發(fā)表了有關(guān)記憶和思維的論述.在此及以后很長(zhǎng)的一段時(shí)間內(nèi),由于科學(xué)技術(shù)發(fā)展水平所限,人們對(duì)人腦的認(rèn)識(shí)主要停留在觀察和猜測(cè)的基礎(chǔ)之上,缺乏有關(guān)人腦內(nèi)部結(jié)構(gòu)及工作原理的了解,因而進(jìn)展緩慢.直到20世紀(jì)40年代,隨著神經(jīng)解剖學(xué)、神經(jīng)生理學(xué)以及神經(jīng)元的電生理過程等的研究取得突破性進(jìn)展,人們對(duì)人腦的結(jié)構(gòu)、組成及最基本工作單元有了越來越充分的認(rèn)識(shí),在此基本認(rèn)識(shí)的基礎(chǔ)上,綜合

????收稿日期:2003-06-03;??修訂日期:2003-09-04.

數(shù)學(xué)、物理學(xué)以及信息處理等學(xué)科的方法對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象,并建立簡(jiǎn)化的模型,稱為人工神經(jīng)網(wǎng)絡(luò)ANN(ArtificialNeuralNetwork),為敘述方便將人工神經(jīng)網(wǎng)絡(luò)直接稱之為神經(jīng)網(wǎng)絡(luò)(以下同).

目前,關(guān)于神經(jīng)網(wǎng)絡(luò)的定義尚不統(tǒng)一,按美國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)家HechtNielsen的觀點(diǎn),神經(jīng)網(wǎng)絡(luò)的定義是:??神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算機(jī)系統(tǒng),該系統(tǒng)靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來處理信息的??.綜合神經(jīng)網(wǎng)絡(luò)的來源、特點(diǎn)和各種解釋,它可簡(jiǎn)單地表述為:人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功

基金項(xiàng)目:安徽省教委自然科學(xué)基金項(xiàng)目(2002KJ044)資助課題,江南大學(xué)自然科學(xué)基金項(xiàng)目(0002133)資助課題.作者簡(jiǎn)介:朱大奇(1964-),男,安徽樅陽人,工學(xué)博士,教授.主要從事故障診斷,神經(jīng)網(wǎng)絡(luò),計(jì)算機(jī)測(cè)控的研究.

104

能的信息處理系統(tǒng)[1].

江南大學(xué)學(xué)報(bào)(自然科學(xué)版)第3卷??

1960年Widrow和Hoff提出了ADALINE網(wǎng)絡(luò)模型[6],這是一種連續(xù)取值的自適應(yīng)線性神經(jīng)元網(wǎng)絡(luò)模型,可以用于自適應(yīng)系統(tǒng).他們針對(duì)輸入為線性可分的問題進(jìn)行了研究,得出期望響應(yīng)與計(jì)算響應(yīng)的誤差可能搜索到全局最小值;在神經(jīng)元模型中引入了不應(yīng)期特性;為了研究思維和大腦結(jié)合的理論問題,Gross??berg從信息處理的角度,研究了自組織性、自穩(wěn)定性和自調(diào)節(jié)規(guī)律[7,8];日本科學(xué)家Amari注重把生物神經(jīng)網(wǎng)絡(luò)的行為與嚴(yán)格的數(shù)學(xué)描述相結(jié)合,在數(shù)學(xué)求解研究上得到一定成果;Willshaw等人提出了一種稱為全息音的模型[9],為利用光學(xué)原理實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)奠定了理論基礎(chǔ);Nilsson對(duì)多層機(jī)即有隱層的廣義認(rèn)知機(jī)作了精辟的論述等[10].上述成果足以表明神經(jīng)網(wǎng)絡(luò)研究已獲得了廣泛的成功.

1.1.2??第二階段??????低潮時(shí)期??正當(dāng)一些科學(xué)家懷著極大的熱情追求神經(jīng)網(wǎng)絡(luò)那遙遠(yuǎn)但并非不可及的目標(biāo)時(shí),人工智能的創(chuàng)始人之一Minsky和Papert對(duì)以感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及局限性從數(shù)學(xué)上做了深入研究,于1969年出版了轟動(dòng)一時(shí)??Percep??trons??一書,指出簡(jiǎn)單的線性感知器的功能是有限的,它無法解決線性不可分的兩類樣本的分類問題,如簡(jiǎn)單的線性感知器不可能實(shí)現(xiàn)??異或??的邏輯關(guān)系等.這一論斷給當(dāng)時(shí)人工神經(jīng)元網(wǎng)絡(luò)的研究帶來沉重打擊,以致美國(guó)及前蘇聯(lián)的一些科研機(jī)構(gòu)紛紛停止對(duì)此類項(xiàng)目提供資助,而使得這個(gè)領(lǐng)域的許多學(xué)者不得不轉(zhuǎn)向其他課題的研究,由此出現(xiàn)了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長(zhǎng)達(dá)10年的低潮期.

使神經(jīng)網(wǎng)絡(luò)研究處于低潮的另外一個(gè)原因是,20世紀(jì)70年代以來,集成電路和微電子技術(shù)的迅猛發(fā)展,使傳統(tǒng)的VonNeumenn計(jì)算機(jī)進(jìn)入全盛時(shí)期,基于邏輯符號(hào)處理方法的人工智能得到了迅速發(fā)展并取得顯著成績(jī),它們的問題和局限性尚未暴露,因此暫時(shí)掩蓋了發(fā)展新型計(jì)算機(jī)和尋求新的神經(jīng)網(wǎng)絡(luò)的必要性和迫切性.

也許Minsky的評(píng)論是過于苛刻了,不過這一評(píng)論一定程度上暴露出當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)研究的局限性,因而有一定的啟發(fā)性.可喜的是,仍有少數(shù)具有遠(yuǎn)見卓識(shí)的科學(xué)家持之以恒的繼續(xù)這一領(lǐng)域的研究,另有一些科學(xué)家在此期間新投入到這一領(lǐng)域中,成為低潮期神經(jīng)網(wǎng)絡(luò)研究的亮點(diǎn).

1976年,美國(guó)Grossberg教授提出了著名的自適應(yīng)共振理論ART(AdaptiveResonanceTheory),其學(xué)習(xí)過程具有自組織和自穩(wěn)定的特征.其后的若干年中,他與Carpenter一起研究ART網(wǎng)絡(luò)[11],并有ART1、作為一門活躍的邊緣性交叉學(xué)科,神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用正成為人工智能、認(rèn)識(shí)科學(xué)、神經(jīng)生理學(xué)、非線性動(dòng)力學(xué)等相關(guān)專業(yè)的熱點(diǎn).近十幾年來,針對(duì)神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)研究非�；钴S,且提出上百種的神經(jīng)網(wǎng)絡(luò)模型,涉及模式識(shí)別、聯(lián)想記憶、信號(hào)處理、自動(dòng)控制、組合優(yōu)化、故障診斷及計(jì)算機(jī)視覺等眾多方面,取得了引人注目的進(jìn)展.

1??人工神經(jīng)網(wǎng)絡(luò)發(fā)展的歷史及現(xiàn)狀

1.1??人工神經(jīng)網(wǎng)絡(luò)研究階段的劃分

縱觀神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史,其發(fā)展過程大致可以概括為如下3個(gè)階段.

1.1.1??第一階段??????啟蒙時(shí)期??這是神經(jīng)網(wǎng)絡(luò)理論研究的奠基階段.1943年,神經(jīng)生物學(xué)家MeCulloch和青年數(shù)學(xué)家Pitts合作,提出了第一個(gè)人工神經(jīng)元模型,并在此基礎(chǔ)上抽象出神經(jīng)元的數(shù)理模型[2],開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的研究.以MeCulloch和Pitts提出人工神經(jīng)元的數(shù)理模型(即神經(jīng)元的閥值模型,簡(jiǎn)稱MP模型)為標(biāo)志,神經(jīng)網(wǎng)絡(luò)拉開了研究的序幕。為了模擬起連接作用的突觸的可塑性,神經(jīng)生物學(xué)家Hebb于1949年提出了連接權(quán)值強(qiáng)化的Hebb法則[3].這一法則告訴人們,神經(jīng)元之間突觸的聯(lián)系強(qiáng)度是可變的,這種可變性是學(xué)習(xí)和記憶的基礎(chǔ).Hebb法則為構(gòu)造有學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ).1952年英國(guó)生物學(xué)家Hodgkin和Huxley建立了著名的長(zhǎng)槍烏賊巨大軸索非線性動(dòng)力學(xué)微分方程,即H-H方程.這一方程可用來描述神經(jīng)膜中所發(fā)生的非線性現(xiàn)象如自激震蕩、混沌及多重穩(wěn)定性等問題,所以有重大的理論與應(yīng)用價(jià)值.1954年,生物學(xué)家Eccles提出了真實(shí)突觸的分流模型,這一模型由于通過突觸的電生理實(shí)驗(yàn)得到證實(shí),因而為神經(jīng)網(wǎng)絡(luò)模擬突觸的功能提供了原型和生理學(xué)的證據(jù).1956年,Uttley發(fā)明了一種有處理單元組成的推理機(jī),用以模擬行為及條件反射.70年代中期,他把該推理機(jī)用于自適應(yīng)模式識(shí)別,并認(rèn)為該模型能反映實(shí)際神經(jīng)系統(tǒng)工作原理.

1958年Rosenblatt在原有MP模型的基礎(chǔ)上增加了學(xué)習(xí)機(jī)制[5].他提出的感知器模型,首次把神經(jīng)網(wǎng)絡(luò)理論付諸工程實(shí)現(xiàn),他的成功之舉大大激發(fā)了眾多學(xué)者對(duì)神經(jīng)網(wǎng)絡(luò)的興趣.Rosenblatt證明了兩層感知器能夠?qū)斎脒M(jìn)行分類,他還提出了帶隱層處理元件的三層感知器這一重要的研究方向.Rosenblatt的神經(jīng)網(wǎng)絡(luò)模型包含了一些現(xiàn)代神經(jīng)計(jì)算機(jī)的基本原理,從而形成神經(jīng)網(wǎng)絡(luò)方法和技術(shù)的重大突破.神經(jīng)網(wǎng)絡(luò)[4]

??第1期朱大奇:人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀及其展望105

處理二值的輸入,ART2比ART1復(fù)雜并且能處理連續(xù)型輸入.ART3網(wǎng)絡(luò)納入了生物神經(jīng)元的生物電??化學(xué)反應(yīng)機(jī)制,其結(jié)構(gòu)更接近人腦的工作過程.

1972年,有兩位學(xué)者分別在歐洲和美洲發(fā)表了類似的神經(jīng)網(wǎng)絡(luò)開發(fā)結(jié)果.一位是芬蘭的KohonenT教授,提出了自組織神經(jīng)網(wǎng)絡(luò)SOM(Self??Organizingfeaturemap);另一位是美國(guó)的神經(jīng)生理學(xué)家和心理學(xué)家AndersonJ,提出了一個(gè)類似的神經(jīng)網(wǎng)絡(luò),稱為??交互存儲(chǔ)器??.后來的神經(jīng)網(wǎng)絡(luò)主要是根據(jù)KohonenT的工作來實(shí)現(xiàn)的

[12]

術(shù)領(lǐng)域中,神經(jīng)網(wǎng)絡(luò)理論研究很快便迎來了第二次高潮.

同年,Marr開辟了視覺和神經(jīng)科學(xué)研究的新篇章,他對(duì)視覺信息加工和過程進(jìn)行了全面、系統(tǒng)和深刻的描述,并與神經(jīng)實(shí)現(xiàn)機(jī)制聯(lián)系起來[15].1983年,Kirkpatrick等人認(rèn)識(shí)到模擬退火算法可用于NP完全組合優(yōu)化問題的求解

[16]

,這種模擬高溫物體退火過

程來找尋全局最優(yōu)解的方法最早于1953年由Metro??pli等人提出.1984年,Hinton與年輕學(xué)者Sejnowski等合作提出了大規(guī)模并行網(wǎng)絡(luò)學(xué)習(xí)機(jī),并明確提出隱單元的概念,這種學(xué)習(xí)機(jī)后來被稱為Boltzmann機(jī)

[17]

.SOM網(wǎng)絡(luò)是一類無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò),

主要用于模式識(shí)別、語音識(shí)別及分類問題.它采用一種??勝者為王??的競(jìng)爭(zhēng)學(xué)習(xí)算法,與先前提出的感知器有很大的不同,同時(shí)它的學(xué)習(xí)訓(xùn)練方式是無指導(dǎo)訓(xùn)練,是一種自組織網(wǎng)絡(luò).這種學(xué)習(xí)訓(xùn)練方式往往是在不知道有那些分類類型存在時(shí),用作提取分類信息的

一種訓(xùn)練.

低潮期另一位重要人物是日本的福島邦彥(Ku??nihikoFukushima).他開發(fā)了一些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練算法,其中最有名的是1980年發(fā)表的??新認(rèn)知機(jī)??(Neocognitron).??新認(rèn)知機(jī)??是視覺模式識(shí)別機(jī)制模型,它與生物視覺理論相結(jié)合,其目的在于綜合出一種神經(jīng)網(wǎng)絡(luò)模型,使它像人類一樣具有進(jìn)行模式識(shí)別能力.

在整個(gè)低潮時(shí)期,上述許多重要研究成果雖然未能得到應(yīng)有的重視,但其科學(xué)價(jià)值不可磨滅,他們的工作為日后神經(jīng)網(wǎng)絡(luò)理論研究的又一次高漲打下了堅(jiān)實(shí)的基礎(chǔ).

1.1.3??第三階段??????復(fù)興時(shí)期??這是神經(jīng)網(wǎng)絡(luò)理論研究的主要發(fā)展時(shí)期.1982年,美國(guó)國(guó)家科學(xué)院的刊物上發(fā)表了著名的Hopfield模型的理論神經(jīng)網(wǎng)絡(luò)是如下的一組非線性微分方程

CidUi/dt=

i=1

.

Piggio等人以Marr視覺理論為基礎(chǔ),提出了初級(jí)視覺的正則化方法[18,19].中國(guó)生物物理學(xué)家汪云九提出了視覺神經(jīng)元的廣義Gabor函數(shù)模型以及有關(guān)立體視覺、紋理檢測(cè)、運(yùn)動(dòng)方向檢測(cè)、超視覺度現(xiàn)象等的計(jì)算模型.

1986年,由Rumelhart和McCkekkand主編的有16位作者參加撰寫的??ParallelDistributedProcessing:Ex??plorationintheMicrostructuresofCognition??

[20]

一書出

版,在該書中,他們建立了并行分布處理理論,主要致力于認(rèn)知的微觀研究,同時(shí)對(duì)具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法即BP算法進(jìn)行了詳盡的分析,解決了長(zhǎng)期以來沒有權(quán)值調(diào)整有效算法的難題.可以求解感知機(jī)所不能解決的問題,回答了??Perceptrons??一書中關(guān)于神經(jīng)網(wǎng)絡(luò)局限性的問題,從實(shí)踐上證實(shí)了人工神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的運(yùn)算能力,BP算法是目前最引人注目、應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)算法之一.該書的出版表明PDP理論已達(dá)到一個(gè)新水平,在世界各地產(chǎn)生了廣泛的影響.

在神經(jīng)網(wǎng)絡(luò)的物理實(shí)現(xiàn)方面,Mead和Conway、Mahowald等人合作,研制一種動(dòng)物神經(jīng)系統(tǒng)的電子電路模擬,即硅神經(jīng)系統(tǒng),他們以人的視網(wǎng)膜中錐體細(xì)胞的方式來連接一塊VLSI芯片.1988年,Chua和Yang提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)(CNN)模型

[21,22]

[13]

.Hopfield

??Tijfj[uj]-

N

ui/Ri+Ii,

(i=1,2,??,N)??(1)

其中Ui是第i個(gè)神經(jīng)元的膜電位;Ci,Ri分別是輸入電容和電阻;Ii是電路外的輸入電流;Tij是第j個(gè)神經(jīng)元對(duì)第i個(gè)神經(jīng)元的聯(lián)系強(qiáng)度;f(u)是u的非線形函數(shù).Hopfield構(gòu)造出Laypunov函數(shù),并證明了在Tij=Tji情況下,網(wǎng)絡(luò)在平衡點(diǎn)附近的穩(wěn)定性,還將這種模型用電子電路來實(shí)現(xiàn).Hopfield的模型不僅對(duì)人工神經(jīng)網(wǎng)絡(luò)信息存儲(chǔ)和提取功能進(jìn)行了非線性數(shù)學(xué)概括,提出了動(dòng)力方程和學(xué)習(xí)方程,還對(duì)網(wǎng)絡(luò)算法提供了重要公式和參數(shù),使人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論指導(dǎo),在Hopfield模型的影響下[14],大量學(xué),,它是一

個(gè)細(xì)胞自動(dòng)機(jī)特性的大規(guī)模非線性計(jì)算機(jī)仿真系統(tǒng);Ksko建立了雙向聯(lián)想存儲(chǔ)模型(BAM)[23,24],它具有非監(jiān)督學(xué)習(xí)能力.

20世紀(jì)90年代中后期,神經(jīng)網(wǎng)絡(luò)研究步入了一個(gè)新的發(fā)展時(shí)期,一方面已有理論在不斷深化和得到進(jìn)一步推廣,另一方面,新的理論和方法也從未停止過其不斷開拓的步伐.Edelman提出的Darwinism模型在20世紀(jì)90年代初產(chǎn)生了很大的影響,他建立了一種神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論,以Darwinism??為例,其組成包,

106江南大學(xué)學(xué)報(bào)(自然科學(xué)版)第3卷??

網(wǎng)絡(luò)又包含一些功能不同的子網(wǎng)絡(luò)等;1991年,Haken把協(xié)同學(xué)引入神經(jīng)網(wǎng)絡(luò),在他的理論框架中,他認(rèn)為,認(rèn)知過程是自發(fā)的,并斷言模式識(shí)別過程即是模式形成過程;后來,中國(guó)學(xué)者吳佑壽等人提出了一種激勵(lì)函數(shù)可調(diào)的神經(jīng)網(wǎng)絡(luò)模型,試圖對(duì)先驗(yàn)知識(shí)加以利用.1994年,廖曉昕關(guān)于細(xì)胞神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理論與基礎(chǔ)的提出,帶來了這個(gè)領(lǐng)域新的進(jìn)展[25].這一時(shí)期,另一些新的發(fā)展方向也非常的引人關(guān)注.

以光學(xué)方法來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò),即光學(xué)神經(jīng)網(wǎng)絡(luò),由于能充分發(fā)揮光學(xué)強(qiáng)大的互連能力和并行處理能力,因而受到重視.Wunsch在1990OSA年會(huì)上提出一種光電ART,它的主要計(jì)算強(qiáng)度由光學(xué)硬件完成.1995年,Jenkins等人研究了光學(xué)神經(jīng)網(wǎng)絡(luò)(PNN),建立了光學(xué)二維并行互連與電子學(xué)混合的光學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)[26].其他還有McAulay等學(xué)者致力于將電子俘獲材料用于光學(xué)神經(jīng)網(wǎng)絡(luò)等等[27,28].

鑒于非線性系統(tǒng)控制問題的復(fù)雜性,一些學(xué)者試圖通過神經(jīng)網(wǎng)絡(luò)方法來解決此類問題.1990年Naren??dra和Parthasarathy提出了一種推廣的動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)系統(tǒng)即其連接權(quán)的學(xué)習(xí)算法[29],增強(qiáng)了非線性系統(tǒng)控制的魯棒性.戴先中等人提出了連續(xù)非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)(??階逆系統(tǒng)控制方法)

[30]

家進(jìn)而又提出了混沌神經(jīng)網(wǎng)絡(luò)理論.1991年Aibara等在前人推導(dǎo)和實(shí)驗(yàn)的基礎(chǔ)上,給出一個(gè)混沌神經(jīng)元模型[33].1991年Inoue等提出用耦合混沌振蕩子作為單個(gè)神經(jīng)元構(gòu)造混沌神經(jīng)網(wǎng)絡(luò)模型的方法[34,35].耦合混沌振蕩子的同步和異步分別對(duì)應(yīng)神經(jīng)元激活和抑制兩個(gè)狀態(tài).雖然混沌是由簡(jiǎn)單的確定性規(guī)則產(chǎn)生的,但它包含規(guī)則性和不規(guī)則性兩個(gè)方面,耦合的混沌振蕩子的同步來自規(guī)則性,而不規(guī)則性可產(chǎn)生隨機(jī)搜索能力.

考慮到人的思維及表達(dá)上常具有模糊性,一些學(xué)者把神經(jīng)網(wǎng)絡(luò)的研究與模糊系統(tǒng)聯(lián)系起來,從而導(dǎo)致了模糊神經(jīng)網(wǎng)絡(luò)的產(chǎn)生

[36,37]

.HiroyukiQkada等人把

模糊神經(jīng)網(wǎng)絡(luò)模型用于金融風(fēng)險(xiǎn)評(píng)估,他們提出了由Sigmoid型節(jié)點(diǎn)和線性節(jié)點(diǎn)構(gòu)成的模糊神經(jīng)網(wǎng)絡(luò)模型[38],其中的模糊規(guī)則由領(lǐng)域?qū)＜医o出.該模型具有網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、模糊規(guī)則易于理解、有學(xué)習(xí)能力及能充分利用專家知識(shí)等特點(diǎn),不足在于該網(wǎng)絡(luò)連接結(jié)構(gòu)及其權(quán)值的確定過分依賴領(lǐng)域?qū)＜业闹R(shí),而專家知識(shí)的獲取、有時(shí)會(huì)比較困難.CaiYaling等人提出了由3種不同類型節(jié)點(diǎn)構(gòu)成的模糊神經(jīng)網(wǎng)絡(luò)模型[39],該網(wǎng)絡(luò)具有能夠?qū)W(xué)習(xí)樣本快速記憶,不需要領(lǐng)域?qū)＜抑R(shí)指導(dǎo)等優(yōu)點(diǎn),但在學(xué)習(xí)樣本較多時(shí),規(guī)則數(shù)量較大時(shí)應(yīng)用不理想.模糊神經(jīng)網(wǎng)絡(luò)在工業(yè)控制、金融時(shí)間序列分析、風(fēng)險(xiǎn)評(píng)估等方面預(yù)計(jì)有較大的應(yīng)用潛力.

經(jīng)過多年的發(fā)展,目前已有上百種的神經(jīng)網(wǎng)絡(luò)模型被提出,表1列出了神經(jīng)網(wǎng)絡(luò)發(fā)展過程中起過重要作用的十幾種著名神經(jīng)網(wǎng)絡(luò),它也是神經(jīng)網(wǎng)絡(luò)發(fā)展史的一個(gè)縮影.

.Miller等人在小

腦模型關(guān)節(jié)控制器(CAMC)基礎(chǔ)上,提出的非線性系統(tǒng)控制方法[31],具有局部逼近和修改權(quán)極小的特點(diǎn),但存在由于采用間斷超平面對(duì)非線性曲面進(jìn)行逼近而有時(shí)會(huì)出現(xiàn)精度不夠的問題.1993年Bulsari提出以乘積Sigmodial函數(shù)作為激發(fā)函數(shù)[32],給出了非線性系統(tǒng)用神經(jīng)網(wǎng)絡(luò)逼近的構(gòu)造性描述等等.

隨著人們發(fā)現(xiàn)人腦中存在著混沌現(xiàn)象,一些科學(xué)

表1??重要影響神經(jīng)網(wǎng)絡(luò)Tab.1??ImportantNeuralNetworks

網(wǎng)絡(luò)名稱感知器

(Perceptron)

發(fā)明者FrankRosenblatt(康奈爾大學(xué))

時(shí)間1958

特點(diǎn)

最早的神經(jīng)網(wǎng)絡(luò),有學(xué)習(xí)能力,只能進(jìn)行線性分類

學(xué)習(xí)能力較強(qiáng),較早開始商業(yè)應(yīng)用

局限性

不能識(shí)別復(fù)雜字符,與輸入模式的大小、平移和旋轉(zhuǎn)敏感要求輸入??輸出之間是線性關(guān)系

典型應(yīng)用領(lǐng)域文字識(shí)別、聲音識(shí)別和學(xué)習(xí)記憶等

雷達(dá)天線控制、自適應(yīng)回波抵消等

自適應(yīng)線性單元(Adaline)BernardWidrow(斯坦福大學(xué))

1960~1962

??第1期

網(wǎng)絡(luò)名稱小腦自動(dòng)機(jī)(Cerellatron)

發(fā)明者M(jìn)arrD.(麻省理工學(xué)院)

朱大奇:人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀及其展望

時(shí)間1969~1982

特點(diǎn)

能調(diào)和各種指令系列,按需要緩慢地插入動(dòng)作

多層前饋網(wǎng)絡(luò),采用最小均方差學(xué)習(xí)方式,是目前應(yīng)用最廣泛的網(wǎng)絡(luò)

局限性

需要復(fù)雜的控制輸入

107

典型應(yīng)用領(lǐng)域控制機(jī)器人的手臂運(yùn)動(dòng)

誤差反傳網(wǎng)絡(luò)

BP(BackPropagation)

WerbsP.(哈佛大學(xué))

RumelhartD.(斯坦福大學(xué))

Mcclelland(斯坦福大學(xué))

1974~1985

需要大量輸入??輸出數(shù)據(jù),訓(xùn)練時(shí)間長(zhǎng),易陷入局部極小語音識(shí)別、過程控制、模式識(shí)別等

自適應(yīng)共振理論ARTCarpenterG.(AdaptiveResonanceGrossbergS.Theory)(波士頓大學(xué))

1976~1990

可以對(duì)任意多個(gè)和任

意復(fù)雜的二維模式進(jìn)行自組織學(xué)習(xí)

受平移、旋轉(zhuǎn)和尺度的影響;系統(tǒng)較復(fù)雜.

模式識(shí)別,長(zhǎng)于識(shí)別復(fù)雜、未知模式

盒中腦BSB網(wǎng)絡(luò)(BrainStateinaBox)JamesAnderson(布朗大學(xué))

1977

具有最小均方差的單層自聯(lián)想網(wǎng)絡(luò),類似于雙向聯(lián)想記憶,可對(duì)片斷輸入補(bǔ)全多層結(jié)構(gòu)化字符識(shí)別網(wǎng)絡(luò),與輸入模式的大小、平移和旋轉(zhuǎn)無關(guān),能識(shí)別復(fù)雜字型對(duì)輸入樣本自組織聚類,可映射樣本空間的分布

單層自聯(lián)想網(wǎng)絡(luò),可從缺損或有噪聲輸入中恢復(fù)完整信息采用隨機(jī)學(xué)習(xí)算法的網(wǎng)絡(luò),可訓(xùn)練實(shí)現(xiàn)全局最優(yōu)

只能作一次性決策,無重復(fù)性共振解釋概念形成,分類和知識(shí)處理

新認(rèn)知機(jī)(Neocognition)FukushimaK.(日本廣播協(xié)會(huì))

1978~1984

需要大量加工單元和聯(lián)系

手寫字母識(shí)別

自組織特征映射網(wǎng)絡(luò)TuevoKonhonenSOM(Self??Organizing(芬蘭赫爾辛基featuremap)技術(shù)大學(xué))Hopfield網(wǎng)絡(luò)

JohnHopfield(加

州理工學(xué)院)

1980

模式類型數(shù)需要事先知道

語音識(shí)別、機(jī)器人控制,圖像處理等

求解TSP問題,優(yōu)化計(jì)算及聯(lián)想記憶等

圖像、聲納和雷達(dá)等的模式識(shí)別

1982

無學(xué)習(xí)能力,權(quán)值要預(yù)先設(shè)定

玻爾茲曼機(jī)

(Boltzmanmachine);柯西機(jī)(Cauc??hyma??chine)

雙向聯(lián)想記憶網(wǎng)BAM(Bi??directionalAssocia??tiveMemory)

HintonJ.

(多倫多大學(xué))Sejnow??skiT.(霍布金斯大學(xué))BartKosko(南加州大學(xué))

1985~1986

玻爾茲曼機(jī)訓(xùn)練時(shí)間長(zhǎng);柯西機(jī)在某些統(tǒng)計(jì)分布下產(chǎn)生噪聲

1985~1988

雙向聯(lián)想式單層網(wǎng)絡(luò),有學(xué)習(xí)功能,簡(jiǎn)單易學(xué)

存儲(chǔ)的密度低,數(shù)據(jù)必須能編碼內(nèi)容尋址的聯(lián)想記憶

雙向傳播網(wǎng)

CPN(CounterPropaga??tion)

RobertHech??tnielsen(美國(guó))

1986

一種在功能上作為統(tǒng)計(jì)最優(yōu)化和概率密度函數(shù)分析的網(wǎng)絡(luò)

需要大量處理單元和連接,要高度準(zhǔn)確

神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī),圖像處理和統(tǒng)計(jì)分析

1.2??人工神經(jīng)網(wǎng)絡(luò)國(guó)內(nèi)外研究狀況

隨著人工神經(jīng)網(wǎng)絡(luò)20世紀(jì)80年代在世界范圍內(nèi)的復(fù)蘇,國(guó)內(nèi)也逐步掀起了研究熱潮.1989年10月和11月分別在北京和廣州召開了神經(jīng)網(wǎng)絡(luò)及其應(yīng)用討論會(huì)和第一屆全國(guó)信號(hào)處理??神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議;1990年2月由國(guó)內(nèi)八個(gè)學(xué)會(huì)(中國(guó)電子學(xué)會(huì)、人工智能學(xué)會(huì)、自動(dòng)化學(xué)會(huì)、通信學(xué)會(huì)、物理學(xué)會(huì)、生物物理學(xué)會(huì)和心理學(xué)會(huì))聯(lián)合在北京召開??中國(guó)神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)會(huì)議??.這次大會(huì)以??八學(xué)會(huì)聯(lián)盟,探智能奧秘??神經(jīng)網(wǎng)絡(luò)及神經(jīng)計(jì)算機(jī)方面科學(xué)研究的新紀(jì)元.經(jīng)過十幾年的發(fā)展,中國(guó)學(xué)術(shù)界和工程界在人工神經(jīng)網(wǎng)絡(luò)的理論研究和應(yīng)用方面取得了豐碩成果,學(xué)術(shù)論文、應(yīng)用成果和研究人員逐年增加.

在國(guó)際上,1987年,在美國(guó)加洲召開了第一屆國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì).此后每年召開兩次國(guó)際聯(lián)合神經(jīng)網(wǎng)

絡(luò)大會(huì)(IJCNN).不久,該學(xué)會(huì)創(chuàng)辦了刊物JournalNeu??ralNetworks,另有十幾種國(guó)際著名的神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)刊物相繼問世.至此,神經(jīng)網(wǎng)絡(luò)理論研究在國(guó)際學(xué)術(shù)領(lǐng).

博泰典藏網(wǎng)btdcw.com包含總結(jié)匯報(bào)、自然科學(xué)、農(nóng)林牧漁、外語學(xué)習(xí)、醫(yī)藥衛(wèi)生、出國(guó)留學(xué)、IT計(jì)算機(jī)、資格考試、行業(yè)論文、計(jì)劃方案以及人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀及其展望等內(nèi)容。

本文共2頁12

  本文關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀及其展望，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：184712