本文關(guān)鍵詞：基于數(shù)值計算方法的BP神經(jīng)網(wǎng)絡(luò)及遺傳算法的優(yōu)化研究，由筆耕文化傳播整理發(fā)布。

分類號密級——

ＵＤｆ編號一一一

ＹＵＮＮＡＮＮｏＲＭＡＬＵＮＩＶＥＲＳＩＴＹ

碩士研究生學(xué)位論文

題目：基于數(shù)值計算方法的ＢＰ神經(jīng)網(wǎng)絡(luò)及遺傳算法

的優(yōu)化研究

學(xué)院鹽篡扭盤堂曼焦皇鹽盔堂瞳

專業(yè)名稱基趟麴堂

研究方向組金熬堂

研究生姓名丟佳要．學(xué)號

導(dǎo)師姓名陶送堡！夏勉塑職稱熬援

２００６年０６月日

摘要

人工神經(jīng)網(wǎng)絡(luò)和遺傳算法都是將生物學(xué)原理應(yīng)用于計算機科學(xué)的仿生學(xué)理論成果。由于它們具

有極強的解決問題的能力，近年來引起了眾多學(xué)者的興趣與參與，已成為學(xué)術(shù)界跨學(xué)科的熱門專題之一。

在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，約９０％的人工神經(jīng)網(wǎng)絡(luò)模型都是采用ＢＰ網(wǎng)絡(luò)或者是它的變化

形式，它也是前饋網(wǎng)絡(luò)的核心部分，ＢＰ網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識別，分類、數(shù)據(jù)壓縮等。現(xiàn)已成為人工智能研究的重要領(lǐng)域之一。然而，由于ＢＰ算法是一種梯度下降搜索方法，因而不可避免地存在固有的不足，如收斂速度慢、易陷入誤差函數(shù)的局部極小點，對于較大的搜索空間，多峰值和不可微函數(shù)不能有效搜索到全局極小點。

遺傳算法作為一種智能化的全局搜索算法，自８０年代問世以來便在數(shù)值優(yōu)化、系統(tǒng)控制、結(jié)構(gòu)

優(yōu)化設(shè)計等諸多領(lǐng)域的應(yīng)用中展現(xiàn)出其特有的魅力，同時也暴露出許多不足和缺陷。如完全依賴概率隨機地進行操作，雖然可以避免陷入局部極小，但受尋優(yōu)條件的限制，一般只能得到全局范圍內(nèi)的近似最優(yōu)解，很難得到最優(yōu)解；對參數(shù)采用二進制編碼，人為地將連續(xù)空間離散化，導(dǎo)致了計算精度與字符串長度、運算量之間的矛盾；采用隨機優(yōu)化技術(shù)，所以要花費大量的時間；算法在交叉、變異的進化過程中隨機性較強，致使搜索效率低下，具體表現(xiàn)為進化迭代過程中會出現(xiàn)子代最優(yōu)個體劣于父代最優(yōu)個體的“退化”現(xiàn)象；遺傳算法雖然具有很強的全局搜索能力，但其局部搜索能力較弱（易出現(xiàn)早熟收斂現(xiàn)象）。

本文主要工作：

（１）對ＢＰ神經(jīng)網(wǎng)絡(luò)的缺陷進行分析研究，針對ＢＰ神經(jīng)網(wǎng)絡(luò)收斂度慢的不足，對經(jīng)典ＢＰ網(wǎng)絡(luò)

的單極性Ｓｉｇｍｏｉｄ傳輸函數(shù)和雙極性Ｓｉｇｍｏｉｄ函數(shù)進行數(shù)學(xué)分析，給出二者不同的數(shù)學(xué)性質(zhì)和它們的優(yōu)先選擇方法。

（２）利用數(shù)值計算優(yōu)化方法對ＢＰ神經(jīng)網(wǎng)絡(luò)進行改進，提高其收斂速度，本文分別用擬牛頓法、

最優(yōu)步長法和共軛梯度法對ＢＰ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)法進行改進，，對各種改進方法進行分析比較，給出各自適用的網(wǎng)絡(luò)規(guī)模，并對其收斂性進行分析證明。

（３）利用數(shù)值計算優(yōu)化方法對遺傳算法的交叉算子、變異算子、編碼方式及適應(yīng)度函數(shù)等進行

分析研究，給出了基于一維極小化問題的最優(yōu)策略（Ｆｉｂｏｎａｃｃｉ法）和近似最優(yōu)策略（黃金分割法）的交叉和變異算子。

（４）將擅長全局搜索的遺傳算法和局部尋優(yōu)能力較強的ＢＰ算法結(jié)合起來，根據(jù)ＧＡ的交叉、變

異和選擇算子在全變量空間以較大概率搜索全局解和在解的點附近利用ＢＰ神經(jīng)網(wǎng)絡(luò)能快速、精確地收斂的特點，融合二者的優(yōu)點，將二者有機結(jié)合，利用遺傳算法同時訓(xùn)練神經(jīng)網(wǎng)絡(luò)權(quán)值和拓撲結(jié)構(gòu)，可以辟免陷入局部極小值，提高算法收斂速度，很快得到問題的全局最優(yōu)解。

（５）通過試驗對改進后的ＢＰ神經(jīng)網(wǎng)絡(luò)算法、遺傳算法和他們?nèi)诤戏椒ㄟM行了試驗驗證。

。關(guān)鍵字：

神經(jīng)網(wǎng)絡(luò)遺傳算法收斂性共軛梯度法黃金分割法Ｆｉｂｏｎａｃｃｉ法泛化能力

Ａｂｓｔｒａｃｔ

Ｔｈｅａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍａｐｐｌｉｅｄｔｈｅｂｉｏｌｏｇｉｃａｌｐｒｉｎｃｉｐｌｅｔｏｔｈｅｂｉｏｎｉｃｓｔｈｅｏｒｙａｃｈｉｅｖｅｍｅｎｔｏｆｃｏｍｐｕｔｅｒｓｃｉｅｎｃｅ．Ｂｅｃａｕｓｅｔｈｅｙｈａｖｅｅｘｔｒｅｍｅｌｙｓｔｒｏｎｇａｂｉｌｉｔｙｔｏｓｏｌｖｅｐｒｏｂｌｅｍ，ｉｔｈａｖｅｄｒａｗｎｎｕｍｅｒｏｕｓ

ｏｎｅｓｃｈｏｌａｒｓ’ｉｎｔｅｒｅｓｔａｎｄｐａｒｔｉｃｉｐａｔｉｏｎｉｎｒｅｃｅｎｔｙｅａｒｓａｎｄｈａｓａｌｒｅａｄｙｂｅｃｏｍｅ

ｈｏｔｓｐｅｃｉａｌｔｏｐｉｃｓ．０ｆａｃａｄｅｍｉａ’Ｓｉｎｔｅｒｄｉｓｃｉｐｌｉｎａｒｙ

Ｉｎｔｈｅｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎｏｆｔｈｅａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，ａｂｏｕｔ９０％ｏｆｔｈｅａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌｓａｄｏｐｔＢＰｎｅｔｗｏｒｋｏｒｉｔｓｃｈａｎｇｅｆＯｒｍ．ｉｔｉｓａｋｅｙｐａｒｔｏｆｔｈｅｆｅｅｄｆｏｒｗａｒｄｎｅｔｗｏｒｋｔｏｏ．ＢＰｎｅｔｗｏｒｋａｐｐｌｉｅｓｔｏｔｈｅａｐｐｒｏｘｉｍａｔｉｏｎｏｆｆｕｎｃｔｉｏｎｅｘｔｅｎｓｉｖｅｌｙ，ｐａｔｔｅｒｎ．ｒｅｃｏｇｎｉｔｉｏｎ／ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｔｈｅｄａｔａｃｏｍｐｒｅｓｓｅｄａｎｄ

ｂｅｃｏｍｅｏｎｅＳＯｏｎ．．Ｉｔｈａｓａｌｒｅａｄｙｎｏｗ．

ａｒｅｏｆｔｈｅｉｍｐｏｒｔａｎｔｆｉｅｌｄｓｗｈｉｃｈｔｈｅａｒｔｉｆｉｃｉａＩｉｎｔｅｌｌｉｇｅｎｃｅｈａｓｓｔｕｄｉｅｄａＨｏｗｅｖｅｒ，ｂｅｃａｕｓｅＢＰａｌｇｏｒｉｔｈｍｉｓｇｒａｄｉｅｎｔｄｒｏｐｐｉｎｇｍｅｔｈｏｄｏｆｓｅａｒｃｈｉｎｇｆｏｒ，ｔｈｅｒｅ

ａｓｉｎｈｅｒｅｎｔｄｅｆｉｃｉｅｎｃｉｅｓｕｎａｖｏｉｄａｂｌｙ，ｓｕｃｈ

Ｓｏｍｅｓｎａｃｋｏｆｔｈｅ

ａｎｄｌｉｔｔｌｅｆｕｎｃｔｉｏｎｅｒｒｏｒｃａｎｃｏｎｖｅｒｇｉｎｇｓｌｏｗｌｙ，ａｐｔｔｏｆａｆｆｉｎｔｏｅｘｔｒｅｍｅｌｙｆｕｎｃｔｉｏｎ，ａｓｔｏｔｈｅｓｐａｃｅｏｆｌａｒｇｅｒｓｅａｒｃｈｉｎｇ，ｍａｎｙｐｅａｋｖａｌｕｅｓｓｅａｒｃｈｆｏｒｒｅａｃｈｉｎｇｔｈｅｏｖｅｒａｌＩｓｉｔｕａｔｉｏｎｓｎａｃｋｖｅｒｙｍｕｃｈｅｆｆｅｃｔｉｖｅｌｙ．

Ｔｈｅｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ

ｏｐｔｉｍｉｚｅｄｉｎａｓａｋｉｎｄｏｆｉｎｔｅｌｌｉｇｅｎｔｔｈｅｏｖｅｒａｌｌｓｅａｒｃｈｉｎｇｆｏｒａｌｇｏｒｉｔｈｍｓｈａｓｎｕｍｂｅｒｖａｌｕｅｓｉｎｃｅｔｈｅｅｉｇｈｔｉｅｓ，ｓｙｓｔｅｍｃｏｎｔｒｏｌ，ｓｔｒｕｃｔｕｒａｌｏｐｔｉｍｉｚａｔｉｏｎ

ａｄｅｓｉｇｎａｎｄａｐｐｌｉｃａｔｉｏｎｓｉｎ

ａｇｒｅａｔｄｅａｌｏｆｆｉｅｌｄｓｓｈｏｗｔｈｅｉｒｃｈａｒａｃｔｅｒｉｚｅｄｇｌａｍｏｕｒ，ｅｘｐｏｓｅｏｎｌｏｔｏｆｉｎｓｕｆｆｉｃｉｅｎｔａｎｄｄｅｆｅｃｔｓａｔｔｈｅｓａｍｅｔｉｍｅ．Ｆｏｒｅｘａｍｐｌｅ，ｔｏｔａｌｌｙｒｅｌｙ

ｃａｎｐｒｏｂａｂｉｌｉｔｙｔｏｏｐｅｒａｔｅａｔｒａｎｄｏｍ，ｔｈｏｕｇｈｅｘｔｒｅｍｅｌｙｓｍａｌｌ

ｔｈｅｅｘｃｅｌｌｅｎｔｃｏｎｄｉｔｉｏｎ．Ｔｈｅｏｎｅｓｂｅａｖｏｉｄｅｄ，ＩｔｉｓｓｏｕｇｈｔｔｈｅｒｅｓｔｒｉｃｔｉｏｎｏｆｏｎｌｙｃａｎｇｅｎｅｒａｌｌｙｂｅｒｅｃｅｉｖｅｄｉｎｔｈｅｏｖｅｒａｌＩｒａｎｇｅ

ｂｉｎａｒｙａｐｐｒｏｘｉｍａｔｌｙａｎｄｏｐｔｉｍｕｍｌｙ，ｉｔｉｓｖｅｒｙｄｉｆｆｉｃｕｌｔｔｏｂｅｓｏｌｖｅｄｏｐｔｉｍｕｍｌｙ；Ａｄｏｐｔｉｎｇ

ｓｃａｌｅｃｏｄｅｔｏｐａｒａｍｅｔｅｒ，ｄｉｓｐｅｒｓｉｎｇｔｏｔａｋｅｃｏｎｔｉｎｕｏｕｓｓｐａｃｅａｒｔｉｆｉｃｉａｌｌｙｒｅｓｕｌｔｉｎｔｈｅｃｏｎｔｒａｄｉｃｔｉｏｎｂｅｔｗｅｅｎｃａｌｃｕｌａｔｉｎｇｐｒｅｃｉｓｉｏｎａｎｄｓｔｒｉｎｇｌｅｎｇｔｈａｎｄｏｐｅｒａｔｉｏｎａｍｏｕｎｔ；Ｓｏａｄｏｐｔｉｎｇａｎｄｏｐｔｉｍｉｚｉｎｇｔｅｃｈｎｏｌｏｇｙａｔｒａｎｄｏｍｓｈｏｕｌｄｓｐｅｎｄ

ｂｒａｎｃｈｉｎｇａｎｄｔｈｅｍｕｔａｎｔｅｖｏｌｕｔｉｏｎｃｏｕｒｓｅａｌａｒｇｅａｍｏｕｎｔｏｆｔｉｍｅ；Ｉｎｒａｎｄｏｍｎｅｓｓｉｓｒｅｌａｔｉｖｅｌｙｓｔｒｏｎｇ，ｃａｕｓｉｎｇｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｓｅａｒｃｈｉｎｇｆｏｒｔｏｂｅｌｏｗ，ｅｍｂｏｄｉｅｄｉｎｅｖｏｌｖｉｎｇ，ｃｈａｎｇｉｎｇａｎｄｔａｋｉｎｇｔｈｅｐｌａｃｅｏｆｃｏｕｒｓｅｗｉｌｌａｐｐｅａｒｓｕｂｇｅｎｅｒａｔｉｏｎｏｐｔｉｍｕｍｉｎｄｉｖｉｄｕａｌｌｏｗｅｒｔｈａｎｐａｒｅｎｔｏｐｔｉｍｕｍｉｎｄｉｖｉｄｕａｌ．Ｔｈｏｕｇｈｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｈａｖｅｓｔｒｏｎｇｌｙｏｖｅｒａｌｌｓｉｔｕａｔｉｏｎｓｅａｒｃｈｉｎｇｆｏｒａｂｉｌｉｔｙ，ｉｔｓｐａｒｔｓｅａｒｃｈｉｎｇｆｏｒａｂｉｌｉｔｙｔｏｂｅｗｅａｋｅｒ

ｐｈｅｎｏｍｅｎｏｎｏｆａｎｄ（ｅａｓｉｅｒｔｏａｐｐｅａｒｔｈｅｅａｒｌｙ－ｍａｔｕｒｉｎｇｄｉｓａｐｐｅａｒｉｎｇ）．

ｏｆｔｈｉｓｐａｐｅｒ：

ａｎｄｒｅｓｅａｒｃｈｔｈｅｄｅｆｅｃｔｏｆＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ．ＷｉｔｈｔｈｅｓｈｏｒｔｃｏｍｉｎｇｔｏｔｈｅｓｔｏｗＧｒｏｕｎｄｗｏｒｋ（１）Ａｎａｌｙｚｅ

ｃｏｎｖｅｒｇｅｎｔｓｐｅｅｄｏｆＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ，ｗｅｃａｒｒｙｏｎｍａｔｈｅｍａｔｉｃｓａｎａｌｙｓｉｓｔｏｓｉｎｇｌｅｐｏｌａｒｉｔｙＳｉｇｍｏｉｄ第Ｔ００頁

ｔｒａｎｓｍｉｔｆｕｎｃｔｉｏｎａｎｄｄｏｕｂｌｅｐｏｌａｒｉｔｙＳｉｇｍｏｉｄｆｕｎｃｔｉｏｎｏｆｃｌａｓｓｉｃａｌＢＰｎｅｔｗｏｒｋ。Ｆｒｏｍｔｈｉｓｗｅｓｈｏｗｔｈｅｄｉｆｆｅｒｅｎｔｍａｔｈｅｍａｔｉｃｓｎａｔｕｒｅｏｆｔｈｅｍａｎｄｔｈｅｉｒｃｈｏｉｃｅｍｅｔｈｏｄｓ．

（２）Ｗｅ

ｎｅｕｒａｌｍｅｔｈｏｄ．ＷｅｉｍｐｒｏｖｅＢＰｉｍｐｒｏｖｅＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｂｙｎｕｍｅｒｉｃａｌｃａｌｃｕｌａｔｉｏｎｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄｂｙｔｈｅｉｍｉｔａｔｅＮｅｗｔｏｎｍｅｔｈｏｄ，ｏｐｔｉｍｕｍｓｔｅｐｌｅｎｇｔｈｍｅｔｈｏｄａｎｄ

ａｎａｌｙｚｅａｎｄｃｏｍｐａｒｅａｂｏｕｔｖａｒｉｏｕｓｋｉｎｄｓｏｆｎｅｔｗｏｒｋｃｏｎｊｕｇａｔｉｏｎｇｒａｄｉｅｎｔｍｅｔｈｏｄｒｅｓｐｅｃｔｉｖｅｌｙ．Ｔｈｅｎｉｍｐｒｏｖｅｍｅｎｔ

ｍｅｔｈｏｄｓａｎｄｓｈｏｗｅａｃｈｓｕｉｔａｂｌｅｎｅｔｗｏｒｋｓｉｚｅ，ａｎａｌｙｚｉｎｇａｎｄｐｒｏｖｉｎｇｉｔｓｃｏｎｖｅｒｇｅｎｃｅｐｒｏｐｅｒｔｙ．

（３）Ｗｅａｎａｌｙｚｅａｎｄｒｅｓｅａｒｃｈｔｈｅｃｒｏｓｓｏｐｅｒａｔｏｒ，ｖａｒｉａｔｉｏｎｏｐｅｒａｔｏｒａｎｄｃｏｄｅｗａｙｏｆｇｅｎｅｔｉｃ

ｃｒｏｓｓａｌｇｏｒｉｔｈｍｂｙｎｕｍｅｒｉｃａｌｃａｌｃｕｌａｔｉｏｎｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄａｎｄｓｈｏｗｔｈｅ

ｏｐｔｉｍｕｍｔａｃｔｉｃｓ（Ｆｉｂｏｎａｃｃｉ

ｏｎｏｐｅｒａｔｏｒ．ｖａｒｉａｔｉｏｎｏｆｍｅｔｈｏｄ）ａｎｄａｐｐｒｏｘｉｍａｔｅｏｐｔｉｍｕｍｔａｃｔｉｃｓ（ｇｏｌｄｅｎｓｅｃｔｉｏｎｍｅｔｈｏｄ）ｂａｓｅｄｏｎｅ－ｄｉｍｅｎｓｉｏｎｍｉｎｉｍｉｚｉｎｇｑｕｅｓｔｉｏｎ．

（４）ＷｅｃｏｍｂｉｎｅｔｈｅｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｗｈｉｃｈｉｓｇｏｏｄａｔｏｖｅｒａｌｌｓｅａｒｃｈｗｉｔｈＢＰａｌｇｏｒｉｔｈｍｗｈｉｃｈｈａｓ

ｃｒｏｓｓｍｕｃｈｓｔｒｏｎｇｌｏｃａｌｏｐｔｉｍｉｚｉｎｇａｂｉｌｉｔｙ．Ａｃｃｏｒｄｉｎｇｔｏｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆｔｈｅｏｐｅｒａｔｏｒ，ｖａｒｉａｔｉｏｎ

ｏｐｅｒａｔｏｒａｎｄｃｈｏｉｃｅｏｐｅｒａｔｏｒｏｆＧＡｔｈａｔｔｈｅｓｅｏｐｅｒａｔｏｒｓｓｅａｒｃｈｔｈｅｏｖｅｒａｌｌｓｏｌｖｅｗｉｔｈｇｒｅａｔｐｒｏｂａｂｉｌｉｔｙｉｎｔｈｅｗｈｏｌｅｖａｒｉａｂｌｅｓｐａｃｅａｎｄｃｏｎｖｅｒｇｅｆａｓｔａｎｄａｃｃｕｒａｔｅｎｅａｒｔｈｅｓｏｌｖｅ，ｉｎｔｅｒｇｒａｄｉｎｇａｄｖａｎｔａｇｅｓｏｆｔｈｅｓｅｔｏｗｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｃｏｍｂｉｎｉｎｇｔｈｅｓｅｔｏｗｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｒｇａｎｉｃａｌｌｙ，ｔｒａｉｎｉｎｇｔｈｅｗｅｉｇｈｔｖａｌｕｅａｎｄｔｏｐｏｌｏｇｉｃａｌｓｔｒｕｃｔｕｒｅｏｆｎｅｕｒａｌｎｅｔｗｏｒｋａｔｔｈｅｓａｍｅｔｉｍｅｂｙｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ，ｗｅｃａｎａｖｏｉｄｆａｌｌｉｎｇ

ｃａｎｉｎｔｏｌｏｃａｌｅｘｔｒｅｍｅｍｉｎｉｍｕｍｖａｌｕｅａｎｄｉｍｐｒｏｖｅｃｏｎｖｅｒｇｅｎｔｓｐｅｅｄｏｆｔｈｅａｌｇｏｒｉｔｈｍ，ｔｈｅｎｗｅ

ｔｈｅｏｖｅｒａｌＩｏｐｔｉｍｕｍｓｏｌｖｅｔｏｔｈｅｑｕｅｓｔｉｏｎｑｕｉｃｋｌｙ．ｏｂｔａｉｎ

（５）ＷｅｖｅｒｉｆｙｔｈｅｉｍｐｒｏｖｅｄＢＰｎｅｔｗｏｒｋａｌｇｏｒｉｔｈｍ，ｉｍｐｒｏｖｅｄｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍａｎｄｔｈｅｉｒｍｉｘ

““ｔｈｒｏｕｇｈｔｅｓｔｉｎｇ．

Ｋｅｙｗｏｒｄｓ：

Ｎｅｕｒａｌｎｅｔｗｏｒｋ，Ｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ，Ｃｏｎｖｅｒｇｅｎｃｅｐｒｏｐｅｒｔｙ，Ｆｉｂｏｎａｃｃｉｌａｗ，

Ｇｒａｄｉｅｎｔｌａｗｏｆｃｏｎｊｕｇａｔｉｏｎ，ｇｏｌｄｓｐｌｉｔｍｅｔｈｏｄ，Ｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙ第１０１頁

  本文關(guān)鍵詞：基于數(shù)值計算方法的BP神經(jīng)網(wǎng)絡(luò)及遺傳算法的優(yōu)化研究，由筆耕文化傳播整理發(fā)布。