復值神經(jīng)網(wǎng)絡是一類用復數(shù)變量解決復雜問題的網(wǎng)絡。梯度下降法是訓練復值神經(jīng)網(wǎng)絡的流行算法之一。目前,建立的傳統(tǒng)網(wǎng)絡模型大多數(shù)是整數(shù)階模型。與經(jīng)典的整數(shù)階模型相比,建立在分數(shù)階微積分上的模型在記憶儲存和遺傳特性上都具有顯著的優(yōu)勢。源于分數(shù)階微分系統(tǒng)特性和復數(shù)的幾何意義,分數(shù)階復值神經(jīng)網(wǎng)絡具有比整數(shù)階復值情形更為優(yōu)越的記憶特性。本文基于分離復值神經(jīng)網(wǎng)絡,利用分數(shù)階導數(shù)來訓練分離復值神經(jīng)網(wǎng)絡（Split-complex neural networks,SCNNs）。根據(jù)誤差函數(shù)關于權(quán)值的梯度的不同定義,提出了兩種權(quán)值更新方法。借助微分中值定理和不等式分析技巧,并且在常學習率下,證明了分數(shù)階復值神經(jīng)網(wǎng)絡學習算法在訓練迭代中的誤差函數(shù)是單調(diào)遞減的,并且誤差函數(shù)關于權(quán)值的梯度趨于零。此外,數(shù)值模擬已經(jīng)有效地驗證了其性能,同時也說明了理論結(jié)果。本文主要工作如下:1.提出了分數(shù)階復值神經(jīng)網(wǎng)絡算法。通過使用分數(shù)階最陡下降法（FSDM）,描述了基于Faàdi Bruno’s formula的分數(shù)階復值神經(jīng)網(wǎng)絡（FCBPNNs）的實現(xiàn)。2.提出一種基于Caputo定義的分數(shù)階復值神經(jīng)網(wǎng)絡學習算法。在適合的激活... 

【文章來源】：中國石油大學(華東)山東省 211工程院校 教育部直屬院校

【文章頁數(shù)】：54 頁

【學位級別】：碩士

【部分圖文】：

神經(jīng)元模型

中國石油大學（華東）碩士學位論文9圖2-2變量為復數(shù)u的Sigmoid函數(shù)圖像Figure2-2Sigmoidfunctionofcomplexvariableu這種使用實虛型激活函數(shù)的復值神經(jīng)網(wǎng)絡在處理n維復值信息時，更貼近實際運算規(guī)則，能夠得到更好的效果。2.2.2振幅相位型激活函數(shù)除了實虛部型激活函數(shù)外，振幅相位型激活函數(shù)應用也較為廣泛，其表達式為：()tanh()exp(arg()),apfuuiu(2-5)定義(2-5)表示在振幅上飽和，而相位不變。振幅相位型激活函數(shù)如圖2-3所示。從圖2-3(c)和(d)中可以清楚地觀察到，它與原點(0，i0)有關。與實虛型激活函數(shù)相比，振幅相位型激活函數(shù)與實、虛軸的設定無關。因此，它適用于處理能夠在坐標原點旋轉(zhuǎn)的信息。尤其是，它適用于處理波或與波有關的信息。我們假設波幅對應于神經(jīng)網(wǎng)絡中復變量的振幅，而波相位對應于神經(jīng)網(wǎng)絡中變量的相位。非線性函數(shù)的飽和特性與波能的飽和有關，這在各種物理現(xiàn)象中都有廣泛的觀測(與此處理不同，我們在相位上分別處理可能與飽和相關的弱非線性)。此外，波的相位是按照時刻的進展或延遲而旋轉(zhuǎn)的。波的實部或虛部在實際測量中可以被觀察到。因此，在處理波時，振幅相位型激活函數(shù)中關于坐標原點的徑向各向同性是可取的。

第2章預備知識10圖2-3變量為復數(shù)u的Sigmoid函數(shù)圖像Figure2-3Sigmoidfunctionofcomplexvariableu2.3分離復值神經(jīng)網(wǎng)絡復值神經(jīng)網(wǎng)絡又可以分為分離型CVNNs和全復型CVNNs。而對于分離復值神經(jīng)網(wǎng)絡（SCNNs）來說，根據(jù)SCNNs權(quán)值向量的特點可以進一步將其分為兩類：1.實值權(quán)值向量和實值激活函數(shù)的SCNNs；2.復數(shù)值權(quán)值向量和實數(shù)值函數(shù)激活的SCNNs。2.3.1實值權(quán)值向量和實值激活函數(shù)的SCNNs具有實值權(quán)值及實值激活函數(shù)的SCNNs結(jié)構(gòu)可以參照經(jīng)典的實值多層感知器（MLP）網(wǎng)絡的反向傳播算法。這里面的，把輸入的復數(shù)值信號分為兩個實數(shù)值變量，也就是實部變量和虛部變量。圖2-4實值權(quán)值向量和實值激活函數(shù)的SCNNsFigure2-4RealweightvectorandrealactivationfunctionofSCNNs實數(shù)值的輸入信號：212211[,,,][Re(),Im(),Re(),Im()]mTTmmmxRxxxzzzz

【參考文獻】：
期刊論文
[1]BP網(wǎng)絡學習能力與泛化能力之間的定量關系式[J]. 李祚泳,易勇鷙.  電子學報. 2003(09)



本文編號：3487357