人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)網(wǎng)絡(luò)進(jìn)行信息處理的一種數(shù)學(xué)模型,是由大量神經(jīng)元廣泛互連而成的網(wǎng)絡(luò),其目在于通過模擬大腦的某些功能機(jī)制,實(shí)現(xiàn)一些特定的功能。人工神經(jīng)網(wǎng)絡(luò)以其具有大規(guī)模并行處理、容錯(cuò)性、自組織和自適應(yīng)能力等特點(diǎn),己成為解決復(fù)雜問題的有效工具。目前,已存在的神經(jīng)網(wǎng)絡(luò)模型有很多,其中多層前饋神經(jīng)網(wǎng)絡(luò)是研究和應(yīng)用較多的模型之一。它是由簡(jiǎn)單神經(jīng)單元構(gòu)成的具有明顯層次結(jié)構(gòu)的網(wǎng)絡(luò)模型,且有良好的非線性品質(zhì),靈活有效的學(xué)習(xí)方式,較強(qiáng)的非線性系統(tǒng)模擬能力,因此被廣泛的應(yīng)用于系統(tǒng)辨識(shí)、數(shù)據(jù)挖掘、信號(hào)處理、故障診斷等領(lǐng)域。盡管Hornik等證明了僅需一個(gè)具有單隱含層的前饋神經(jīng)網(wǎng)絡(luò)就可以逼近任意復(fù)雜度的函數(shù),但是如何找到合理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和相應(yīng)參數(shù)取值卻是一個(gè)NP-hard問題。因此,多層前饋神經(jīng)網(wǎng)絡(luò)仍然存在一些難題:首先,在網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)方面,網(wǎng)絡(luò)隱層數(shù)及各隱層隱節(jié)點(diǎn)數(shù)的選擇,通常根據(jù)實(shí)際問題采用“經(jīng)驗(yàn)法”或“適湊法”來確定,具有較強(qiáng)的不確定性,然而神經(jīng)網(wǎng)絡(luò)的泛化能力很大程度上取決于神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的設(shè)計(jì),因此傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法容易導(dǎo)致神經(jīng)網(wǎng)絡(luò)的泛化能力差;在網(wǎng)絡(luò)參數(shù)優(yōu)化方面,傳統(tǒng)的基于梯度下降的誤差反傳算法雖然有良好的數(shù)學(xué)理論支撐,但是仍然存在收斂速度慢、易陷入局部最優(yōu)、對(duì)參數(shù)初始值敏感等缺點(diǎn),極大的限制了多層前饋神經(jīng)網(wǎng)絡(luò)的應(yīng)用。 針對(duì)多層前饋人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、存在的問題以及相關(guān)技術(shù)的研究趨勢(shì),本論文研究了一種新的基于樹編碼的人工神經(jīng)網(wǎng)絡(luò)模型:神經(jīng)樹網(wǎng)絡(luò)模型及其優(yōu)化問題,并對(duì)其在數(shù)據(jù)挖掘領(lǐng)域中的典型應(yīng)用做了深入的探討。本文主要研究?jī)?nèi)容概述如下: 1、針對(duì)神經(jīng)樹網(wǎng)絡(luò)模型在實(shí)際應(yīng)用中遇到的問題及特點(diǎn),從以下兩個(gè)方面對(duì)神經(jīng)樹網(wǎng)絡(luò)模型的描述進(jìn)行研究和改進(jìn): (1)對(duì)神經(jīng)樹網(wǎng)絡(luò)模型定義的改進(jìn):解決了模型中函數(shù)節(jié)點(diǎn)的孩子節(jié)點(diǎn)中終端節(jié)點(diǎn)重復(fù)導(dǎo)致過多無效個(gè)體產(chǎn)生的問題以及神經(jīng)樹網(wǎng)絡(luò)模型的最大深度設(shè)置問題。 (2)根據(jù)神經(jīng)樹網(wǎng)絡(luò)模型的自身特點(diǎn),給出了一種新的神經(jīng)樹網(wǎng)絡(luò)模型元組描述法,為神經(jīng)樹網(wǎng)絡(luò)模型提供了一個(gè)方便和科學(xué)的描述方法。 2、通過研究目前關(guān)于神經(jīng)樹網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)和參數(shù)已有的優(yōu)化方法,從以下三個(gè)方面對(duì)其優(yōu)化方法進(jìn)行研究和改進(jìn): (1)在神經(jīng)樹網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)優(yōu)化方面:提出了基于積木塊庫(kù)的改進(jìn)遺傳規(guī)劃算法、基于層次可變概率向量的PIPE算法和基于樹編碼的粒子群優(yōu)化算法。相關(guān)仿真實(shí)驗(yàn)表明,上述方法可以有效的減少進(jìn)化過程中無效個(gè)體的產(chǎn)生,提高神經(jīng)樹網(wǎng)絡(luò)模型的進(jìn)化收斂速度和誤差精度。 (2)在神經(jīng)樹網(wǎng)絡(luò)模型參數(shù)優(yōu)化方面:引入差分進(jìn)化算法,該算法具有控制參數(shù)少、實(shí)現(xiàn)容易、不易陷入局部極小等特點(diǎn),非常適合神經(jīng)樹網(wǎng)絡(luò)模型的參數(shù)優(yōu)化。 (3)在神經(jīng)樹網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)優(yōu)化和參數(shù)優(yōu)化協(xié)調(diào)方面:針對(duì)目前先拓?fù)浣Y(jié)構(gòu)優(yōu)化后參數(shù)優(yōu)化學(xué)習(xí)策略可能產(chǎn)生的“干擾適應(yīng)度評(píng)價(jià)”問題,提出了一種改進(jìn)的BGP算法,實(shí)現(xiàn)了神經(jīng)樹網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)和參數(shù)的同時(shí)優(yōu)化。相關(guān)仿真實(shí)驗(yàn)表明,該算法能有效的提高神經(jīng)樹網(wǎng)絡(luò)模型的進(jìn)化收斂速度和誤差精度。 3、結(jié)合集成學(xué)習(xí)提出了神經(jīng)樹網(wǎng)絡(luò)集成的概念,對(duì)神經(jīng)樹網(wǎng)絡(luò)集成在數(shù)據(jù)挖掘領(lǐng)域中的分類和預(yù)測(cè)問題上的應(yīng)用進(jìn)行了研究并提出了若干相關(guān)模型: (1)在分類問題方面:提出了一種以神經(jīng)樹網(wǎng)絡(luò)模型為基本分類器的神經(jīng)樹網(wǎng)絡(luò)集成方法,以“輸出結(jié)果處理法”為主要研究對(duì)象,構(gòu)建了基于糾錯(cuò)碼的神經(jīng)樹網(wǎng)絡(luò)集成分類模型,同時(shí)給出了該集成分類模型的算法設(shè)計(jì)和工作流程,最后在若干UCI數(shù)據(jù)集上對(duì)該集成分類模型的有效性和優(yōu)越性進(jìn)行了實(shí)驗(yàn)驗(yàn)證;另外,提出了基于Bagging和Boosting的神經(jīng)樹網(wǎng)絡(luò)集成分類模型,同時(shí)給出了兩種集成分類模型的算法設(shè)計(jì)及其在若干UCI數(shù)據(jù)集上的仿真實(shí)驗(yàn)對(duì)比。 (2)在預(yù)測(cè)問題方面:提出了基于Bagging和Boosting的神經(jīng)樹網(wǎng)絡(luò)集成預(yù)測(cè)模型,并以非線性函數(shù)模擬為應(yīng)用對(duì)象,與相關(guān)模型的性能分別進(jìn)行了仿真實(shí)驗(yàn)對(duì)比。 4、根據(jù)神經(jīng)樹網(wǎng)絡(luò)模型研究的實(shí)驗(yàn)需求,結(jié)合面向?qū)ο蠹夹g(shù)和軟件Matlab R2008a,在Visual Studio .NET 2008開發(fā)環(huán)境中以C#語言為基礎(chǔ),構(gòu)建了神經(jīng)樹網(wǎng)絡(luò)模型仿真實(shí)驗(yàn)平臺(tái)。該平臺(tái)具有實(shí)驗(yàn)數(shù)據(jù)預(yù)處理、神經(jīng)樹網(wǎng)絡(luò)模型構(gòu)建、神經(jīng)樹網(wǎng)絡(luò)模型優(yōu)化算法集成以及實(shí)驗(yàn)結(jié)果圖形化展現(xiàn)等功能。最后,該仿真實(shí)驗(yàn)平臺(tái)被用于解決房地產(chǎn)價(jià)格指數(shù)預(yù)測(cè)和鐵路客運(yùn)量預(yù)測(cè)兩個(gè)實(shí)際問題。
【學(xué)位單位】：山東師范大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2011
【中圖分類】：TP183
【部分圖文】：

神經(jīng)樹網(wǎng)絡(luò)模型中只存在兩種不同節(jié)點(diǎn)(信息輸入)。用來構(gòu)建神經(jīng)樹網(wǎng)絡(luò)模型{,,,}{,,,}2 3N12nFTxxxLL∪=+++∪。其,,N)L表示神經(jīng)樹網(wǎng)絡(luò)模型中有i個(gè)互異輸nx表示神經(jīng)樹網(wǎng)絡(luò)模型中無任何輸入的終入。函數(shù)節(jié)點(diǎn)i+ 等價(jià)于一個(gè)具有i個(gè)輸入的神

圖 2-1 一個(gè)典型的神經(jīng)樹網(wǎng)絡(luò)模型出，神經(jīng)樹網(wǎng)絡(luò)模型中只存在兩種不同類型點(diǎn)(信息輸入)。用來構(gòu)建神經(jīng)樹網(wǎng)絡(luò)模型的{,,,}{,,,}2 3N12nTxxxLL∪=+++∪。其中，,N)表示神經(jīng)樹網(wǎng)絡(luò)模型中有i個(gè)互異輸入表示神經(jīng)樹網(wǎng)絡(luò)模型中無任何輸入的終端(。數(shù)節(jié)點(diǎn)i+ 等價(jià)于一個(gè)具有i個(gè)輸入的神經(jīng)元

圖 2-3 Gaussian 函數(shù)曲線示意圖可選擇其它數(shù)學(xué)函數(shù)作為神經(jīng)樹網(wǎng)絡(luò)模型中函數(shù)節(jié)點(diǎn) 中列舉了部分可用的激活函數(shù)。表 2.1 可選擇的激活函數(shù)(a,b 均為實(shí)數(shù))列表函數(shù)名 函數(shù)表達(dá)式nipolar sigmoid function2||1(,)2(1) = +axfxaaeipolar sigmoid function221(,)(1)[(1)] = +axaxfxaeaen-local radial coordinates (,,)(||||),022=+ > ααfxabbxaeneral multiquadratics (,,)(||||),0122= + <β<βfxabbxain-plate s-spline function (,,)(||||)ln(||||)2f xab=bx abx a個(gè)函數(shù)節(jié)點(diǎn)n+ 的輸出可通過如下步驟求得，首先計(jì)算函
【引證文獻(xiàn)】

相關(guān)碩士學(xué)位論文 前6條

1 張靜;三峽庫(kù)區(qū)植被指數(shù)與氣象因子相互關(guān)系研究[D];西南大學(xué);2012年

2 施永豪;基于CCGA優(yōu)化的ANN信號(hào)調(diào)制模式識(shí)別[D];西南交通大學(xué);2012年

3 丁德豪;單塔斜拉橋模型修正研究[D];西南交通大學(xué);2012年

4 郭青;基于DE優(yōu)化的神經(jīng)網(wǎng)絡(luò)信號(hào)調(diào)制識(shí)別研究[D];西南交通大學(xué);2012年

5 周婷;基于改進(jìn)Hopfield網(wǎng)絡(luò)的注塑模具制造車間生產(chǎn)調(diào)度的研究[D];華南理工大學(xué);2012年

6 范恒冬;基于神經(jīng)網(wǎng)絡(luò)模型的我國(guó)商業(yè)銀行體系風(fēng)險(xiǎn)預(yù)警研究[D];安徽大學(xué);2013年

本文編號(hào)：2865975