【摘要】：在神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史中,BP算法(Error Back Propagation, BP誤差反向傳播)一直作為神經(jīng)網(wǎng)絡(luò)權(quán)值優(yōu)化的主流方法。但其收斂速度慢、易陷入局部極小值等缺點(diǎn)降低了神經(jīng)網(wǎng)絡(luò)的性能。隨機(jī)神經(jīng)網(wǎng)絡(luò)采用單隱含層結(jié)構(gòu),隱含層(輸入節(jié)點(diǎn)到隱含節(jié)點(diǎn))參數(shù)隨機(jī)產(chǎn)生,輸出層(隱含節(jié)點(diǎn)到輸出節(jié)點(diǎn))參數(shù)通過計(jì)算得到。相比于采用BP算法的神經(jīng)網(wǎng)絡(luò)而言,隨機(jī)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度得到了上百倍的提高,同時(shí)也提高了網(wǎng)絡(luò)模型的準(zhǔn)確率和泛化能力。隱含層參數(shù)的隨機(jī)性策略提升了網(wǎng)絡(luò)性能,但這種機(jī)制導(dǎo)致隱含層需要過多的節(jié)點(diǎn)。這就造成了網(wǎng)絡(luò)結(jié)構(gòu)過于臃腫,降低了測試速度。許多學(xué)者對此進(jìn)行研究,旨在簡化網(wǎng)絡(luò)結(jié)構(gòu),用進(jìn)化算法優(yōu)化隨機(jī)神經(jīng)網(wǎng)絡(luò)的隱含層參數(shù)便是其中一種。進(jìn)化算法是一種基于自然選擇和生物遺傳等生物進(jìn)化機(jī)制而出現(xiàn)的一種啟發(fā)式搜索算法。進(jìn)化算法包括遺傳算法[2],遺傳編碼,進(jìn)化策略,進(jìn)化編程四部分。進(jìn)化算法擁有強(qiáng)大的全局搜索能力。因此,本文嘗試通過回溯式搜索算法(進(jìn)化算法的一種)優(yōu)化隨機(jī)神經(jīng)網(wǎng)絡(luò)的參數(shù),以提高隨機(jī)神經(jīng)網(wǎng)絡(luò)的效率、簡化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)�；厮菔剿阉魉惴ㄇ蠼膺^程是一個(gè)貪婪的過程,在用回溯式搜索算法迭代優(yōu)化隨機(jī)神經(jīng)網(wǎng)絡(luò)時(shí),會造成模型趨向于擬合驗(yàn)證集,但在測試集上的性能甚至可能出現(xiàn)下降的現(xiàn)象。因此,本文中提出了一種雙項(xiàng)約束的損失函數(shù),通過數(shù)據(jù)約束,很大程度上減輕了模型趨向于擬合驗(yàn)證集的問題。在對網(wǎng)絡(luò)模型評價(jià)時(shí),泛化能力是一個(gè)重要的指標(biāo)。在本文中,提出了一種新的泛化能力評價(jià)準(zhǔn)則,能更直觀的表現(xiàn)出模型的泛化能力。許多疾病如糖尿病、青光眼等早期癥狀都表現(xiàn)在視網(wǎng)膜上。通過視網(wǎng)膜分析可以對這些疾病做早期的預(yù)防和治療。視網(wǎng)膜血管分割是視網(wǎng)膜分析的基礎(chǔ)。在血管分割中,血管的彎曲、分支等分割的是否準(zhǔn)確,直接影響到視網(wǎng)膜分析的準(zhǔn)確性。本文把回溯式搜索算法改進(jìn)的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型用于視網(wǎng)膜血管分割,取得了令人滿意的效果。在UCI數(shù)據(jù)集和視網(wǎng)膜血管分割數(shù)據(jù)集上,基于回溯式搜索算法改進(jìn)的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型獲得了令人滿意的效果。本文對基于回溯式搜索算法優(yōu)化隨機(jī)神經(jīng)網(wǎng)絡(luò)的模型做了較廣泛的探究,但仍存在一些問題以待進(jìn)一步的實(shí)驗(yàn)驗(yàn)證和理論分析。
[Abstract]:In the development history of neural network, BP algorithm (Error Back Propagation, BP error back propagation has been used as the mainstream method of neural network weight optimization. However, its convergence speed is slow and it is easy to fall into local minima, which reduces the performance of neural network. The stochastic neural network adopts a single implicit layer structure, the parameters of the hidden layer (from the input node to the hidden node) are randomly generated, and the parameters of the output layer (from the hidden node to the output node) are obtained by calculation. Compared with the neural network with BP algorithm, the learning speed of stochastic neural network is improved by hundreds of times, and the accuracy and generalization ability of the network model are also improved. The randomness strategy of hidden layer parameters improves the network performance, but this mechanism leads to the need of too many nodes in the hidden layer. This causes the network structure to be too bloated and reduces the test speed. Many scholars have studied this in order to simplify the network structure, and using evolutionary algorithm to optimize the hidden layer parameters of stochastic neural networks is one of them. Evolutionary algorithm is a heuristic search algorithm based on natural selection and biological heredity and other biological evolution mechanisms. Evolutionary algorithm includes four parts: genetic algorithm [2], genetic coding, evolutionary strategy and evolutionary programming. Evolutionary algorithm has strong global search ability. Therefore, this paper attempts to optimize the parameters of stochastic neural network by retrospective search algorithm (one of evolutionary algorithm) in order to improve the efficiency of stochastic neural network and simplify the neural network structure. The solution process of traceability search algorithm is a greedy process. When the backtracking search algorithm is used to optimize the stochastic neural network iteratively, the model tends to fit the verification set, but the performance on the test set may even decline. Therefore, in this paper, a loss function with binomial constraints is proposed, which greatly reduces the problem that the model tends to fit the verification set through the data constraints. Generalization ability is an important index in the evaluation of network model. In this paper, a new evaluation criterion of generalization ability is proposed, which can show the generalization ability of the model more intuitively. Many diseases such as diabetes, glaucoma and other early symptoms are manifested in the retinal. Retinal analysis can be used for early prevention and treatment of these diseases. Retinal vascular segmentation is the basis of retinal analysis. In vascular segmentation, the accuracy of retinal analysis is directly affected by the accuracy of vascular bending and branch segmentation. In this paper, the improved stochastic neural network model of retrospective search algorithm is applied to retinal vascular segmentation, and satisfactory results are obtained. On UCI dataset and retinal vascular segmentation data set, the improved stochastic neural network model based on traceability search algorithm has achieved satisfactory results. In this paper, the model of optimizing stochastic neural network based on traceability search algorithm is widely explored, but there are still some problems to be further verified by experiments and theoretical analysis.
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 YanJill;;搜索算法縱橫[J];中文信息;2002年08期

2 孫吉貴,何雨果;量子搜索算法[J];軟件學(xué)報(bào);2003年03期

3 孫力;須文波;;量子搜索算法體系及其應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2006年14期

4 耿汝年;須文波;魏士靖;劉國玲;;無信息圖搜索算法的改進(jìn)研究[J];山東輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年02期

5 徐豐民;陳啟興;;電視節(jié)目自動跳躍搜索算法[J];現(xiàn)代電子技術(shù);2007年04期

6 詹志輝;胡曉敏;張軍;;通過八數(shù)碼問題比較搜索算法的性能[J];計(jì)算機(jī)工程與設(shè)計(jì);2007年11期

7 文家焱;王國利;;絕熱量子搜索算法中的糾纏與能量分析[J];計(jì)算機(jī)研究與發(fā)展;2008年S1期

8 周日貴;;多模式部分量子搜索算法[J];西南交通大學(xué)學(xué)報(bào);2008年04期

9 鐘普查;鮑皖蘇;隗云;;改進(jìn)的多目標(biāo)元素量子搜索算法[J];計(jì)算機(jī)工程與應(yīng)用;2009年18期

10 王常春;李貴艷;向淑文;;搜索算法在囚徒困境中的應(yīng)用[J];遵義師范學(xué)院學(xué)報(bào);2009年04期

相關(guān)會議論文 前10條

1 張玲;姜立志;;能量抵消測量相位中的相位搜索算法[A];2009年全國水聲學(xué)學(xué)術(shù)交流暨水聲學(xué)分會換屆改選會議論文集[C];2009年

2 李金;蔣國平;;一種改進(jìn)的復(fù)雜網(wǎng)絡(luò)搜索算法[A];2007中國控制與決策學(xué)術(shù)年會論文集[C];2007年

3 羅家祥;唐立新;李小林;劉建榮;鄔成新;;分散搜索算法在板坯匹配優(yōu)化問題中的應(yīng)用研究[A];全國冶金自動化信息網(wǎng)2009年會論文集[C];2009年

4 李瀟磊;伍瑞卿;朱維樂;;運(yùn)動搜索算法的比較與改進(jìn)[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

5 程振波;鄧志東;;優(yōu)化策略模型下的匹配律算法[A];2009年中國智能自動化會議論文集（第五分冊）[東南大學(xué)學(xué)報(bào)（增刊）][C];2009年

6 彭明僑;羅先覺;鄒曉松;;基于改進(jìn)概率搜索算法的模擬電路故障診斷[A];第四屆中國測試學(xué)術(shù)會議論文集[C];2006年

7 常新杰;李言俊;;搜索算法的研究進(jìn)展[A];1998年中國智能自動化學(xué)術(shù)會議論文集（上冊）[C];1998年

8 糜玉林;左斌;;基于協(xié)同控制的極值搜索算法與控制器一體化設(shè)計(jì)[A];2007年中國智能自動化會議論文集[C];2007年

9 鐘普查;鮑皖蘇;;基于相位變換的量子搜索算法研究[A];第十三屆全國量子光學(xué)學(xué)術(shù)報(bào)告會論文摘要集[C];2008年

10 羅春華;張繼勇;鄭方;徐明星;;一種基于HTK的詞圖搜索算法[A];第六屆全國人機(jī)語音通訊學(xué)術(shù)會議論文集[C];2001年

相關(guān)博士學(xué)位論文 前9條

1 朱皖寧;離散量子行走研究[D];東南大學(xué);2015年

2 孫杰;基于絕熱演化的量子搜索算法研究[D];華中科技大學(xué);2013年

3 張映玉;絕熱量子搜索算法研究[D];華中科技大學(xué);2011年

4 閻興，

本文編號：2499573