【摘要】：在神經(jīng)網(wǎng)絡的發(fā)展歷史中,BP算法(Error Back Propagation, BP誤差反向傳播)一直作為神經(jīng)網(wǎng)絡權(quán)值優(yōu)化的主流方法。但其收斂速度慢、易陷入局部極小值等缺點降低了神經(jīng)網(wǎng)絡的性能。隨機神經(jīng)網(wǎng)絡采用單隱含層結(jié)構(gòu),隱含層(輸入節(jié)點到隱含節(jié)點)參數(shù)隨機產(chǎn)生,輸出層(隱含節(jié)點到輸出節(jié)點)參數(shù)通過計算得到。相比于采用BP算法的神經(jīng)網(wǎng)絡而言,隨機神經(jīng)網(wǎng)絡的學習速度得到了上百倍的提高,同時也提高了網(wǎng)絡模型的準確率和泛化能力。隱含層參數(shù)的隨機性策略提升了網(wǎng)絡性能,但這種機制導致隱含層需要過多的節(jié)點。這就造成了網(wǎng)絡結(jié)構(gòu)過于臃腫,降低了測試速度。許多學者對此進行研究,旨在簡化網(wǎng)絡結(jié)構(gòu),用進化算法優(yōu)化隨機神經(jīng)網(wǎng)絡的隱含層參數(shù)便是其中一種。進化算法是一種基于自然選擇和生物遺傳等生物進化機制而出現(xiàn)的一種啟發(fā)式搜索算法。進化算法包括遺傳算法[2],遺傳編碼,進化策略,進化編程四部分。進化算法擁有強大的全局搜索能力。因此,本文嘗試通過回溯式搜索算法(進化算法的一種)優(yōu)化隨機神經(jīng)網(wǎng)絡的參數(shù),以提高隨機神經(jīng)網(wǎng)絡的效率、簡化神經(jīng)網(wǎng)絡結(jié)構(gòu)�；厮菔剿阉魉惴ㄇ蠼膺^程是一個貪婪的過程,在用回溯式搜索算法迭代優(yōu)化隨機神經(jīng)網(wǎng)絡時,會造成模型趨向于擬合驗證集,但在測試集上的性能甚至可能出現(xiàn)下降的現(xiàn)象。因此,本文中提出了一種雙項約束的損失函數(shù),通過數(shù)據(jù)約束,很大程度上減輕了模型趨向于擬合驗證集的問題。在對網(wǎng)絡模型評價時,泛化能力是一個重要的指標。在本文中,提出了一種新的泛化能力評價準則,能更直觀的表現(xiàn)出模型的泛化能力。許多疾病如糖尿病、青光眼等早期癥狀都表現(xiàn)在視網(wǎng)膜上。通過視網(wǎng)膜分析可以對這些疾病做早期的預防和治療。視網(wǎng)膜血管分割是視網(wǎng)膜分析的基礎。在血管分割中,血管的彎曲、分支等分割的是否準確,直接影響到視網(wǎng)膜分析的準確性。本文把回溯式搜索算法改進的隨機神經(jīng)網(wǎng)絡模型用于視網(wǎng)膜血管分割,取得了令人滿意的效果。在UCI數(shù)據(jù)集和視網(wǎng)膜血管分割數(shù)據(jù)集上,基于回溯式搜索算法改進的隨機神經(jīng)網(wǎng)絡模型獲得了令人滿意的效果。本文對基于回溯式搜索算法優(yōu)化隨機神經(jīng)網(wǎng)絡的模型做了較廣泛的探究,但仍存在一些問題以待進一步的實驗驗證和理論分析。
[Abstract]:In the development history of neural network, BP algorithm (Error Back Propagation, BP error back propagation has been used as the mainstream method of neural network weight optimization. However, its convergence speed is slow and it is easy to fall into local minima, which reduces the performance of neural network. The stochastic neural network adopts a single implicit layer structure, the parameters of the hidden layer (from the input node to the hidden node) are randomly generated, and the parameters of the output layer (from the hidden node to the output node) are obtained by calculation. Compared with the neural network with BP algorithm, the learning speed of stochastic neural network is improved by hundreds of times, and the accuracy and generalization ability of the network model are also improved. The randomness strategy of hidden layer parameters improves the network performance, but this mechanism leads to the need of too many nodes in the hidden layer. This causes the network structure to be too bloated and reduces the test speed. Many scholars have studied this in order to simplify the network structure, and using evolutionary algorithm to optimize the hidden layer parameters of stochastic neural networks is one of them. Evolutionary algorithm is a heuristic search algorithm based on natural selection and biological heredity and other biological evolution mechanisms. Evolutionary algorithm includes four parts: genetic algorithm [2], genetic coding, evolutionary strategy and evolutionary programming. Evolutionary algorithm has strong global search ability. Therefore, this paper attempts to optimize the parameters of stochastic neural network by retrospective search algorithm (one of evolutionary algorithm) in order to improve the efficiency of stochastic neural network and simplify the neural network structure. The solution process of traceability search algorithm is a greedy process. When the backtracking search algorithm is used to optimize the stochastic neural network iteratively, the model tends to fit the verification set, but the performance on the test set may even decline. Therefore, in this paper, a loss function with binomial constraints is proposed, which greatly reduces the problem that the model tends to fit the verification set through the data constraints. Generalization ability is an important index in the evaluation of network model. In this paper, a new evaluation criterion of generalization ability is proposed, which can show the generalization ability of the model more intuitively. Many diseases such as diabetes, glaucoma and other early symptoms are manifested in the retinal. Retinal analysis can be used for early prevention and treatment of these diseases. Retinal vascular segmentation is the basis of retinal analysis. In vascular segmentation, the accuracy of retinal analysis is directly affected by the accuracy of vascular bending and branch segmentation. In this paper, the improved stochastic neural network model of retrospective search algorithm is applied to retinal vascular segmentation, and satisfactory results are obtained. On UCI dataset and retinal vascular segmentation data set, the improved stochastic neural network model based on traceability search algorithm has achieved satisfactory results. In this paper, the model of optimizing stochastic neural network based on traceability search algorithm is widely explored, but there are still some problems to be further verified by experiments and theoretical analysis.
【學位授予單位】：山東大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP183

【相似文獻】

相關(guān)期刊論文 前10條

1 YanJill;;搜索算法縱橫[J];中文信息;2002年08期

2 孫吉貴,何雨果;量子搜索算法[J];軟件學報;2003年03期

3 孫力;須文波;;量子搜索算法體系及其應用[J];計算機工程與應用;2006年14期

4 耿汝年;須文波;魏士靖;劉國玲;;無信息圖搜索算法的改進研究[J];山東輕工業(yè)學院學報(自然科學版);2006年02期

5 徐豐民;陳啟興;;電視節(jié)目自動跳躍搜索算法[J];現(xiàn)代電子技術(shù);2007年04期

6 詹志輝;胡曉敏;張軍;;通過八數(shù)碼問題比較搜索算法的性能[J];計算機工程與設計;2007年11期

7 文家焱;王國利;;絕熱量子搜索算法中的糾纏與能量分析[J];計算機研究與發(fā)展;2008年S1期

8 周日貴;;多模式部分量子搜索算法[J];西南交通大學學報;2008年04期

9 鐘普查;鮑皖蘇;隗云;;改進的多目標元素量子搜索算法[J];計算機工程與應用;2009年18期

10 王常春;李貴艷;向淑文;;搜索算法在囚徒困境中的應用[J];遵義師范學院學報;2009年04期

相關(guān)會議論文 前10條

1 張玲;姜立志;;能量抵消測量相位中的相位搜索算法[A];2009年全國水聲學學術(shù)交流暨水聲學分會換屆改選會議論文集[C];2009年

2 李金;蔣國平;;一種改進的復雜網(wǎng)絡搜索算法[A];2007中國控制與決策學術(shù)年會論文集[C];2007年

3 羅家祥;唐立新;李小林;劉建榮;鄔成新;;分散搜索算法在板坯匹配優(yōu)化問題中的應用研究[A];全國冶金自動化信息網(wǎng)2009年會論文集[C];2009年

4 李瀟磊;伍瑞卿;朱維樂;;運動搜索算法的比較與改進[A];2007北京地區(qū)高校研究生學術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

5 程振波;鄧志東;;優(yōu)化策略模型下的匹配律算法[A];2009年中國智能自動化會議論文集（第五分冊）[東南大學學報（增刊）][C];2009年

6 彭明僑;羅先覺;鄒曉松;;基于改進概率搜索算法的模擬電路故障診斷[A];第四屆中國測試學術(shù)會議論文集[C];2006年

7 常新杰;李言俊;;搜索算法的研究進展[A];1998年中國智能自動化學術(shù)會議論文集（上冊）[C];1998年

8 糜玉林;左斌;;基于協(xié)同控制的極值搜索算法與控制器一體化設計[A];2007年中國智能自動化會議論文集[C];2007年

9 鐘普查;鮑皖蘇;;基于相位變換的量子搜索算法研究[A];第十三屆全國量子光學學術(shù)報告會論文摘要集[C];2008年

10 羅春華;張繼勇;鄭方;徐明星;;一種基于HTK的詞圖搜索算法[A];第六屆全國人機語音通訊學術(shù)會議論文集[C];2001年

相關(guān)博士學位論文 前9條

1 朱皖寧;離散量子行走研究[D];東南大學;2015年

2 孫杰;基于絕熱演化的量子搜索算法研究[D];華中科技大學;2013年

3 張映玉;絕熱量子搜索算法研究[D];華中科技大學;2011年

4 閻興，

本文編號：2499573