神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別、語(yǔ)音識(shí)別、情感分析等領(lǐng)域取得了巨大的成功,且顯示出其在各個(gè)領(lǐng)域有廣闊的應(yīng)用前景。本文基于Tensorflow提出了一種殘差網(wǎng)絡(luò)求解Fredholm積分方程的數(shù)值方法。該方法首先在求解區(qū)域隨機(jī)產(chǎn)生訓(xùn)練數(shù)據(jù)集,通過(guò)前向傳播殘差神經(jīng)網(wǎng)絡(luò)得到訓(xùn)練集上的預(yù)測(cè)值;然后代入Fredholm積分方程得到離散格式,并定義損失函數(shù),將解Fredholm積分方程轉(zhuǎn)化為一個(gè)最小二乘問(wèn)題,利用神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化求解,這個(gè)方法形式簡(jiǎn)單,對(duì)高維問(wèn)題計(jì)算量無(wú)顯著增加。數(shù)值實(shí)驗(yàn)表明,該算法所訓(xùn)練的殘差網(wǎng)絡(luò)不僅不會(huì)出現(xiàn)網(wǎng)絡(luò)退化現(xiàn)象,而且具有穩(wěn)定性好、泛化能力強(qiáng)等優(yōu)點(diǎn),能有效求解Fredholm積分方程,且取得了很好的收斂精度。 

【文章來(lái)源】：浙江理工大學(xué)浙江省

【文章頁(yè)數(shù)】：53 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１：復(fù)合函數(shù)與網(wǎng)絡(luò)的層??

浙江理工大學(xué)碩士學(xué)位論文?基于Ｔｅｎｓｏｒｆｌｏｗ的神經(jīng)網(wǎng)絡(luò)求解Ｆｒｅｄｈｏｌｍ積分方程??這是一個(gè)４層的神經(jīng)網(wǎng)絡(luò)，Ｌａｙｅｒ＇ｌｌ為輸入層，Ｚ／ａｙｅｒ＿Ｌ４為輸出層，ＬａｙｅｒＺ＾、??ＬａｙｅｒＩ／３為隱藏層，即神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層、輸出層構(gòu)成，且６彡＝?１，２，３）代??表每一層的閾值，％，＃＝?ｌ，２，３，４，５，６，ｊ?＝?３，４，５，６，７）代表神經(jīng)元與神經(jīng)元之間連接的??權(quán)重。??根據(jù)圖２．１我們已經(jīng)了解了神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，下面我們來(lái)了解一下神經(jīng)網(wǎng)絡(luò)的??基本組成部分－神經(jīng)元。神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本信息處理單位，它能夠處理復(fù)雜的非??線性問(wèn)題，一個(gè)典型的神經(jīng)元Ｍ－Ｐ模型如圖２．２所示：??－Ｙ，??＂Ｖ?＾??＾??圖２．２：?Ｍ－Ｐ神經(jīng)元模型??對(duì)于圖２．１中編號(hào)為３的神經(jīng)元，它同時(shí)接收三個(gè)輸入信號(hào)。其中，＾、：ｃ２代??表輸入，￣代表閾值。中間部分為神經(jīng)元，而最后的２３是神經(jīng)元的輸出。整個(gè)過(guò)程可??以理解為輸入處理—輸出。??生物神經(jīng)元之間靠形成突觸的方式構(gòu)成神經(jīng)網(wǎng)絡(luò)，但各個(gè)突出結(jié)構(gòu)的性質(zhì)與連接??強(qiáng)度也不盡相同，具體表現(xiàn)就是相同的輸入可能對(duì)不同的神經(jīng)元有不同的影響。引入??權(quán)重值的目的就是為了模擬突觸的這種表現(xiàn)，其正負(fù)代表了祌經(jīng)元中突觸的興奮或者??抑制，其大小則表現(xiàn)了突觸間的不同連接強(qiáng)度，匕表示閾值。??考慮到神經(jīng)元信號(hào)的累加性，對(duì)全部的輸入信號(hào)進(jìn)行累加整合，相當(dāng)于生物神經(jīng)??元中膜電位的變化總量，其值可以表示為：??＝?Ｙｌｗ＾Ｘｉ￣ｈｉ－??ｉ??生物神經(jīng)元的激活與否取決于輸入信號(hào)與閾值的比較。當(dāng)其輸入的加權(quán)和超過(guò)閾??值ｂ時(shí)，神經(jīng)元才會(huì)被激活，否則神經(jīng)元不會(huì)被激活。

浙江理工大學(xué)碩士學(xué)位論文?基于Ｔｅｎｓｏｒｆｌｏｗ的神經(jīng)網(wǎng)絡(luò)求解Ｆｒｅｄｈｏｌｍ積分方程??（２．２）中用々來(lái)表示。我們可以使用以下數(shù)學(xué)公式來(lái)描述神經(jīng)元的輸出：??ｍ??Ｚｉ?＝?ｉＶｉｊＸｊ?－?ｂｊ）．??ｉ＝ｉ??２．１．２激活函數(shù)??激活函數(shù)⑷也稱為映射函數(shù)，非線性的激活函數(shù)＾是整個(gè)模型的重要組成部分，??它的主要作用是加入非線性因素，對(duì)計(jì)算結(jié)果進(jìn)行非線性轉(zhuǎn)換，可以有效解決線性模??型的表達(dá)、分類能力不足的問(wèn)題，從而提升神經(jīng)網(wǎng)絡(luò)的表達(dá)能力。常見的激活函數(shù)有??Ｓｉｇｍｏｉｄ，?ｔａｎｈｊ?ＲｅＬＵ?等。??１．?Ｓｉｇｍｏｉｄ激活函數(shù)??在神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)領(lǐng)域經(jīng)常會(huì)用到Ｓｉｇｍｏｉｄ函數(shù)（又稱Ｌｏｇｉｓｔｉｃ函數(shù)），它??在數(shù)據(jù)科學(xué)領(lǐng)域是一個(gè)非常重要的函數(shù)。圖２．３為Ｓｉｇｍｏｉｄ激活函數(shù)，它的表達(dá)式為：??＾ＰＳｉｇｍｏｉｄｉｘ）?＝?（２．１）??１?ｒ一￣￣??０．８?■??０．６?Ｊ??＾＾３．１?■??－１０?－５?５?１０??圖２．３：?ｓｉｇｍｏｉｄ激活函數(shù)結(jié)構(gòu)圖??Ｓｉｇｍｏｉｄ的函數(shù)圖像呈Ｓ形狀，因此也常被稱為＊５函數(shù)，該函數(shù)是將取值為??（—〇〇，＋〇〇）的數(shù)映射至ＩＪ?（０，１）之間。Ｓｉｇｍｏｉｄ常用于處理二分類問(wèn)題。使用Ｓｉｇｍｏｉｄ函??數(shù)作為神經(jīng)元里的激活函數(shù)優(yōu)點(diǎn)在于，Ｓｉｇｍｏｉｄ函數(shù)能將任意的值映射到區(qū)間（０，１）。??當(dāng)公式中的變量是很大的負(fù)數(shù)時(shí)，輸出值接近０；當(dāng)變量是很大的正數(shù)時(shí)，輸出值接??近１。這個(gè)特性在祌經(jīng)元上也能找到很好的解釋：輸出值接近０表示神經(jīng)元沒被激??活，而輸出值接近１表示神經(jīng)元被激活。??２．?ｔａｎｈ激活函數(shù)??７??

【參考文獻(xiàn)】：
期刊論文
[1]二維第一類Fredholm積分方程數(shù)值解的RRGMRES算法[J]. 閔濤,黨香燕.  應(yīng)用數(shù)學(xué)與計(jì)算數(shù)學(xué)學(xué)報(bào). 2018(04)



本文編號(hào)：3254983