神經(jīng)網(wǎng)絡(luò)是人工智能方向的重要分支,擅長處理各種各樣的數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)的算法和模型多種多樣,其中極端學(xué)習(xí)機(jī)是一個典型的淺層神經(jīng)網(wǎng)絡(luò),擅長處理小型的分類和回歸任務(wù);卷積神經(jīng)網(wǎng)絡(luò)是一種典型的深層神經(jīng)網(wǎng)絡(luò),擅長提取圖像的特征,可以完成圖像的分類和識別等任務(wù)。目前這些神經(jīng)網(wǎng)絡(luò)在諸多領(lǐng)域都取得了很大的成功。但是大多數(shù)神經(jīng)網(wǎng)絡(luò)都是不完美的,使用時都有一些缺陷。因此本文提出了兩個改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法,并將兩個改進(jìn)后的網(wǎng)絡(luò)進(jìn)行結(jié)合,結(jié)合后的網(wǎng)絡(luò)應(yīng)用在圖像分類數(shù)據(jù)集上表現(xiàn)出很好的性能。本文的具體研究成果和實(shí)際意義描述如下:（1）殘差神經(jīng)網(wǎng)絡(luò)是目前廣泛應(yīng)用的一種卷積神經(jīng)網(wǎng)絡(luò)模型,它在基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)中增加了很多技巧進(jìn)而能有更好的泛化性能。但是該網(wǎng)絡(luò)還有很多可以改進(jìn)的地方,本文針對殘差神經(jīng)網(wǎng)絡(luò)進(jìn)一步改善信息和梯度的傳遞,提出了全卷積多并聯(lián)殘差神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Multi-parallel Residual Neural Network,FCM-Resnet）,并將其應(yīng)用在三個經(jīng)典圖像分類數(shù)據(jù)集上,通過與InceptionV3、Densenet121和Resnet等網(wǎng)絡(luò)對比,該網(wǎng)絡(luò)有... 

【文章來源】：燕山大學(xué)河北省

【文章頁數(shù)】：90 頁

【學(xué)位級別】：碩士

【部分圖文】：

關(guān)系圖

第2章神經(jīng)網(wǎng)絡(luò)相關(guān)知識-9-第2章神經(jīng)網(wǎng)絡(luò)相關(guān)知識神經(jīng)網(wǎng)絡(luò)按照結(jié)構(gòu)的不同可以分為：單隱層網(wǎng)絡(luò)(一個輸入層，一個隱層，一個輸出層)；多隱層網(wǎng)絡(luò)(包含多個隱含層)；遞歸網(wǎng)絡(luò)(至少有一個反饋環(huán))。單隱層前饋網(wǎng)絡(luò)的結(jié)構(gòu)簡單，算法相對多隱層網(wǎng)絡(luò)的算法來說也相對簡單一些，本章先介紹人工神經(jīng)網(wǎng)絡(luò)模型和最經(jīng)典的反向傳播算法，然后以徑向基神經(jīng)網(wǎng)絡(luò)為例介紹單隱層神經(jīng)網(wǎng)絡(luò)，以CNN為例介紹多隱層網(wǎng)絡(luò)。2.1人工神經(jīng)網(wǎng)絡(luò)經(jīng)科學(xué)家的研究得出，人之所以很聰明，充滿智慧，主要是因?yàn)槿说拇竽X里約有上千億個神經(jīng)元，這些神經(jīng)元通過復(fù)雜的連接形成一個巨大的生物神經(jīng)網(wǎng)絡(luò)。研究生物神經(jīng)網(wǎng)絡(luò)是揭秘人類大腦至關(guān)重要的一點(diǎn)。圖2-1單個神經(jīng)元結(jié)構(gòu)ANN是受生物系統(tǒng)啟發(fā)構(gòu)建的一個比較有規(guī)律的網(wǎng)：這個網(wǎng)可以有一層或者很多層，每層中包含很多節(jié)點(diǎn)，不同層的節(jié)點(diǎn)通過權(quán)值連接，每層內(nèi)部的神經(jīng)元之間沒有連接，連接權(quán)值代表兩個節(jié)點(diǎn)間的相關(guān)性，如果關(guān)系密切，那這兩個節(jié)點(diǎn)間的連接權(quán)值就較大，反之則較校最基本的ANN模型的計(jì)算過程是每層的輸入與權(quán)值相乘，再與閾值相加，最后經(jīng)過激活函數(shù)運(yùn)算得到的結(jié)果作為該層的輸出，網(wǎng)絡(luò)一般有一個入口(輸入)和一個出口(輸出)，輸入的數(shù)據(jù)經(jīng)過每層的計(jì)算得到最后的輸出，這種端到端的網(wǎng)絡(luò)結(jié)構(gòu)效率更高，速度更快。神經(jīng)元可以是線性的，也可以是非線性的，經(jīng)過實(shí)驗(yàn)驗(yàn)證和大量的經(jīng)驗(yàn)證明，非線性神經(jīng)元能更好的擬合復(fù)雜數(shù)據(jù)關(guān)系。從數(shù)學(xué)的角度考慮，ANN可以看做是一種計(jì)算規(guī)

第2章神經(jīng)網(wǎng)絡(luò)相關(guān)知識-11-示學(xué)習(xí)率；di表示理想輸出；jx表示神經(jīng)元j的狀態(tài)，若處于激活狀態(tài)，該值為1，否則為0或-1(根據(jù)激活函數(shù)的不同來選擇)�，F(xiàn)假設(shè)jx為1，若id比iy大，那么ijW將增大，若id比iy小，那么ijW將減校2.2反向傳播算法圖2-2BP神經(jīng)網(wǎng)絡(luò)有監(jiān)督的多層前饋網(wǎng)絡(luò)的訓(xùn)練一般分為兩個過程：第一個過程是根據(jù)設(shè)置好的參數(shù)值，計(jì)算每一層的輸出，輸入層提供數(shù)據(jù)給第一個隱含層，第一個隱含層的輸出作為下一層的輸入，這樣一直到最后的輸出層。第二個過程是結(jié)合實(shí)際輸出與理想輸出之間存在的誤差更新每一層的權(quán)值和偏置。重復(fù)執(zhí)行這兩個過程就可以實(shí)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練。這第二個過程就是反向傳播算法(BackPropagationAlgorithm，BP)，簡稱BP算法。BP算法與上邊介紹的Delta學(xué)習(xí)規(guī)則類似，都是根據(jù)誤差調(diào)整權(quán)值和偏置，都屬于有監(jiān)督的學(xué)習(xí)方法。通常將普通的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與BP算法結(jié)合后稱為BP神經(jīng)網(wǎng)絡(luò)。以兩個隱層的BP神經(jīng)網(wǎng)絡(luò)為例，結(jié)構(gòu)如圖2-2所示。圖中ix為輸入數(shù)據(jù)，y為網(wǎng)絡(luò)的輸出，ij為連接權(quán)值，ie為每個節(jié)點(diǎn)的輸入，f()是神經(jīng)元的激活函數(shù)，i是每個節(jié)點(diǎn)的誤差，z是網(wǎng)絡(luò)的理想輸出。整個過程可以描述為：輸入的數(shù)據(jù)從輸入層開始前向傳播至輸出層，利用網(wǎng)絡(luò)輸出與理想輸出得到誤差，根據(jù)誤差從后往前調(diào)整每一層的權(quán)值和偏置。這個過程一般是循環(huán)調(diào)整的，停止訓(xùn)練的條件一般為兩種：達(dá)到設(shè)置的迭代次數(shù)；滿足誤差要求。圖2-2所示網(wǎng)絡(luò)的具體訓(xùn)練步驟如下：1)網(wǎng)絡(luò)的參數(shù)設(shè)置：根據(jù)數(shù)據(jù)量的大小確定網(wǎng)絡(luò)需要的層數(shù)及每層的神經(jīng)

【參考文獻(xiàn)】：
期刊論文
[1]基于機(jī)器學(xué)習(xí)的醫(yī)學(xué)影像分析在藥物研發(fā)和精準(zhǔn)醫(yī)療方面的應(yīng)用[J]. 謝志勇,周翔.  中國生物工程雜志. 2019(02)
[2]人工智能在惡性腫瘤診治中的應(yīng)用[J]. 袁紫旭,徐挺洋,姚建華,蔡建,王磊.  中華實(shí)驗(yàn)外科雜志. 2019 (02)
[3]基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的接觸電阻預(yù)測[J]. 孫海峰,沈穎,王亞楠.  電測與儀表. 2019(05)
[4]基于深層神經(jīng)網(wǎng)絡(luò)（DNN）的漢語方言種屬語音識別[J]. 景亞鵬,鄭駿,胡文心.  華東師范大學(xué)學(xué)報(自然科學(xué)版). 2014(01)
[5]基于改進(jìn)極限學(xué)習(xí)機(jī)的短期電力負(fù)荷預(yù)測方法[J]. 毛力,王運(yùn)濤,劉興陽,李朝鋒.  電力系統(tǒng)保護(hù)與控制. 2012(20)
[6]基于BP神經(jīng)網(wǎng)絡(luò)的信息安全風(fēng)險評估[J]. 趙冬梅,劉海峰,劉晨光.  計(jì)算機(jī)工程與應(yīng)用. 2007(01)
[7]基于BP神經(jīng)網(wǎng)絡(luò)的森林植被遙感分類研究[J]. 劉旭升,張曉麗.  林業(yè)資源管理. 2005(01)
[8]基于圖形處理器（GPU）的通用計(jì)算[J]. 吳恩華,柳有權(quán).  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報. 2004(05)
[9]人工智能模糊控制在大型立式淬火爐溫度控制系統(tǒng)中的應(yīng)用[J]. 賀建軍,王春歸,喻壽益.  冶金自動化. 2004(01)
[10]廣義BP算法及網(wǎng)絡(luò)容錯性和泛化能力的研究[J]. 董聰,劉西拉.  控制與決策. 1998(02)

碩士論文
[1]極限學(xué)習(xí)機(jī)的研究與應(yīng)用[D]. 甘露.西安電子科技大學(xué) 2014
[2]基于深度學(xué)習(xí)的語音識別研究[D]. 梁靜.北京郵電大學(xué) 2014



本文編號：3578552