基于多尺度特征融合卷積神經(jīng)網(wǎng)絡(luò)的宮頸癌細(xì)胞檢測與識別
【圖文】:
(a) tanh 激活函數(shù) (b) Sigmoid 激活函數(shù) (c) ReLU 激活函數(shù)圖 2-6 各激活函數(shù)圖像示意圖Figure.2-6 Schematic diagram of each activation function imageReLU 函數(shù)保留了 step 函數(shù)的生物學(xué)啟發(fā)(只有輸入超出閾值時神經(jīng)元才激活),不過當(dāng)輸入為正的時候?qū)?shù)不為零,從而允許基于梯度的學(xué)習(xí)(盡管在x=0 的時候,導(dǎo)數(shù)是未定義的)。相比 Sigmoid 激活函數(shù)和 tanh 激活函數(shù),使用ReLU 激活函數(shù)能使計(jì)算變得很快,因?yàn)闊o論是函數(shù)還是其導(dǎo)數(shù)都不包含復(fù)雜的數(shù)學(xué)運(yùn)算。2.2.3 卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法1. 批標(biāo)準(zhǔn)化批標(biāo)準(zhǔn)化(Batch Normalization,BN)是一種解決深度神經(jīng)網(wǎng)絡(luò)沒辦法有效前向傳遞的方法。為了更有效地學(xué)習(xí)數(shù)據(jù),對數(shù)據(jù)進(jìn)行特征標(biāo)準(zhǔn)化預(yù)處理。BN 把每層輸出的值都看成后面一層所接收的數(shù)據(jù),對每層都進(jìn)行一次批標(biāo)準(zhǔn)化。沒有標(biāo)準(zhǔn)化的數(shù)據(jù)使用 tanh 激活以后,激活值大部分都分布到了飽和階段,也就是大部分的激活值不是-1 就是 1,而批標(biāo)準(zhǔn)化后,大部分的激活值在每個
( ),ii iy x BN xγ β← γ + β≡ 示一個 batch 中的第 i 個數(shù)據(jù),βμ 表示 batch 中的均值,,2βσ , ix 表示經(jīng)過標(biāo)準(zhǔn)化后的數(shù)據(jù),iy 表示反標(biāo)準(zhǔn)化后的輸出展參數(shù)和平移參數(shù)。Dropout神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時可能會出現(xiàn)過擬合問題,即網(wǎng)絡(luò)對于訓(xùn)練,但對于測試集效果卻很差。為了應(yīng)對過擬合問題,Hintonropout 的概念。其核心就是在深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中,將神定的概率做暫時性的剔除。如圖 2-7 所示,該網(wǎng)絡(luò)具有 n 個pout 之后可看做是2n個網(wǎng)絡(luò)模型的集合,但此時需要訓(xùn)練的變化。
【學(xué)位授予單位】:哈爾濱理工大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:R737.33;TP391.41;TP183
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測法[J];金融經(jīng)濟(jì);2017年18期
2 陳曉燕;;淺析簡單神經(jīng)網(wǎng)絡(luò)的發(fā)展及簡單模型[J];數(shù)字技術(shù)與應(yīng)用;2019年05期
3 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會述評[J];國際學(xué)術(shù)動態(tài);1996年01期
4 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識別[J];通訊世界;2018年12期
5 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期
6 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期
7 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期
8 鮑偉強(qiáng);陳娟;熊濤;;基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測研究[J];電工技術(shù);2019年11期
9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計(jì)研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期
10 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期
相關(guān)會議論文 前10條
1 孫軍田;張U
本文編號:2639793
本文鏈接:http://sikaile.net/yixuelunwen/fuchankeerkelunwen/2639793.html