發(fā)布時間：2021-06-27 19:12

　　殘差神經(jīng)網(wǎng)絡(luò)（residual neural network,ResNet）及其優(yōu)化是深度學(xué)習(xí)研究的熱點之一,在醫(yī)學(xué)圖像領(lǐng)域應(yīng)用廣泛,在腫瘤、心腦血管和神經(jīng)系統(tǒng)疾病等重大疾病的臨床診斷、分期、轉(zhuǎn)移、治療決策和靶區(qū)勾畫方面取得良好效果。本文對殘差神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)優(yōu)化進行了總結(jié):闡述了殘差神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法優(yōu)化,從激活函數(shù)、損失函數(shù)、參數(shù)優(yōu)化算法、學(xué)習(xí)衰減率、歸一化和正則化技術(shù)等6方面進行總結(jié),其中激活函數(shù)的改進方法主要有Sigmoid、tanh、ReLU、PReLU（parameteric ReLU）、隨機化ReLU（randomized leaky ReLU, RReLU）、ELU （exponential linear units）、Softplus函數(shù)、NoisySoftplus函數(shù)以及Maxout共9種;損失函數(shù)主要有交叉熵?fù)p失、均方損失、歐氏距離損失、對比損失、合頁損失、Softmax-Loss、L-Softmax Loss、A-Softmax Loss、L2 Softmax Loss、Cosine Loss、Center Loss和焦點損失共12種;學(xué)習(xí)率衰減總結(jié)了8種,即分段常... 

【文章來源】：中國圖象圖形學(xué)報. 2020,25(10)北大核心CSCD

【文章頁數(shù)】：14 頁

【部分圖文】：

殘差神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法改進

反時限衰減

圖4 分段常數(shù)、指數(shù)、自然指數(shù)衰減對比圖

【參考文獻】：
期刊論文
[1]基于深層卷積殘差網(wǎng)絡(luò)集成的黑色素瘤分類方法[J]. 胡海根,孔祥勇,周乾偉,管秋,陳勝勇.  計算機科學(xué). 2019(05)
[2]基于殘差網(wǎng)絡(luò)的糖網(wǎng)病自動篩查[J]. 鄒北驥,張子謙,朱承璋,陳昌龍,劉佳,歐陽平波.  計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2019(04)
[3]基于多尺度特征結(jié)構(gòu)的U-Net肺結(jié)節(jié)檢測算法[J]. 朱輝,秦品樂.  計算機工程. 2019(04)
[4]基于雙激活層深度卷積特征的人臉美麗預(yù)測研究[J]. 甘俊英,翟懿奎,黃聿,曾軍英,姜開永.  電子學(xué)報. 2019(03)
[5]跨模態(tài)醫(yī)學(xué)圖像預(yù)測綜述[J]. 周沛,陳后金,于澤寬,彭亞輝,李艷鳳,楊帆.  電子學(xué)報. 2019(01)
[6]基于深度學(xué)習(xí)的癌癥計算機輔助分類診斷研究進展[J]. 肖煥輝,袁程朗,馮仕庭,羅宴吉,黃炳升.  國際醫(yī)學(xué)放射學(xué)雜志. 2019(01)
[7]基于多尺度殘差神經(jīng)網(wǎng)絡(luò)的阿爾茨海默病診斷分類[J]. 劉振丙,方旭升,楊輝華,藍如師.  山東大學(xué)學(xué)報(工學(xué)版). 2018(06)
[8]基于改進深度殘差網(wǎng)絡(luò)的低功耗表情識別[J]. 杜進,陳云華,張靈,麥應(yīng)潮.  計算機科學(xué). 2018(09)
[9]基于PSO-ConvK卷積神經(jīng)網(wǎng)絡(luò)的肺部腫瘤圖像識別[J]. 梁蒙蒙,周濤,夏勇,張飛飛,楊健.  山東大學(xué)學(xué)報(工學(xué)版). 2018(05)
[10]基于密集網(wǎng)絡(luò)改進的肺結(jié)節(jié)良惡性分類模型[J]. 戴垚均,閆士舉,宋成利.  中國醫(yī)學(xué)影像技術(shù). 2018(07)



本文編號：3253440