殘差神經(jīng)網(wǎng)絡(luò)（residual neural network,ResNet）及其優(yōu)化是深度學(xué)習(xí)研究的熱點(diǎn)之一,在醫(yī)學(xué)圖像領(lǐng)域應(yīng)用廣泛,在腫瘤、心腦血管和神經(jīng)系統(tǒng)疾病等重大疾病的臨床診斷、分期、轉(zhuǎn)移、治療決策和靶區(qū)勾畫(huà)方面取得良好效果。本文對(duì)殘差神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)優(yōu)化進(jìn)行了總結(jié):闡述了殘差神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法優(yōu)化,從激活函數(shù)、損失函數(shù)、參數(shù)優(yōu)化算法、學(xué)習(xí)衰減率、歸一化和正則化技術(shù)等6方面進(jìn)行總結(jié),其中激活函數(shù)的改進(jìn)方法主要有Sigmoid、tanh、ReLU、PReLU（parameteric ReLU）、隨機(jī)化ReLU（randomized leaky ReLU, RReLU）、ELU （exponential linear units）、Softplus函數(shù)、NoisySoftplus函數(shù)以及Maxout共9種;損失函數(shù)主要有交叉熵?fù)p失、均方損失、歐氏距離損失、對(duì)比損失、合頁(yè)損失、Softmax-Loss、L-Softmax Loss、A-Softmax Loss、L2 Softmax Loss、Cosine Loss、Center Loss和焦點(diǎn)損失共12種;學(xué)習(xí)率衰減總結(jié)了8種,即分段常... 

【文章來(lái)源】：中國(guó)圖象圖形學(xué)報(bào). 2020,25(10)北大核心CSCD

【文章頁(yè)數(shù)】：14 頁(yè)

【部分圖文】：

殘差神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)

反時(shí)限衰減

圖4 分段常數(shù)、指數(shù)、自然指數(shù)衰減對(duì)比圖

【參考文獻(xiàn)】：
期刊論文
[1]基于深層卷積殘差網(wǎng)絡(luò)集成的黑色素瘤分類方法[J]. 胡海根,孔祥勇,周乾偉,管秋,陳勝勇.  計(jì)算機(jī)科學(xué). 2019(05)
[2]基于殘差網(wǎng)絡(luò)的糖網(wǎng)病自動(dòng)篩查[J]. 鄒北驥,張子謙,朱承璋,陳昌龍,劉佳,歐陽(yáng)平波.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2019(04)
[3]基于多尺度特征結(jié)構(gòu)的U-Net肺結(jié)節(jié)檢測(cè)算法[J]. 朱輝,秦品樂(lè).  計(jì)算機(jī)工程. 2019(04)
[4]基于雙激活層深度卷積特征的人臉美麗預(yù)測(cè)研究[J]. 甘俊英,翟懿奎,黃聿,曾軍英,姜開(kāi)永.  電子學(xué)報(bào). 2019(03)
[5]跨模態(tài)醫(yī)學(xué)圖像預(yù)測(cè)綜述[J]. 周沛,陳后金,于澤寬,彭亞輝,李艷鳳,楊帆.  電子學(xué)報(bào). 2019(01)
[6]基于深度學(xué)習(xí)的癌癥計(jì)算機(jī)輔助分類診斷研究進(jìn)展[J]. 肖煥輝,袁程朗,馮仕庭,羅宴吉,黃炳升.  國(guó)際醫(yī)學(xué)放射學(xué)雜志. 2019(01)
[7]基于多尺度殘差神經(jīng)網(wǎng)絡(luò)的阿爾茨海默病診斷分類[J]. 劉振丙,方旭升,楊輝華,藍(lán)如師.  山東大學(xué)學(xué)報(bào)(工學(xué)版). 2018(06)
[8]基于改進(jìn)深度殘差網(wǎng)絡(luò)的低功耗表情識(shí)別[J]. 杜進(jìn),陳云華,張靈,麥應(yīng)潮.  計(jì)算機(jī)科學(xué). 2018(09)
[9]基于PSO-ConvK卷積神經(jīng)網(wǎng)絡(luò)的肺部腫瘤圖像識(shí)別[J]. 梁蒙蒙,周濤,夏勇,張飛飛,楊健.  山東大學(xué)學(xué)報(bào)(工學(xué)版). 2018(05)
[10]基于密集網(wǎng)絡(luò)改進(jìn)的肺結(jié)節(jié)良惡性分類模型[J]. 戴垚均,閆士舉,宋成利.  中國(guó)醫(yī)學(xué)影像技術(shù). 2018(07)



本文編號(hào)：3253440