深度學(xué)習(xí)是人工智能領(lǐng)域的基礎(chǔ),近幾年,在圖像處理中深度學(xué)習(xí)的應(yīng)用廣泛,基于圖像的任務(wù)有很多,比如圖像識(shí)別、目標(biāo)檢測(cè)、目標(biāo)分割等……,本文主要研究醫(yī)學(xué)影像分割。本文中我們的研究對(duì)象為核磁共振醫(yī)學(xué)影像(MRI)和正電子發(fā)射型計(jì)算機(jī)斷層掃描影像(PET),分別為低場(chǎng)強(qiáng)的腹部MRI影像和腦部MRI和PET多模態(tài)醫(yī)學(xué)影像。其中腹部MRI影像中的分割目標(biāo)是胃部區(qū)域,屬于人體自身器官,由于本文中腹部MRI影像主要輔助放療過程中放療儀聚焦,所以采用低場(chǎng)強(qiáng)MRI,使得影像質(zhì)量較差,對(duì)比度低,胃部邊緣模糊,不利于胃部分割,為得到良好的分割結(jié)果,本文提出了基于遷移自編碼網(wǎng)絡(luò)約束的全卷積神經(jīng)網(wǎng)絡(luò)分割方法。腦部影像的分割目標(biāo)是癲癇病灶區(qū)域,屬于腦組織病變區(qū)域。腦部影像主要包含MRI影像和PET影像,針對(duì)腦部MRI/PET多模態(tài)影像,本文提出了多模態(tài)特征融合的全卷積神經(jīng)網(wǎng)絡(luò)(Ynet),該網(wǎng)絡(luò)能夠同時(shí)利用MRI和PET影像對(duì)癲癇病灶進(jìn)行學(xué)習(xí),并結(jié)合了前景背景互補(bǔ)的分割思想。綜上,本文具體研究了以下三方面。(1)提出了一種基于胃部標(biāo)簽的自編碼網(wǎng)絡(luò)約束的全卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)方法。采用全卷積神經(jīng)網(wǎng)絡(luò)U-net作為基本網(wǎng)絡(luò),并構(gòu)造一個(gè)自編碼網(wǎng)絡(luò)用于學(xué)習(xí)胃部區(qū)域標(biāo)簽的結(jié)構(gòu)信息,將訓(xùn)練好的自編碼網(wǎng)絡(luò)分別作用于腹部MRI影像的標(biāo)簽圖和U-net網(wǎng)絡(luò)對(duì)腹部MRI影像的分割結(jié)果圖,分別生成兩個(gè)重構(gòu)圖img1、img2,利用img1和img2構(gòu)造一個(gè)Dice損失來(lái)引導(dǎo)U-net基本網(wǎng)絡(luò)的優(yōu)化方向。U-net網(wǎng)絡(luò)結(jié)構(gòu)是完全對(duì)稱的,網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單描述如下:四次下采樣層,下采樣層之間包含卷積核數(shù)目不同的卷積層,四次上采樣層,上采樣層之間同樣包含卷積核數(shù)目不同的卷積層,下采樣結(jié)構(gòu)層又稱作編碼層,上采樣結(jié)構(gòu)層又稱解碼層,在編碼層和解碼層之間有跳躍連接層,跳躍連接層用來(lái)將淺層卷積特征和深層卷積特征融合,聯(lián)合了高層語(yǔ)義和底層的細(xì)粒度表層信息,能夠很好的符合分割對(duì)高層語(yǔ)義信息和底層細(xì)粒度表層信息的依賴。用U-net網(wǎng)絡(luò)首先在高質(zhì)量的腹部MRI影像上學(xué)習(xí)胃部區(qū)域的紋理信息,并且使用低質(zhì)量影像的標(biāo)簽訓(xùn)練自編碼網(wǎng)絡(luò),以學(xué)習(xí)胃部區(qū)域的輪廓、形狀信息,再將學(xué)習(xí)好的網(wǎng)絡(luò)在低質(zhì)量的腹部影像上進(jìn)行fine-tuning。(2)提出了一種基于多模態(tài)特征融合的前背景互補(bǔ)癲癇病灶分割方法。該多模態(tài)網(wǎng)絡(luò)的兩個(gè)支網(wǎng)絡(luò)分別用于學(xué)習(xí)MRI影像特征和PET影像特征,支網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)采用U-net的編碼解碼結(jié)構(gòu)。多模態(tài)網(wǎng)絡(luò)的深層結(jié)構(gòu)用于將支網(wǎng)絡(luò)提取的MRI影像特征和PET影像特征進(jìn)行特征融合,融合的方法我們采用了特征層疊加、特征層加權(quán)求和,實(shí)驗(yàn)表明特征疊加的方法更適用于癲癇病的多模態(tài)影像特征的融合和分割。另外,我們采用以上模型著重學(xué)習(xí)非癲癇病灶的背景區(qū)域,采用基于背景學(xué)習(xí)的模型和基于癲癇病灶的學(xué)習(xí)模型在決策級(jí)進(jìn)行分割結(jié)果融合,實(shí)驗(yàn)表明結(jié)合基于背景的分割方法能夠?qū)H基于前景分割的方法進(jìn)行一個(gè)補(bǔ)充和改善。(3)對(duì)于醫(yī)學(xué)影像數(shù)量少,不足以使網(wǎng)絡(luò)充分學(xué)習(xí)影像數(shù)據(jù)分布規(guī)律的問題,前兩個(gè)工作中我們采用了簡(jiǎn)單的圖像處理方法進(jìn)行圖像擴(kuò)充,這樣擴(kuò)充的數(shù)據(jù)與原始數(shù)據(jù)相似性較高。為了進(jìn)一步充分利用有限的影像數(shù)據(jù),我們提出了基于CycleGAN進(jìn)行影像模態(tài)轉(zhuǎn)換的癲癇病灶分割方法。首先利用CycleGAN訓(xùn)練學(xué)習(xí)MRI和PET影像之間的映射關(guān)系,從而能夠?qū)崿F(xiàn)兩種模態(tài)之間的相互轉(zhuǎn)換獲取更多的樣本。實(shí)驗(yàn)表明從MRI到PET的轉(zhuǎn)換更具有真實(shí)性,使用生成的PET影像能夠改善分割結(jié)果。
【學(xué)位單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：R445.2;TP391.41
【部分圖文】：

sigmoid函數(shù)及導(dǎo)函數(shù)曲線圖

tanh函數(shù)曲線圖

relu函數(shù)曲線圖
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 侯旭京;;多模態(tài)隱喻淺析土味情話——基于綜藝節(jié)目《非常完美》男女嘉賓對(duì)話[J];海外英語(yǔ);2019年22期

2 王芳;;網(wǎng)絡(luò)多模態(tài)環(huán)境下大學(xué)生外語(yǔ)學(xué)習(xí)焦慮及干預(yù)策略[J];海外英語(yǔ);2019年21期

3 王璐璐;張朝霞;;多模態(tài)教學(xué)模式在大學(xué)英語(yǔ)詞匯教學(xué)中的應(yīng)用[J];信陽(yáng)農(nóng)林學(xué)院學(xué)報(bào);2019年04期

4 葉永青;;互動(dòng)構(gòu)建的時(shí)空延展和情感變遷——電子哀悼多模態(tài)語(yǔ)類特征[J];天津外國(guó)語(yǔ)大學(xué)學(xué)報(bào);2020年01期

5 董芮君;史琪;;西安城市形象廣告語(yǔ)篇的多模態(tài)意義構(gòu)建[J];北極光;2019年12期

6 范振強(qiáng);郭雅欣;;多模態(tài)隱喻的前沿理論研究：?jiǎn)栴}與展望[J];阜陽(yáng)師范學(xué)院學(xué)報(bào)(社會(huì)科學(xué)版);2019年06期

7 王榮斌;薛耀琴;;4～5歲漢語(yǔ)兒童否定行為的多模態(tài)表征特點(diǎn)[J];學(xué)前教育研究;2020年01期

8 黃立鶴;張德祿;;多核并行架構(gòu):多模態(tài)研究的范式、路徑及領(lǐng)域問題之辨[J];外語(yǔ)教學(xué);2019年01期

9 趙雨菲;;近五年我國(guó)多模態(tài)翻譯研究綜述[J];農(nóng)家參謀;2019年04期

10 閆雪鋒;;多模態(tài)話語(yǔ)視域下“翻轉(zhuǎn)課堂”教學(xué)模式的改革與探索——以西安職業(yè)技術(shù)學(xué)院公共基礎(chǔ)課為例[J];才智;2019年10期

相關(guān)博士學(xué)位論文 前10條

1 王普明;基于特征張量的大數(shù)據(jù)多模態(tài)分析研究[D];華中科技大學(xué);2019年

2 盧洪陽(yáng);清醒小動(dòng)物多模態(tài)腦光學(xué)成像技術(shù)及應(yīng)用[D];上海交通大學(xué);2016年

3 趙維;基于多模態(tài)影像數(shù)據(jù)的腦網(wǎng)絡(luò)研究[D];湖南師范大學(xué);2019年

4 曹俊亮;水下滑翔機(jī)多模態(tài)運(yùn)動(dòng)控制與路徑規(guī)劃研究[D];上海交通大學(xué);2016年

5 胡敏;多模態(tài)靶向納米探針在微小肝癌的診斷及光熱治療的實(shí)驗(yàn)研究[D];南方醫(yī)科大學(xué);2018年

6 劉曌雯;多模態(tài)生物數(shù)據(jù)分析與挖掘研究[D];西安電子科技大學(xué);2018年

7 張靈均;多模態(tài)數(shù)據(jù)分類的模糊粗糙方法研究[D];天津大學(xué);2017年

8 張淑美;基于數(shù)據(jù)驅(qū)動(dòng)的復(fù)雜多模態(tài)過程模態(tài)識(shí)別及過程監(jiān)測(cè)研究[D];東北大學(xué);2016年

9 屈雯;基于多模態(tài)內(nèi)容分析的多視角視頻推薦技術(shù)研究[D];東北大學(xué);2015年

10 馬騰;基于mVEP和MI多模態(tài)腦機(jī)接口的關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2018年

相關(guān)碩士學(xué)位論文 前10條

1 雅茹罕;多模態(tài)教學(xué)應(yīng)用于國(guó)際漢語(yǔ)興趣課的行動(dòng)研究[D];北京外國(guó)語(yǔ)大學(xué);2019年

2 李瑤;小樣本的多模態(tài)遙感影像融合分類方法[D];上海海洋大學(xué);2019年

3 何寶華;多模態(tài)演講語(yǔ)篇評(píng)價(jià)意義的建構(gòu)[D];廣東外語(yǔ)外貿(mào)大學(xué);2019年

4 邵阿芳;基于多模態(tài)話語(yǔ)分析的商業(yè)廣告英漢翻譯研究[D];廣東外語(yǔ)外貿(mào)大學(xué);2019年

5 王達(dá);多模態(tài)過程集合型故障診斷方法研究[D];沈陽(yáng)理工大學(xué);2019年

6 馬文康;基于聚多巴胺構(gòu)建的多模態(tài)納米診療探針的合成及應(yīng)用[D];南京郵電大學(xué);2019年

7 楊帆;引入多模態(tài)隱喻理念的文化創(chuàng)意產(chǎn)品設(shè)計(jì)[D];浙江理工大學(xué);2019年

8 杜立寰;基于多模態(tài)深度學(xué)習(xí)的疲勞駕駛檢測(cè)[D];上海交通大學(xué);2018年

9 張?jiān)?基于多模態(tài)磁共振腦影像特征的精神分裂癥自動(dòng)分類及個(gè)體化預(yù)測(cè)研究[D];華南理工大學(xué);2019年

10 李珍珍;阿爾茲海默癥多模態(tài)輔助診斷模型研究[D];河南大學(xué);2019年

本文編號(hào)：2857599