基于深度學(xué)習(xí)的MRI超分辨率算法研究
發(fā)布時(shí)間:2021-10-30 05:26
現(xiàn)如今,磁共振成像已然離不開(kāi)高科技成像設(shè)備,分辨率高的磁共振成像對(duì)成像環(huán)境和設(shè)備要求高,花費(fèi)成本大,利用超分辨率技術(shù)對(duì)其進(jìn)行重建能夠降低設(shè)備成本,具有很高的性價(jià)比。而基于深度學(xué)習(xí)的超分辨率算法重建出的圖像細(xì)節(jié)清晰,噪聲及偽影信息少,取得了比其他超分辨率算法顯著的優(yōu)勢(shì)。目前,在使用深度學(xué)習(xí)對(duì)磁共振成像進(jìn)行超分辨率重建時(shí),存在兩方面難題:一方面是如何在圖像分辨率放大的同時(shí)獲得更好的細(xì)節(jié)收益,且不放大噪聲,減弱噪聲對(duì)重建圖像的影響;另一方面是如何使用一個(gè)模型同時(shí)實(shí)現(xiàn)圖像在不同倍率下的重建。因此,本文的主要工作如下:(1)提出了基于深度可分離卷積和寬殘差網(wǎng)絡(luò)的磁共振成像超分辨率重建算法。針對(duì)目前的神經(jīng)網(wǎng)絡(luò)重建出的圖像細(xì)節(jié)及紋理信息模糊的問(wèn)題,作了以下改進(jìn):首先,構(gòu)建了基于深度可分離卷積的寬殘差塊,不僅拓寬了網(wǎng)絡(luò)的寬度,而且增強(qiáng)了特征在網(wǎng)絡(luò)中的傳播;之后,使用了組歸一化的方法對(duì)參數(shù)進(jìn)行歸一化,加快了網(wǎng)絡(luò)的收斂并提升了網(wǎng)絡(luò)的性能。(2)提出了基于寬殘差和多尺度網(wǎng)絡(luò)的磁共振成像超分辨率重建算法。針對(duì)目前的神經(jīng)網(wǎng)絡(luò)只能針對(duì)圖像的固定倍率進(jìn)行重建的問(wèn)題,作了以下改進(jìn):首先,基于多尺寸的卷積核,利用寬殘差...
【文章來(lái)源】:中北大學(xué)山西省
【文章頁(yè)數(shù)】:78 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
線性低秩卷積Figure3-2Linearlowrankconvolution
中北大學(xué)學(xué)位論文384.2基于寬殘差和多尺度網(wǎng)絡(luò)的MRI超分辨率算法MSRN的作者認(rèn)為,目前的超分辨率神經(jīng)網(wǎng)絡(luò)傾向于構(gòu)造更深、更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),而隨著網(wǎng)絡(luò)深度的加深,會(huì)增加計(jì)算資源的消耗,使得訓(xùn)練過(guò)程過(guò)于艱難[66];同時(shí),大多數(shù)超分辨率網(wǎng)絡(luò)存在難以復(fù)現(xiàn),對(duì)特征利用不足且可擴(kuò)展性差的問(wèn)題。李等人提出的多尺寸殘差塊結(jié)構(gòu),不僅增強(qiáng)了對(duì)圖像特征的提取,而且簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)。該結(jié)構(gòu)能夠獲取圖像的局部多尺度特征,并將每個(gè)殘差塊的輸出合并以進(jìn)行全局特征融合,最大程度的利用了圖像的特征信息,同時(shí)解決了特征在傳輸過(guò)程中消失的問(wèn)題。此外,多尺寸殘差塊結(jié)構(gòu)簡(jiǎn)單有效,可遷移性強(qiáng),易于遷移到其他超分辨率網(wǎng)絡(luò)模型中。因此,本章將結(jié)合MSRN中的多尺寸殘差塊和3.2.1中提到的寬殘差結(jié)構(gòu),重新構(gòu)建殘差塊;并基于MSRN網(wǎng)絡(luò)進(jìn)行改進(jìn),運(yùn)用多尺度特征提取和多尺度上采樣結(jié)合的方式達(dá)到單個(gè)模型實(shí)現(xiàn)多尺度超分辨率的目的。4.2.1多尺度殘差的圖像超分辨率網(wǎng)絡(luò)算法MSRN的網(wǎng)絡(luò)結(jié)構(gòu)如圖4-1所示,首先使用3×3的卷積核對(duì)LR圖像執(zhí)行卷積,接著將獲取到的特征圖通過(guò)N個(gè)殘差塊,并將每個(gè)殘差塊輸出的結(jié)果都傳遞到網(wǎng)絡(luò)的最后進(jìn)行合并,之后使用1×1的卷積層作為瓶頸層以融合全局特征,最后網(wǎng)絡(luò)使用亞像素層(PixelShuffle)進(jìn)行上采樣,最終將LR圖像重建為HR圖像。圖4-1MSRN的網(wǎng)絡(luò)結(jié)構(gòu)Figure4-1MSRNnetworkstructure
中北大學(xué)學(xué)位論文39如圖4-2所示,MSRN算法的整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)分為特征提。‵eatureExtraction)和重建(Reconstruction)兩部分。其中,特征提取部分由多尺寸殘差塊(Multi-scaleresidualblock,MSRB)和分層特征融合結(jié)構(gòu)(HierarchicalFeatureFusionStructure,HFFS)組成。圖4-2多尺寸殘差塊Figure4-2Multi-sizeresidualblock如圖4-2所示,MSRB能夠提取不同尺寸的圖像特征,其結(jié)構(gòu)包含兩個(gè)部分:局部殘差學(xué)習(xí)(Localresiduallearning)[67]和多尺度特征融合(Multi-scalefeaturesfusion)[68]。局部殘差學(xué)習(xí)指的是快捷連接和逐元素相加的操作,該操作能夠降低計(jì)算復(fù)雜度并提高網(wǎng)絡(luò)的性能。多尺度特征融合的基本思想是構(gòu)建一個(gè)雙支路網(wǎng)絡(luò),不同的分支使用不同尺寸的卷積核,從而能夠以不同的比例提取圖像的特征,并使得不同支路之間的特征信息可以彼此共享。該操作的定義為:1=(3×311+1)(4-1)1=(5×511+1)(4-2)2=(3×32[1,1]+2)(4-3)2=(5×52[11]+2)(4-4)′=1×13[2,2]+3)(4-5)其中和分別表示權(quán)重和偏差,上標(biāo)表示它們所位于的層數(shù),下標(biāo)表示在該層中使用的卷積核的大校()=max(0,)表示ReLU函數(shù),[1,1],[11],[2,2]表示串聯(lián)操作。表示輸入到MSRB的特征圖的數(shù)量。因此,第一個(gè)卷積層的輸入和輸出具有M個(gè)特征圖,第二個(gè)卷積層具有2M個(gè)特征圖。之后所有這些特征圖都被級(jí)聯(lián)并輸入到1×1卷積層,該層將這些特征圖的數(shù)量減少為M,因此MSRB的輸入和輸出具有相同數(shù)量的特征圖。該獨(dú)特的體系結(jié)構(gòu)能夠?qū)⒍鄠(gè)MSRB一起使用。
【參考文獻(xiàn)】:
期刊論文
[1]多階段融合網(wǎng)絡(luò)的圖像超分辨率重建[J]. 沈明玉,俞鵬飛,汪榮貴,楊娟,薛麗霞. 中國(guó)圖象圖形學(xué)報(bào). 2019(08)
[2]Deep Learning Based Single Image Super-resolution:A Survey[J]. Viet Khanh Ha,Jin-Chang Ren,Xin-Ying Xu,Sophia Zhao,Gang Xie,Valentin Masero,Amir Hussain. International Journal of Automation and Computing. 2019(04)
[3]基于深度可分離卷積和寬殘差網(wǎng)絡(luò)的醫(yī)學(xué)影像超分辨率重建[J]. 高媛,王曉晨,秦品樂(lè),王麗芳. 計(jì)算機(jī)應(yīng)用. 2019(09)
[4]基于深度學(xué)習(xí)的圖像超分辨率重建技術(shù)的研究[J]. 劉永信,段添添. 科技與創(chuàng)新. 2018(23)
[5]基于可分離殘差模塊的精確實(shí)時(shí)語(yǔ)義分割[J]. 路文超,龐彥偉,何宇清,王建. 激光與光電子學(xué)進(jìn)展. 2019(05)
[6]深度學(xué)習(xí)研究綜述[J]. 張榮,李偉平,莫同. 信息與控制. 2018(04)
[7]醫(yī)學(xué)影像中的分子成像技術(shù)[J]. 吳睿,劉存芳,葛紅光,張強(qiáng),宋娟,史娟,田光輝. 影像科學(xué)與光化學(xué). 2018(04)
[8]深度學(xué)習(xí)原理及應(yīng)用綜述[J]. 付文博,孫濤,梁藉,閆寶偉,范福新. 計(jì)算機(jī)科學(xué). 2018(S1)
[9]基于深度學(xué)習(xí)的初級(jí)戰(zhàn)場(chǎng)態(tài)勢(shì)理解研究[J]. 廖鷹,易卓,胡曉峰. 指揮與控制學(xué)報(bào). 2017(01)
[10]基于非下采樣輪廓波變換遙感影像超分辨重建方法[J]. 周靖鴻,周璀,朱建軍,樊東昊. 光學(xué)學(xué)報(bào). 2015(01)
碩士論文
[1]醫(yī)學(xué)圖像的超分辨率重建算法研究[D]. 黃吉慶.貴州大學(xué) 2019
[2]基于深度學(xué)習(xí)的單張低分辨率圖像的超分辨率技術(shù)的研究[D]. 劉一膠.北京郵電大學(xué) 2019
[3]基于深度學(xué)習(xí)的航拍圖像場(chǎng)景解析方法研究[D]. 潘蓉.西安電子科技大學(xué) 2018
[4]監(jiān)所視頻監(jiān)控系統(tǒng)目標(biāo)檢測(cè)及視頻拼接軟件設(shè)計(jì)[D]. 顧夢(mèng)奇.浙江大學(xué) 2018
[5]單幅運(yùn)動(dòng)模糊圖像復(fù)原技術(shù)研究[D]. 胡麗娟.哈爾濱理工大學(xué) 2013
本文編號(hào):3466140
【文章來(lái)源】:中北大學(xué)山西省
【文章頁(yè)數(shù)】:78 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
線性低秩卷積Figure3-2Linearlowrankconvolution
中北大學(xué)學(xué)位論文384.2基于寬殘差和多尺度網(wǎng)絡(luò)的MRI超分辨率算法MSRN的作者認(rèn)為,目前的超分辨率神經(jīng)網(wǎng)絡(luò)傾向于構(gòu)造更深、更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),而隨著網(wǎng)絡(luò)深度的加深,會(huì)增加計(jì)算資源的消耗,使得訓(xùn)練過(guò)程過(guò)于艱難[66];同時(shí),大多數(shù)超分辨率網(wǎng)絡(luò)存在難以復(fù)現(xiàn),對(duì)特征利用不足且可擴(kuò)展性差的問(wèn)題。李等人提出的多尺寸殘差塊結(jié)構(gòu),不僅增強(qiáng)了對(duì)圖像特征的提取,而且簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)。該結(jié)構(gòu)能夠獲取圖像的局部多尺度特征,并將每個(gè)殘差塊的輸出合并以進(jìn)行全局特征融合,最大程度的利用了圖像的特征信息,同時(shí)解決了特征在傳輸過(guò)程中消失的問(wèn)題。此外,多尺寸殘差塊結(jié)構(gòu)簡(jiǎn)單有效,可遷移性強(qiáng),易于遷移到其他超分辨率網(wǎng)絡(luò)模型中。因此,本章將結(jié)合MSRN中的多尺寸殘差塊和3.2.1中提到的寬殘差結(jié)構(gòu),重新構(gòu)建殘差塊;并基于MSRN網(wǎng)絡(luò)進(jìn)行改進(jìn),運(yùn)用多尺度特征提取和多尺度上采樣結(jié)合的方式達(dá)到單個(gè)模型實(shí)現(xiàn)多尺度超分辨率的目的。4.2.1多尺度殘差的圖像超分辨率網(wǎng)絡(luò)算法MSRN的網(wǎng)絡(luò)結(jié)構(gòu)如圖4-1所示,首先使用3×3的卷積核對(duì)LR圖像執(zhí)行卷積,接著將獲取到的特征圖通過(guò)N個(gè)殘差塊,并將每個(gè)殘差塊輸出的結(jié)果都傳遞到網(wǎng)絡(luò)的最后進(jìn)行合并,之后使用1×1的卷積層作為瓶頸層以融合全局特征,最后網(wǎng)絡(luò)使用亞像素層(PixelShuffle)進(jìn)行上采樣,最終將LR圖像重建為HR圖像。圖4-1MSRN的網(wǎng)絡(luò)結(jié)構(gòu)Figure4-1MSRNnetworkstructure
中北大學(xué)學(xué)位論文39如圖4-2所示,MSRN算法的整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)分為特征提。‵eatureExtraction)和重建(Reconstruction)兩部分。其中,特征提取部分由多尺寸殘差塊(Multi-scaleresidualblock,MSRB)和分層特征融合結(jié)構(gòu)(HierarchicalFeatureFusionStructure,HFFS)組成。圖4-2多尺寸殘差塊Figure4-2Multi-sizeresidualblock如圖4-2所示,MSRB能夠提取不同尺寸的圖像特征,其結(jié)構(gòu)包含兩個(gè)部分:局部殘差學(xué)習(xí)(Localresiduallearning)[67]和多尺度特征融合(Multi-scalefeaturesfusion)[68]。局部殘差學(xué)習(xí)指的是快捷連接和逐元素相加的操作,該操作能夠降低計(jì)算復(fù)雜度并提高網(wǎng)絡(luò)的性能。多尺度特征融合的基本思想是構(gòu)建一個(gè)雙支路網(wǎng)絡(luò),不同的分支使用不同尺寸的卷積核,從而能夠以不同的比例提取圖像的特征,并使得不同支路之間的特征信息可以彼此共享。該操作的定義為:1=(3×311+1)(4-1)1=(5×511+1)(4-2)2=(3×32[1,1]+2)(4-3)2=(5×52[11]+2)(4-4)′=1×13[2,2]+3)(4-5)其中和分別表示權(quán)重和偏差,上標(biāo)表示它們所位于的層數(shù),下標(biāo)表示在該層中使用的卷積核的大校()=max(0,)表示ReLU函數(shù),[1,1],[11],[2,2]表示串聯(lián)操作。表示輸入到MSRB的特征圖的數(shù)量。因此,第一個(gè)卷積層的輸入和輸出具有M個(gè)特征圖,第二個(gè)卷積層具有2M個(gè)特征圖。之后所有這些特征圖都被級(jí)聯(lián)并輸入到1×1卷積層,該層將這些特征圖的數(shù)量減少為M,因此MSRB的輸入和輸出具有相同數(shù)量的特征圖。該獨(dú)特的體系結(jié)構(gòu)能夠?qū)⒍鄠(gè)MSRB一起使用。
【參考文獻(xiàn)】:
期刊論文
[1]多階段融合網(wǎng)絡(luò)的圖像超分辨率重建[J]. 沈明玉,俞鵬飛,汪榮貴,楊娟,薛麗霞. 中國(guó)圖象圖形學(xué)報(bào). 2019(08)
[2]Deep Learning Based Single Image Super-resolution:A Survey[J]. Viet Khanh Ha,Jin-Chang Ren,Xin-Ying Xu,Sophia Zhao,Gang Xie,Valentin Masero,Amir Hussain. International Journal of Automation and Computing. 2019(04)
[3]基于深度可分離卷積和寬殘差網(wǎng)絡(luò)的醫(yī)學(xué)影像超分辨率重建[J]. 高媛,王曉晨,秦品樂(lè),王麗芳. 計(jì)算機(jī)應(yīng)用. 2019(09)
[4]基于深度學(xué)習(xí)的圖像超分辨率重建技術(shù)的研究[J]. 劉永信,段添添. 科技與創(chuàng)新. 2018(23)
[5]基于可分離殘差模塊的精確實(shí)時(shí)語(yǔ)義分割[J]. 路文超,龐彥偉,何宇清,王建. 激光與光電子學(xué)進(jìn)展. 2019(05)
[6]深度學(xué)習(xí)研究綜述[J]. 張榮,李偉平,莫同. 信息與控制. 2018(04)
[7]醫(yī)學(xué)影像中的分子成像技術(shù)[J]. 吳睿,劉存芳,葛紅光,張強(qiáng),宋娟,史娟,田光輝. 影像科學(xué)與光化學(xué). 2018(04)
[8]深度學(xué)習(xí)原理及應(yīng)用綜述[J]. 付文博,孫濤,梁藉,閆寶偉,范福新. 計(jì)算機(jī)科學(xué). 2018(S1)
[9]基于深度學(xué)習(xí)的初級(jí)戰(zhàn)場(chǎng)態(tài)勢(shì)理解研究[J]. 廖鷹,易卓,胡曉峰. 指揮與控制學(xué)報(bào). 2017(01)
[10]基于非下采樣輪廓波變換遙感影像超分辨重建方法[J]. 周靖鴻,周璀,朱建軍,樊東昊. 光學(xué)學(xué)報(bào). 2015(01)
碩士論文
[1]醫(yī)學(xué)圖像的超分辨率重建算法研究[D]. 黃吉慶.貴州大學(xué) 2019
[2]基于深度學(xué)習(xí)的單張低分辨率圖像的超分辨率技術(shù)的研究[D]. 劉一膠.北京郵電大學(xué) 2019
[3]基于深度學(xué)習(xí)的航拍圖像場(chǎng)景解析方法研究[D]. 潘蓉.西安電子科技大學(xué) 2018
[4]監(jiān)所視頻監(jiān)控系統(tǒng)目標(biāo)檢測(cè)及視頻拼接軟件設(shè)計(jì)[D]. 顧夢(mèng)奇.浙江大學(xué) 2018
[5]單幅運(yùn)動(dòng)模糊圖像復(fù)原技術(shù)研究[D]. 胡麗娟.哈爾濱理工大學(xué) 2013
本文編號(hào):3466140
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/3466140.html
最近更新
教材專著