基于弱監(jiān)督學(xué)習(xí)的三維腦圖像細(xì)胞分割
發(fā)布時(shí)間:2021-07-29 13:28
處理與分析高分辨率顯微腦圖像可以幫助我們認(rèn)識(shí)大腦細(xì)胞層次的結(jié)構(gòu)特點(diǎn),理解大腦結(jié)構(gòu)與功能之間的聯(lián)系,能夠?yàn)槿斯ぶ悄艿陌l(fā)展帶來指導(dǎo)和啟發(fā),而對(duì)腦圖像進(jìn)行細(xì)胞形態(tài)分割是腦圖像分析的重要輔助手段。圖像分割是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向,可以服務(wù)于更高層次的圖像分析、統(tǒng)計(jì)任務(wù)。當(dāng)前基于深度學(xué)習(xí)的圖像分割算法無論是在自然圖像還是生物醫(yī)學(xué)圖像領(lǐng)域都有優(yōu)異的表現(xiàn),但是大多方法都依賴大量人工標(biāo)注的像素級(jí)標(biāo)簽,人力、時(shí)間成本高。對(duì)于本文研究的腦圖像一類的生物醫(yī)學(xué)圖像數(shù)據(jù)更是如此:很多圖像是三維的,需要借助專門的軟件查看,并且對(duì)這樣的圖像進(jìn)行標(biāo)注可能需要相關(guān)的專業(yè)知識(shí)。所以對(duì)我們來說,用于分割網(wǎng)絡(luò)訓(xùn)練的像素級(jí)標(biāo)注更難獲取。因此,我們提出使用弱監(jiān)督學(xué)習(xí)的方式解決腦圖像的細(xì)胞形態(tài)分割任務(wù),在使用可接受的較低標(biāo)注成本的前提下完成數(shù)據(jù)集標(biāo)注和腦圖像的細(xì)胞形態(tài)分割。以上述任務(wù)為目標(biāo),我們創(chuàng)建了用于三維鼠腦和猴腦圖像細(xì)胞分割的數(shù)據(jù)集,兩個(gè)數(shù)據(jù)集均包括弱標(biāo)注的訓(xùn)練集和精細(xì)標(biāo)注的測(cè)試集,弱標(biāo)注可以以較低的成本獲取;同時(shí),我們提出了三個(gè)基于弱監(jiān)督學(xué)習(xí)的分割算法,這些基于深度學(xué)習(xí)的分割方法均不依賴像素級(jí)的精細(xì)標(biāo)注。本文的主...
【文章來源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:60 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.2圖像分類、語(yǔ)義分割與實(shí)例分割的區(qū)別??
?第1章緒?論???y/Yr?Fully?Convolutional?Networks??image-level?labels?points?bounding?boxes?scribbles?pixel-level?labels??MBMMMj?BBB??5S??ls/class?2.4s/instance?lOs/in?stance?17s/instance?78s/instance???I?|?|?|?1??Annotation?time??圖1.3弱監(jiān)督學(xué)習(xí)的標(biāo)注類型和標(biāo)注時(shí)間成本??將原有粗糙的偽標(biāo)注進(jìn)行優(yōu)化,這樣多次迭代之后可以不斷完善標(biāo)注的同時(shí)提??升分割網(wǎng)絡(luò)模型的性能。Lin等人[14]的工作使用粗糙的簡(jiǎn)單線條標(biāo)注實(shí)現(xiàn)語(yǔ)義??分割任務(wù),在不同類別的像素區(qū)域均有簡(jiǎn)單的線條標(biāo)注,他們將問題分解為兩個(gè)??子任務(wù):利用圖模型擴(kuò)張標(biāo)注像素范圍和利用像素標(biāo)注訓(xùn)練語(yǔ)義分割模型,這兩??個(gè)子任務(wù)互相依賴,通過多次迭代完成語(yǔ)義分割模型的訓(xùn)練。更簡(jiǎn)單地,Laradji??等人[15]利用點(diǎn)標(biāo)注實(shí)現(xiàn)實(shí)例分割,他們使用兩個(gè)并列的網(wǎng)絡(luò)結(jié)構(gòu),分別檢測(cè)??實(shí)例的位置和預(yù)測(cè)每個(gè)像素的嵌入式表達(dá),并且屬于同一個(gè)實(shí)例的嵌入式表達(dá)??之間的距離更近,利用嵌入式表達(dá)對(duì)像素進(jìn)行聚類獲得實(shí)例分割結(jié)果。Ahn等??人[16]的工作只需要圖像類別標(biāo)注即可實(shí)現(xiàn)實(shí)例分割,他們的做法也是先獲得??生成的偽標(biāo)簽,然后把這些偽標(biāo)作為實(shí)例分割網(wǎng)絡(luò)的監(jiān)督信息。該方法先利用分??類網(wǎng)絡(luò)和CAM(Class?Activation?Mapping)?[17]獲得與類別相關(guān)的高置信度區(qū)域??作為該類別的種子區(qū)域,同時(shí)用一個(gè)IRNet預(yù)測(cè)實(shí)例個(gè)體
?第1章緒?論???.t)4?M??堂?64?64?2??input?output??丨,:“?KEr她n??s?6?s?Siii??SSS?|??▼?i.'8?i?a??2se?i^o??M? ̄ ̄ ̄—?M??令.?&6?:S6?^?-jcjg??會(huì)??C〇nv3x3,ReLU??一:?t?“?—〇P???臟一?2x2??2?^?f?i〇-4???S?泛?4?up-conv?2x2??、暇?mm???conv?ixi??圖1.5?U-Net網(wǎng)絡(luò)結(jié)構(gòu)??據(jù)中相鄰二維序列圖之間的相關(guān)性,只對(duì)其中部分二維圖像進(jìn)行精細(xì)標(biāo)注,這些??圖分布在不同方向的截面,使用這樣標(biāo)注的數(shù)據(jù)訓(xùn)練三維卷積神經(jīng)網(wǎng)絡(luò)可以實(shí)??現(xiàn)學(xué)習(xí)目標(biāo)區(qū)域的三維形態(tài)分割。前述工作的任務(wù)都是語(yǔ)義分割,Zhao等人[23]??將自然圖像中實(shí)例分割的網(wǎng)絡(luò)框架Mask?RCNN進(jìn)行改進(jìn)并應(yīng)用到三維生物醫(yī)學(xué)??圖像數(shù)據(jù)上,同樣考慮到降低標(biāo)注成本,他們使用三維矩形框標(biāo)注了所有的目標(biāo)??細(xì)胞作為訓(xùn)練數(shù)據(jù),用于檢測(cè)任務(wù)監(jiān)督,并將少部分目標(biāo)細(xì)胞進(jìn)行像素級(jí)精細(xì)標(biāo)??注用于分割任務(wù)監(jiān)督,實(shí)驗(yàn)結(jié)果表明即使在少量精細(xì)標(biāo)注的前提下也可以學(xué)到??較為理想的實(shí)例分割效果。Qu等人[24]在[25]基于點(diǎn)標(biāo)注的弱監(jiān)督分割算法基??礎(chǔ)上,對(duì)圖像中的少部分細(xì)胞進(jìn)行像素級(jí)的精細(xì)標(biāo)注,然后利用該標(biāo)注對(duì)網(wǎng)絡(luò)作??進(jìn)一步微調(diào)優(yōu)化,可以在較低額外標(biāo)注成本的條件下獲得一定分割性能的提升。??雖然上邊這些方法都在一定程度上減輕了人工標(biāo)注的負(fù)擔(dān),但是它們?nèi)匀换??多或少地依賴精細(xì)的、像素級(jí)別的標(biāo)注,近期有越來越多的工作提出只需要利用??點(diǎn)標(biāo)注的弱監(jiān)督細(xì)胞分割算法[25-28]。其中N
【參考文獻(xiàn)】:
期刊論文
[1]Scalable volumetric imaging for ultrahigh-speed brain mapping at synaptic resolution[J]. Hao Wang,Qingyuan Zhu,Lufeng Ding,Yan Shen,Chao-Yu Yang,Fang Xu,Chang Shu,Yujie Guo,Zhiwei Xiong,Qinghong Shan,Fan Jia,Peng Su,Qian-Ru Yang,Bing Li,Yuxiao Cheng,Xiaobin He,Xi Chen,Feng Wu,Jiang-Ning Zhou,Fuqiang Xu,Hua Han,Pak-Ming Lau,Guo-Qiang Bi. National Science Review. 2019(05)
本文編號(hào):3309412
【文章來源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:60 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.2圖像分類、語(yǔ)義分割與實(shí)例分割的區(qū)別??
?第1章緒?論???y/Yr?Fully?Convolutional?Networks??image-level?labels?points?bounding?boxes?scribbles?pixel-level?labels??MBMMMj?BBB??5S??ls/class?2.4s/instance?lOs/in?stance?17s/instance?78s/instance???I?|?|?|?1??Annotation?time??圖1.3弱監(jiān)督學(xué)習(xí)的標(biāo)注類型和標(biāo)注時(shí)間成本??將原有粗糙的偽標(biāo)注進(jìn)行優(yōu)化,這樣多次迭代之后可以不斷完善標(biāo)注的同時(shí)提??升分割網(wǎng)絡(luò)模型的性能。Lin等人[14]的工作使用粗糙的簡(jiǎn)單線條標(biāo)注實(shí)現(xiàn)語(yǔ)義??分割任務(wù),在不同類別的像素區(qū)域均有簡(jiǎn)單的線條標(biāo)注,他們將問題分解為兩個(gè)??子任務(wù):利用圖模型擴(kuò)張標(biāo)注像素范圍和利用像素標(biāo)注訓(xùn)練語(yǔ)義分割模型,這兩??個(gè)子任務(wù)互相依賴,通過多次迭代完成語(yǔ)義分割模型的訓(xùn)練。更簡(jiǎn)單地,Laradji??等人[15]利用點(diǎn)標(biāo)注實(shí)現(xiàn)實(shí)例分割,他們使用兩個(gè)并列的網(wǎng)絡(luò)結(jié)構(gòu),分別檢測(cè)??實(shí)例的位置和預(yù)測(cè)每個(gè)像素的嵌入式表達(dá),并且屬于同一個(gè)實(shí)例的嵌入式表達(dá)??之間的距離更近,利用嵌入式表達(dá)對(duì)像素進(jìn)行聚類獲得實(shí)例分割結(jié)果。Ahn等??人[16]的工作只需要圖像類別標(biāo)注即可實(shí)現(xiàn)實(shí)例分割,他們的做法也是先獲得??生成的偽標(biāo)簽,然后把這些偽標(biāo)作為實(shí)例分割網(wǎng)絡(luò)的監(jiān)督信息。該方法先利用分??類網(wǎng)絡(luò)和CAM(Class?Activation?Mapping)?[17]獲得與類別相關(guān)的高置信度區(qū)域??作為該類別的種子區(qū)域,同時(shí)用一個(gè)IRNet預(yù)測(cè)實(shí)例個(gè)體
?第1章緒?論???.t)4?M??堂?64?64?2??input?output??丨,:“?KEr她n??s?6?s?Siii??SSS?|??▼?i.'8?i?a??2se?i^o??M? ̄ ̄ ̄—?M??令.?&6?:S6?^?-jcjg??會(huì)??C〇nv3x3,ReLU??一:?t?“?—〇P???臟一?2x2??2?^?f?i〇-4???S?泛?4?up-conv?2x2??、暇?mm???conv?ixi??圖1.5?U-Net網(wǎng)絡(luò)結(jié)構(gòu)??據(jù)中相鄰二維序列圖之間的相關(guān)性,只對(duì)其中部分二維圖像進(jìn)行精細(xì)標(biāo)注,這些??圖分布在不同方向的截面,使用這樣標(biāo)注的數(shù)據(jù)訓(xùn)練三維卷積神經(jīng)網(wǎng)絡(luò)可以實(shí)??現(xiàn)學(xué)習(xí)目標(biāo)區(qū)域的三維形態(tài)分割。前述工作的任務(wù)都是語(yǔ)義分割,Zhao等人[23]??將自然圖像中實(shí)例分割的網(wǎng)絡(luò)框架Mask?RCNN進(jìn)行改進(jìn)并應(yīng)用到三維生物醫(yī)學(xué)??圖像數(shù)據(jù)上,同樣考慮到降低標(biāo)注成本,他們使用三維矩形框標(biāo)注了所有的目標(biāo)??細(xì)胞作為訓(xùn)練數(shù)據(jù),用于檢測(cè)任務(wù)監(jiān)督,并將少部分目標(biāo)細(xì)胞進(jìn)行像素級(jí)精細(xì)標(biāo)??注用于分割任務(wù)監(jiān)督,實(shí)驗(yàn)結(jié)果表明即使在少量精細(xì)標(biāo)注的前提下也可以學(xué)到??較為理想的實(shí)例分割效果。Qu等人[24]在[25]基于點(diǎn)標(biāo)注的弱監(jiān)督分割算法基??礎(chǔ)上,對(duì)圖像中的少部分細(xì)胞進(jìn)行像素級(jí)的精細(xì)標(biāo)注,然后利用該標(biāo)注對(duì)網(wǎng)絡(luò)作??進(jìn)一步微調(diào)優(yōu)化,可以在較低額外標(biāo)注成本的條件下獲得一定分割性能的提升。??雖然上邊這些方法都在一定程度上減輕了人工標(biāo)注的負(fù)擔(dān),但是它們?nèi)匀换??多或少地依賴精細(xì)的、像素級(jí)別的標(biāo)注,近期有越來越多的工作提出只需要利用??點(diǎn)標(biāo)注的弱監(jiān)督細(xì)胞分割算法[25-28]。其中N
【參考文獻(xiàn)】:
期刊論文
[1]Scalable volumetric imaging for ultrahigh-speed brain mapping at synaptic resolution[J]. Hao Wang,Qingyuan Zhu,Lufeng Ding,Yan Shen,Chao-Yu Yang,Fang Xu,Chang Shu,Yujie Guo,Zhiwei Xiong,Qinghong Shan,Fan Jia,Peng Su,Qian-Ru Yang,Bing Li,Yuxiao Cheng,Xiaobin He,Xi Chen,Feng Wu,Jiang-Ning Zhou,Fuqiang Xu,Hua Han,Pak-Ming Lau,Guo-Qiang Bi. National Science Review. 2019(05)
本文編號(hào):3309412
本文鏈接:http://sikaile.net/shoufeilunwen/mpalunwen/3309412.html
最近更新
教材專著