基于視頻顯著性仿真假體視覺動(dòng)作識(shí)別研究
發(fā)布時(shí)間:2021-11-01 19:43
在醫(yī)學(xué)上,造成不可逆轉(zhuǎn)性失明的視網(wǎng)膜變性疾病諸如視網(wǎng)膜色素變性(Retinitis Pigmentosa,RP)和老年性黃斑變性(Age-related Macular Degeneration,AMD)仍不可治愈。視覺假體的出現(xiàn)讓患者有了重見光明的希望。隨著科技的發(fā)展,目前世界上已經(jīng)有很多研究小組可以針對視覺通路中的不同區(qū)域進(jìn)行視覺假體植入,并且在臨床應(yīng)用上取得了卓越的成果。但目前視覺假體所產(chǎn)生的分辨率仍遠(yuǎn)遠(yuǎn)低于自然視覺的分辨率,因此找尋視覺假體下最優(yōu)的圖像處理策略是本研究的重點(diǎn)。本文設(shè)計(jì)了兩個(gè)仿真假體視覺下的識(shí)別實(shí)驗(yàn):實(shí)驗(yàn)一,使用三種圖像處理策略,包括兩種傳統(tǒng)的邊緣提取算法和一種基于感知檢測的視頻顯著性區(qū)域檢測算法(Saliency-Aware Geodesic,SAG)分別對UCF-101數(shù)據(jù)庫中30個(gè)動(dòng)作視頻進(jìn)行處理,并匹配不同仿真光幻視模板,得到三種不同分辨率(48×48,64×64,128×128)的動(dòng)態(tài)視頻。記錄并統(tǒng)計(jì)不同分辨率和不同圖像處理策略下,被試識(shí)別動(dòng)作所用的時(shí)間和識(shí)別準(zhǔn)確率。結(jié)果表明,在三種圖像處理策略中,相較于其他兩種傳統(tǒng)的邊緣提取算法,SAG明顯提升了識(shí)別準(zhǔn)...
【文章來源】:內(nèi)蒙古科技大學(xué)內(nèi)蒙古自治區(qū)
【文章頁數(shù)】:58 頁
【學(xué)位級別】:碩士
【部分圖文】:
視覺通路[2]
內(nèi)蒙古科技大學(xué)碩士學(xué)位論文2同的患者之間,視皮層視覺假體植入手術(shù)并不能被輕易地重現(xiàn),這是因?yàn)橄噍^于視網(wǎng)膜和視神經(jīng),視皮層的復(fù)雜度要更高[13]。圖1.1視覺通路[2]以已商用的視網(wǎng)膜假體ArgusII為例,如圖1.2所示,視覺假體通常由三部分構(gòu)成:可以捕捉外部圖像的攝像頭,能將圖像信號轉(zhuǎn)化為電磁信號的微處理器和可以接受電磁信號并向指定區(qū)域發(fā)送電刺激的電極板[18]。其中植入人體內(nèi)的電極板上的電極數(shù)目最為重要,電極數(shù)目越多,患者視野內(nèi)的圖像越清晰,分辨率越高,反之,患者視野內(nèi)的圖像越模糊,分辨率越低。直到目前為止,ArgusII視網(wǎng)膜上視覺假體所植入的電極數(shù)目已經(jīng)從ArgusI視網(wǎng)膜上視覺假體的16個(gè)增長為60個(gè)。并且Alpha-IMS視網(wǎng)膜下視覺假體上可植入的電極數(shù)目也已經(jīng)到達(dá)1500個(gè)[19]。圖1.2ArgusII視覺假體[2]
內(nèi)蒙古科技大學(xué)碩士學(xué)位論文14在獲取基本框架之后,再使用貪婪算法確定新的框架:""""{argmax(min(,",)min(,",))}kkkkkkkgeogeooobBoUOOdoodob(式2.2)其中kO是第一次通過等式(1)被選出連接區(qū)域。k是從視頻幀k12F={F,F,…}構(gòu)建的無向加權(quán)圖,"kB是背景區(qū)域,"kU是前景區(qū)域。框架區(qū)域的提取是一個(gè)基于kO不斷迭代的過程。先最大化背景到之前選擇的框架區(qū)域,直到被選出的kO區(qū)域達(dá)到"kU的10%。連接這些區(qū)域得到精準(zhǔn)的顯著區(qū)域。在此過程中讓被提取的框架區(qū)域盡可能遠(yuǎn)離"kB,其次讓被提取的框架區(qū)域盡可能貼近"kU,如圖2.1所示。圖2.1框架抽象過程[71](a)原始幀kF(b)顯著圖(c)原始幀kF分為背景圖"kB和前景圖"kU(d)圖中紅色區(qū)域?yàn)榈谝粋(gè)選中區(qū)域(e)黃色區(qū)域?yàn)楹髞淼倪x中區(qū)域(f)迭代運(yùn)算得到kO(g)藍(lán)色區(qū)域是被選中區(qū)域間最短的測地距離(h)精準(zhǔn)的框架區(qū)域圖2.2.2多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)算法(Multi-taskConvolutionalNeuralNetworks,MTCNN)MTCNN算法是一種基于深度學(xué)習(xí)的人臉檢測和人臉對齊算法。它可以同時(shí)完成人臉檢測和人臉分割任務(wù)。MTCNN框架采用了一個(gè)級聯(lián)結(jié)構(gòu),包含有三個(gè)精心設(shè)計(jì)的深度卷積神經(jīng)網(wǎng)絡(luò),可以使用粗到細(xì)的篩選方式,逐步預(yù)測人臉和人臉關(guān)鍵點(diǎn)位置。級聯(lián)結(jié)構(gòu)由三個(gè)子網(wǎng)絡(luò)組成:檢測網(wǎng)(P-Net),優(yōu)化網(wǎng)(R-Net),輸出網(wǎng)(O-Net)。P-Net框出視頻中出現(xiàn)的所有候選人臉框。R-Net對這些候選人臉框?qū)Ρ,?yōu)化,挑選出最為精準(zhǔn)的人臉框。O-Net輸出最終的人臉框和面部關(guān)鍵點(diǎn)位置。另外,值得注意的是,為了得到更準(zhǔn)確的人臉結(jié)果,在發(fā)送到級聯(lián)神經(jīng)網(wǎng)絡(luò)之前,圖像會(huì)被重新縮放,形成圖像金
【參考文獻(xiàn)】:
期刊論文
[1]光遺傳學(xué)在視網(wǎng)膜色素變性治療中的研究進(jìn)展[J]. 張軼,黃熙,張軍軍. 中華眼底病雜志. 2018 (06)
[2]仿真假體視覺下眼手協(xié)調(diào)任務(wù)研究[J]. 蔣廣琪,趙瑛,耿秀琳,李琦,谷宇. 中國康復(fù)醫(yī)學(xué)雜志. 2018(10)
[3]高級視覺中樞損傷的診斷及治療探索[J]. 劉婧雯,王佳偉. 國際眼科縱覽. 2018 (04)
[4]基于時(shí)空信息融合的視頻顯著性區(qū)域檢測算法[J]. 畢曉君,陳晗. 哈爾濱工程大學(xué)學(xué)報(bào). 2018(11)
[5]視覺假體的研究進(jìn)展[J]. 閆妍,柴新禹,陳垚,周傳清,任秋實(shí),李麗明. 生理學(xué)報(bào). 2016(05)
[6]硬腦膜外視皮層電刺激的實(shí)驗(yàn)研究[J]. 王星,姚軍平,章毅,劉娜,鄭小林,陰正勤,侯文生. 中華眼視光學(xué)與視覺科學(xué)雜志. 2011 (06)
[7]兔眼脈絡(luò)膜上腔多通道微電極陣列植入后視網(wǎng)膜電刺激閾值的研究[J]. 劉廣峰,于偉泓,鄭霖,楊志坤,董方田,王任鑫,王瑋,李志宏. 眼科研究. 2010(05)
[8]用于視覺修復(fù)的柔性神經(jīng)微電極陣列的電學(xué)性能表征[J]. 吳義伯,徐愛蘭,惠春,任秋實(shí),李剛. 儀器儀表學(xué)報(bào). 2008(12)
博士論文
[1]視覺假體中人工視覺最小信息需求及其優(yōu)化研究[D]. 陸燕玉.上海交通大學(xué) 2012
[2]硬腦膜外電刺激皮層神經(jīng)假體的能量信號傳輸關(guān)鍵技術(shù)與實(shí)驗(yàn)研究[D]. 王星.重慶大學(xué) 2010
碩士論文
[1]擴(kuò)展視網(wǎng)膜假體工作環(huán)境的紅外圖像增強(qiáng)策略研究[D]. 梁俊玲.鄭州大學(xué) 2019
[2]仿真假體視覺下基于人臉檢測的人臉識(shí)別研究[D]. 吳小貝.上海交通大學(xué) 2012
[3]仿真假體視覺下基于觸覺感知的光幻視尺寸特性研究[D]. 陳盼盼.上海交通大學(xué) 2009
[4]視神經(jīng)視覺假體微電極植入的應(yīng)用解剖學(xué)研究[D]. 吳云霞.福建醫(yī)科大學(xué) 2008
本文編號:3470688
【文章來源】:內(nèi)蒙古科技大學(xué)內(nèi)蒙古自治區(qū)
【文章頁數(shù)】:58 頁
【學(xué)位級別】:碩士
【部分圖文】:
視覺通路[2]
內(nèi)蒙古科技大學(xué)碩士學(xué)位論文2同的患者之間,視皮層視覺假體植入手術(shù)并不能被輕易地重現(xiàn),這是因?yàn)橄噍^于視網(wǎng)膜和視神經(jīng),視皮層的復(fù)雜度要更高[13]。圖1.1視覺通路[2]以已商用的視網(wǎng)膜假體ArgusII為例,如圖1.2所示,視覺假體通常由三部分構(gòu)成:可以捕捉外部圖像的攝像頭,能將圖像信號轉(zhuǎn)化為電磁信號的微處理器和可以接受電磁信號并向指定區(qū)域發(fā)送電刺激的電極板[18]。其中植入人體內(nèi)的電極板上的電極數(shù)目最為重要,電極數(shù)目越多,患者視野內(nèi)的圖像越清晰,分辨率越高,反之,患者視野內(nèi)的圖像越模糊,分辨率越低。直到目前為止,ArgusII視網(wǎng)膜上視覺假體所植入的電極數(shù)目已經(jīng)從ArgusI視網(wǎng)膜上視覺假體的16個(gè)增長為60個(gè)。并且Alpha-IMS視網(wǎng)膜下視覺假體上可植入的電極數(shù)目也已經(jīng)到達(dá)1500個(gè)[19]。圖1.2ArgusII視覺假體[2]
內(nèi)蒙古科技大學(xué)碩士學(xué)位論文14在獲取基本框架之后,再使用貪婪算法確定新的框架:""""{argmax(min(,",)min(,",))}kkkkkkkgeogeooobBoUOOdoodob(式2.2)其中kO是第一次通過等式(1)被選出連接區(qū)域。k是從視頻幀k12F={F,F,…}構(gòu)建的無向加權(quán)圖,"kB是背景區(qū)域,"kU是前景區(qū)域。框架區(qū)域的提取是一個(gè)基于kO不斷迭代的過程。先最大化背景到之前選擇的框架區(qū)域,直到被選出的kO區(qū)域達(dá)到"kU的10%。連接這些區(qū)域得到精準(zhǔn)的顯著區(qū)域。在此過程中讓被提取的框架區(qū)域盡可能遠(yuǎn)離"kB,其次讓被提取的框架區(qū)域盡可能貼近"kU,如圖2.1所示。圖2.1框架抽象過程[71](a)原始幀kF(b)顯著圖(c)原始幀kF分為背景圖"kB和前景圖"kU(d)圖中紅色區(qū)域?yàn)榈谝粋(gè)選中區(qū)域(e)黃色區(qū)域?yàn)楹髞淼倪x中區(qū)域(f)迭代運(yùn)算得到kO(g)藍(lán)色區(qū)域是被選中區(qū)域間最短的測地距離(h)精準(zhǔn)的框架區(qū)域圖2.2.2多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)算法(Multi-taskConvolutionalNeuralNetworks,MTCNN)MTCNN算法是一種基于深度學(xué)習(xí)的人臉檢測和人臉對齊算法。它可以同時(shí)完成人臉檢測和人臉分割任務(wù)。MTCNN框架采用了一個(gè)級聯(lián)結(jié)構(gòu),包含有三個(gè)精心設(shè)計(jì)的深度卷積神經(jīng)網(wǎng)絡(luò),可以使用粗到細(xì)的篩選方式,逐步預(yù)測人臉和人臉關(guān)鍵點(diǎn)位置。級聯(lián)結(jié)構(gòu)由三個(gè)子網(wǎng)絡(luò)組成:檢測網(wǎng)(P-Net),優(yōu)化網(wǎng)(R-Net),輸出網(wǎng)(O-Net)。P-Net框出視頻中出現(xiàn)的所有候選人臉框。R-Net對這些候選人臉框?qū)Ρ,?yōu)化,挑選出最為精準(zhǔn)的人臉框。O-Net輸出最終的人臉框和面部關(guān)鍵點(diǎn)位置。另外,值得注意的是,為了得到更準(zhǔn)確的人臉結(jié)果,在發(fā)送到級聯(lián)神經(jīng)網(wǎng)絡(luò)之前,圖像會(huì)被重新縮放,形成圖像金
【參考文獻(xiàn)】:
期刊論文
[1]光遺傳學(xué)在視網(wǎng)膜色素變性治療中的研究進(jìn)展[J]. 張軼,黃熙,張軍軍. 中華眼底病雜志. 2018 (06)
[2]仿真假體視覺下眼手協(xié)調(diào)任務(wù)研究[J]. 蔣廣琪,趙瑛,耿秀琳,李琦,谷宇. 中國康復(fù)醫(yī)學(xué)雜志. 2018(10)
[3]高級視覺中樞損傷的診斷及治療探索[J]. 劉婧雯,王佳偉. 國際眼科縱覽. 2018 (04)
[4]基于時(shí)空信息融合的視頻顯著性區(qū)域檢測算法[J]. 畢曉君,陳晗. 哈爾濱工程大學(xué)學(xué)報(bào). 2018(11)
[5]視覺假體的研究進(jìn)展[J]. 閆妍,柴新禹,陳垚,周傳清,任秋實(shí),李麗明. 生理學(xué)報(bào). 2016(05)
[6]硬腦膜外視皮層電刺激的實(shí)驗(yàn)研究[J]. 王星,姚軍平,章毅,劉娜,鄭小林,陰正勤,侯文生. 中華眼視光學(xué)與視覺科學(xué)雜志. 2011 (06)
[7]兔眼脈絡(luò)膜上腔多通道微電極陣列植入后視網(wǎng)膜電刺激閾值的研究[J]. 劉廣峰,于偉泓,鄭霖,楊志坤,董方田,王任鑫,王瑋,李志宏. 眼科研究. 2010(05)
[8]用于視覺修復(fù)的柔性神經(jīng)微電極陣列的電學(xué)性能表征[J]. 吳義伯,徐愛蘭,惠春,任秋實(shí),李剛. 儀器儀表學(xué)報(bào). 2008(12)
博士論文
[1]視覺假體中人工視覺最小信息需求及其優(yōu)化研究[D]. 陸燕玉.上海交通大學(xué) 2012
[2]硬腦膜外電刺激皮層神經(jīng)假體的能量信號傳輸關(guān)鍵技術(shù)與實(shí)驗(yàn)研究[D]. 王星.重慶大學(xué) 2010
碩士論文
[1]擴(kuò)展視網(wǎng)膜假體工作環(huán)境的紅外圖像增強(qiáng)策略研究[D]. 梁俊玲.鄭州大學(xué) 2019
[2]仿真假體視覺下基于人臉檢測的人臉識(shí)別研究[D]. 吳小貝.上海交通大學(xué) 2012
[3]仿真假體視覺下基于觸覺感知的光幻視尺寸特性研究[D]. 陳盼盼.上海交通大學(xué) 2009
[4]視神經(jīng)視覺假體微電極植入的應(yīng)用解剖學(xué)研究[D]. 吳云霞.福建醫(yī)科大學(xué) 2008
本文編號:3470688
本文鏈接:http://sikaile.net/yixuelunwen/swyx/3470688.html
最近更新
教材專著