內(nèi)窺鏡插管的面臨的場景為人體狹窄腔道,陰暗且缺乏紋理,難以辨識,倘若能借助計(jì)算機(jī)輔助實(shí)現(xiàn)插管過程的智能化,將大大提高插管的效率。由此,本文以內(nèi)窺鏡插管作為智能醫(yī)療的應(yīng)用場景,以氣管插管作為主要切入點(diǎn),結(jié)合深度學(xué)習(xí)技術(shù),對實(shí)現(xiàn)計(jì)算機(jī)輔助醫(yī)生操作的內(nèi)窺鏡插管決策與無人內(nèi)窺鏡智能插管決策進(jìn)行了研究與探索,并自行采集制作了一套與本文研究工作相關(guān)的數(shù)據(jù)集。總的來說,全文主要研究工作如下:針對傳統(tǒng)的基于三維重建的內(nèi)窺鏡輔助方法在實(shí)時(shí)氣管插管決策等場景下使用不便的問題,提出了一種基于深度學(xué)習(xí)的端到端內(nèi)窺鏡輔助決策方法,設(shè)計(jì)了一套離散的內(nèi)窺鏡插管移動方向操作指令集,搭建網(wǎng)絡(luò)將插管輔助決策問題映射為圖像分類問題。分類網(wǎng)絡(luò)有兩個(gè)輸出分支,分別完成插管過程的終點(diǎn)判斷決策與前進(jìn)方向決策。該方法在前進(jìn)方向決策任務(wù)上具有較高的準(zhǔn)確率,為96.51%,在終點(diǎn)判斷決策任務(wù)上準(zhǔn)確率略低,為91.25%。針對端到端方法處理決策流程的“不透明”與較低的可解釋性,本文提出了一種基于目標(biāo)點(diǎn)檢測的內(nèi)窺鏡智能插管決策方法。該方法將整個(gè)內(nèi)窺鏡插管決策過程顯式的分為感知和決策兩部分,先通過目標(biāo)點(diǎn)感知網(wǎng)絡(luò)輸出視頻幀中的目標(biāo)前進(jìn)位置坐標(biāo)點(diǎn)... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：85 頁

【學(xué)位級別】：碩士

【部分圖文】：

一整套的電子纖支鏡設(shè)備示意圖

第二章內(nèi)窺鏡插管輔助決策方法探究圖2-2通過氣管鏡拍攝到的人體會厭下部接近聲門部位影像形，而發(fā)聲時(shí)，聲門閉合呈“I”形。聲門位于喉腔，通過聲門后即為氣管，同時(shí)，由于人體內(nèi)光線陰暗，因此聲門后的氣管在這個(gè)場景下拍攝的圖像中RGB值會偏低，視野呈現(xiàn)近似的黑色，因此，操作人員可從這兩個(gè)方面推斷出內(nèi)窺鏡前進(jìn)的目標(biāo)位置，并通過大腦形成操作指令反饋來操作內(nèi)窺鏡。2.4內(nèi)窺鏡插管輔助決策基本方案簡述由于操作內(nèi)窺鏡的過程中需要通過視覺來獲取信息，因此，采用基于計(jì)算機(jī)視覺的方法不失為一種最佳選擇。現(xiàn)如今，在計(jì)算機(jī)視覺領(lǐng)域，像內(nèi)窺鏡插管這樣對于物體在某一場景下進(jìn)行移動的輔助與導(dǎo)航主要有兩類方法，第一類是基于VisualSLAM即視覺SLAM的方法，第二種是基于深度學(xué)習(xí)的方法。下文將對兩種方法做一個(gè)基本的闡釋，并解釋本文為何采用基于深度學(xué)習(xí)的方法。2.4.1基于視覺SLAM的方法簡述SLAM的全稱為simultaneouslocalizationandmapping，中文譯為即時(shí)定位與地圖建模，同時(shí)，其也被稱為CML（ConcurrentMappingandLocalization），即并發(fā)建圖與定位，是目前機(jī)器人技術(shù)領(lǐng)域所面臨的基本挑戰(zhàn)之一。其目的為在構(gòu)建地圖環(huán)境的時(shí)候同時(shí)確定機(jī)器人在地圖中的位置信息[22]。我們可以這樣對SLAM進(jìn)行一個(gè)詳細(xì)的描述：SLAM是一個(gè)可移動的機(jī)器人建立一個(gè)環(huán)境地圖的過程，同9

ǖ鬧饕?ぷ魘歉?俸陀?射特征點(diǎn)，適用于有紋理或是有較強(qiáng)特征的圖片，ORB-SLAM是其代表[26]。半直接法與直接法的代表系統(tǒng)實(shí)現(xiàn)分別為VINS[27]以及DSO[28]。此外，比較有名的系統(tǒng)實(shí)現(xiàn)還有monoSLAM[29]和PTAM[30]。視覺SLAM系統(tǒng)框架一般由如下五個(gè)模塊組成：傳感器數(shù)據(jù)處理（SensorDataProcess）、視覺里程計(jì)（VisualOdometry）、后端優(yōu)化（BackendOptimization）、回環(huán)（LoopClosure）以及建圖（Mapping）。五個(gè)模塊組成的框架運(yùn)行流程如圖2-3所示:傳感器數(shù)據(jù)處理模塊的主要任務(wù)是讀取和預(yù)處理傳感器捕獲的相機(jī)圖像信息。視圖2-3SLAM框架運(yùn)行流程示意圖覺里程計(jì)又稱為前端，它的主要任務(wù)是通過圖像數(shù)據(jù)輸入來估計(jì)相機(jī)運(yùn)動，并從中恢復(fù)場景的空間結(jié)構(gòu)，每次輸出幀與幀之間的位姿變化。稱它為里程計(jì)是因?yàn)樗挥?jì)算相鄰時(shí)刻的運(yùn)動，和時(shí)間軸上的過去的信息沒有關(guān)聯(lián)。機(jī)器人的運(yùn)動軌跡可以通過串聯(lián)相鄰幀之間機(jī)器人的運(yùn)動信息來得到，而地圖則可以通過計(jì)算各個(gè)像素在每一時(shí)刻對應(yīng)空間點(diǎn)的位置得到。如前文所述，這個(gè)部分的實(shí)現(xiàn)有多種不同的方法，目前基于特征的方法是主流方法，主要分為特征提取（如SIFT、SURF等）、特征匹配（如KNN）、估計(jì)幀間運(yùn)動（如PnP）三個(gè)步驟，除此之外還有直接法與半稠密的方法。處理SLAM過程中的一些噪聲問題是后端優(yōu)化的負(fù)責(zé)完成的主要任務(wù)，前端所提供的數(shù)據(jù)，經(jīng)由后端使用濾波（如卡爾曼濾波[31]）或者是優(yōu)化算法（目前比較主流的是基于全局優(yōu)化的算法）來優(yōu)化整個(gè)的視覺SLAM系統(tǒng)。而回環(huán)檢測這個(gè)模塊，其任務(wù)是辨識機(jī)器人到達(dá)過的區(qū)域，主要是為了解決視覺里程計(jì)中的累積漂移問題。建圖模塊的部分就是輸出相應(yīng)的SLAM所需的地圖，目前主要的地圖輸出類型有兩類，一類是幾何地圖（metricmap），比較重視元素之間的位姿關(guān)

【參考文獻(xiàn)】：
期刊論文
[1]隧洞移動機(jī)器人里程計(jì)激光雷達(dá)融合定位[J]. 謝勇,劉曉日,汪曉波,王斌銳.  科技通報(bào). 2020(01)
[2]上消化道疾病人工智能輔助決策方法研究[J]. 李玲,丁帥,李霄劍,楊善林.  中國管理科學(xué). 2019(11)
[3]基于SLAM模式的自動駕駛感知教學(xué)[J]. 劉彥博,黃宏成,時(shí)良仁,許敬.  當(dāng)代教育實(shí)踐與教學(xué)研究. 2019(21)
[4]基于SLAM的AR電纜頭制作輔助系統(tǒng)研究與設(shè)計(jì)[J]. 馮偉夏,郭建龍,熊山,劉曉,郝騰飛.  自動化與儀器儀表. 2019(09)
[5]一種低成本的機(jī)器人室內(nèi)可通行區(qū)域建模方法[J]. 張釜愷,芮挺,何雷,楊成松.  北京航空航天大學(xué)學(xué)報(bào). 2019(12)
[6]基于增強(qiáng)現(xiàn)實(shí)的鼻內(nèi)窺鏡手術(shù)導(dǎo)航系統(tǒng)[J]. 臧曉軍,翁冬冬,王涌天,劉越.  北京理工大學(xué)學(xué)報(bào). 2010(01)
[7]內(nèi)窺鏡發(fā)展史[J]. 呂平,劉芳,呂坤章,戚昭恩.  中華醫(yī)史雜志. 2002(01)
[8]影像導(dǎo)航系統(tǒng)在鼻內(nèi)窺鏡手術(shù)中的應(yīng)用[J]. 韓德民,周兵,葛文彤,張羅,張永杰.  中華耳鼻咽喉科雜志. 2001(02)

博士論文
[1]醫(yī)療內(nèi)窺鏡視覺導(dǎo)航技術(shù)研究[D]. 張震.上海大學(xué) 2006

碩士論文
[1]基于ORB-SLAM2的醫(yī)學(xué)影像三維重建[D]. 王博聞.中北大學(xué) 2019
[2]智能內(nèi)窺鏡微創(chuàng)手術(shù)器械導(dǎo)航研究與實(shí)現(xiàn)[D]. 馮明亮.西安電子科技大學(xué) 2008



本文編號：3475636