本文關(guān)鍵詞： 雙目內(nèi)窺鏡系統(tǒng) 攝像機(jī)標(biāo)定 手眼標(biāo)定 立體匹配 三維重建　出處：《天津工業(yè)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著科技的進(jìn)步和發(fā)展,基于內(nèi)窺鏡的微創(chuàng)手術(shù)與人們的生活越來越息息相關(guān),被廣泛地應(yīng)用于耳鼻咽喉科治療、心臟瓣膜切換手術(shù),腹腔疾病的檢測等領(lǐng)域。微創(chuàng)手術(shù)相比傳統(tǒng)手術(shù),具有手術(shù)恢復(fù)時間短,減輕術(shù)后疼痛,減小組織的切口創(chuàng)傷的優(yōu)點。先進(jìn)的手術(shù)機(jī)器人平臺可以使微創(chuàng)技術(shù)更安全,更容易成功完成手術(shù),越來越成為科研工作者們研究的熱點,是將圖像處理、模式識別、信息傳輸與處理、自動控制等多學(xué)科知識進(jìn)行融合應(yīng)用于醫(yī)學(xué)影像行業(yè),為醫(yī)生提供更安全可靠的三維數(shù)據(jù),提高手術(shù)的成功率。本文基于雙目視覺的原理,重點研究雙目內(nèi)窺鏡中的三維重建的難題。研究內(nèi)容圍繞攝像機(jī)標(biāo)定、機(jī)械臂和相機(jī)的手眼標(biāo)定、圖像預(yù)處理、特征匹配和三維重建等幾個方面展開。首先,依據(jù)醫(yī)學(xué)內(nèi)窺鏡的性能指標(biāo)以及使用要求搭建了雙目內(nèi)窺鏡系統(tǒng),研究了系統(tǒng)的整體設(shè)計方案,包括硬件模塊的選擇和軟件設(shè)計,其中軟件設(shè)計主要包含兩個模塊,標(biāo)定模塊和三維重建模塊。其次,進(jìn)行相機(jī)的標(biāo)定和機(jī)械臂的手眼標(biāo)定。根據(jù)各個坐標(biāo)系之間的轉(zhuǎn)換關(guān)系以及攝像機(jī)的模型,在進(jìn)行雙目相機(jī)參數(shù)標(biāo)定的時候選用張正友標(biāo)定法,得到相機(jī)的內(nèi)參數(shù)以及外參數(shù)矩陣,同時分析了雙目視覺系統(tǒng)的立體幾何關(guān)系,最后研究了機(jī)械臂和雙目相機(jī)的手眼標(biāo)定。再次,對采集到的目標(biāo)物體的圖像進(jìn)行預(yù)處理和圖像的校正,為立體匹配做準(zhǔn)備。在圖像的特征提取和立體匹配方面,選用了局部特征匹配的方法,并且對其中SURF算法做作了改進(jìn)。通過實驗驗證,改進(jìn)的SURF算法不僅提高了匹配的正確率,而且大大降低了匹配時間,保證了算法的實時性,具有更好的性能。最后,利用第三章標(biāo)定好的相機(jī)的內(nèi)外參數(shù)與第四章得到的正確的匹配點對數(shù)結(jié)合,由三維重建算法解算出目標(biāo)物體的三維點坐標(biāo),再根據(jù)坐標(biāo)轉(zhuǎn)換關(guān)系,將相機(jī)坐標(biāo)系下的三維點坐標(biāo)轉(zhuǎn)換到機(jī)械臂坐標(biāo)系下,通過紋理映射的方式,重建出不同坐標(biāo)系下具有可視性和真實感的模型結(jié)構(gòu)。
[Abstract]:With the progress and development of science and technology, minimally invasive surgery based on endoscope is more and more closely related to people's lives. It has been widely used in the treatment of otorhinolaryngology, heart valve switching surgery. Detection of celiac diseases. Compared with traditional surgery, minimally invasive surgery has the advantages of shorter recovery time, less postoperative pain and less wound wound. Advanced surgical robot platform can make minimally invasive technology safer. It is more and more easy to complete the operation successfully, which has become the research hotspot of researchers. It is the fusion of image processing, pattern recognition, information transmission and processing, automatic control and so on, which is applied to the medical imaging industry. In this paper, based on the principle of binocular vision, we focus on the problem of 3D reconstruction in binocular endoscope. The hand-eye calibration, image preprocessing, feature matching and 3D reconstruction of the manipulator and camera are carried out. Firstly, a binocular endoscope system is built according to the performance index of medical endoscope and the requirement of application. The whole design scheme of the system is studied, including the choice of hardware module and software design. The software design mainly includes two modules, calibration module and 3D reconstruction module. Secondly, According to the conversion relationship between coordinate system and camera model, the calibration method of Zhang Zhengyou is used to calibrate the parameters of binocular camera. The inner and outer parameter matrices of the camera are obtained, and the stereo geometry of the binocular vision system is analyzed. Finally, the hand-eye calibration of the robotic arm and the binocular camera is studied. The image of the object is preprocessed and corrected to prepare for stereo matching. In the aspect of feature extraction and stereo matching, the method of local feature matching is used. The improved SURF algorithm not only improves the accuracy of the matching, but also greatly reduces the matching time, ensures the real-time performance of the algorithm, and has better performance, through the experimental verification, the improved SURF algorithm not only improves the matching accuracy, but also greatly reduces the matching time. By combining the internal and external parameters of the camera calibrated in Chapter 3 with the correct matching point logarithm obtained in Chapter 4th, the 3D reconstruction algorithm is used to solve the 3D coordinates of the target object, and then according to the coordinate transformation relationship, The 3D point coordinates in camera coordinate system are converted to the manipulator coordinate system, and the visual and realistic model structures in different coordinate systems are reconstructed by texture mapping.
【學(xué)位授予單位】：天津工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：R616;TP391.41

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 宋麗梅;高艷艷;朱新軍;郭慶華;習(xí)江濤;;A 3D measurement method based on multi-view fringe projection by using a turntable[J];Optoelectronics Letters;2016年05期

2 朱梁;;人眼的深度視覺原理與立體影像特性[J];北京電影學(xué)院學(xué)報;2016年04期

3 丁吉祥;杜姍姍;;基于針孔模型與相機(jī)空間操作的機(jī)械臂視覺定位方法[J];計算機(jī)工程;2015年12期

4 李宗艷;宋麗梅;習(xí)江濤;郭慶華;朱新軍;陳明磊;;A stereo matching algorithm based on SIFT feature and homography matrix[J];Optoelectronics Letters;2015年05期

5 賀術(shù);顏國正;柯全;王志武;;腸道駐留機(jī)構(gòu)的設(shè)計和實驗[J];光學(xué)精密工程;2015年01期

6 賈云兵;楊進(jìn);孔清泉;幸?guī)V;宋躍明;;術(shù)前影像學(xué)評估在內(nèi)窺鏡下經(jīng)椎間孔入路手術(shù)治療腰椎間盤突出癥中的作用[J];中國脊柱脊髓雜志;2013年09期

7 馮大偉;姜會林;張光偉;;基于雙目立體視覺的醫(yī)用三維電子內(nèi)窺鏡系統(tǒng)[J];長春理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

8 王樹新;王曉菲;張建勛;姜雪明;李建民;;輔助腹腔微創(chuàng)手術(shù)的新型機(jī)器人“妙手A”[J];機(jī)器人技術(shù)與應(yīng)用;2011年04期

9 劉廣利,盧棟;三維視頻腹腔鏡[J];長春理工大學(xué)學(xué)報;2004年01期

相關(guān)博士學(xué)位論文 前3條

1 董峰;面向放療機(jī)器人定位床的視覺系統(tǒng)標(biāo)定與測量方法研究[D];蘇州大學(xué);2014年

2 蔣昊;三維顯示信息重建及評價方法研究[D];吉林大學(xué);2013年

3 于輝;發(fā)動機(jī)故障圖像的三維測量、視覺重建與識別方法研究[D];南京航空航天大學(xué);2002年

相關(guān)碩士學(xué)位論文 前10條

1 楊超;車牌識別系統(tǒng)研究與設(shè)計[D];廣西師范大學(xué);2015年

2 姜虹;雙目醫(yī)學(xué)內(nèi)窺鏡系統(tǒng)的三維顯示及立體匹配算法研究[D];浙江大學(xué);2014年

3 唐佳;高清三維腹腔鏡的光機(jī)系統(tǒng)設(shè)計及標(biāo)定方法研究[D];浙江大學(xué);2014年

4 李贊;三維腹腔鏡成像系統(tǒng)的高速視頻緩存與顯示模塊的研究[D];浙江大學(xué);2014年

5 陽鵬程;基于雙目結(jié)構(gòu)光的三維測量技術(shù)研究[D];浙江大學(xué);2014年

6 鄧樺;機(jī)械臂空間目標(biāo)視覺抓取的研究[D];哈爾濱工業(yè)大學(xué);2013年

7 劉振;基于結(jié)構(gòu)光的雙目立體成像技術(shù)研究[D];中國科學(xué)院研究生院（光電技術(shù)研究所）;2013年

8 馮煥飛;三維重建中的相機(jī)標(biāo)定方法研究[D];重慶交通大學(xué);2013年

9 陳義安;基于FPGA的三維立體腹腔鏡實時顯示系統(tǒng)設(shè)計[D];重慶大學(xué);2013年

10 劉棟鋮;工業(yè)檢測中的線陣CCD相機(jī)系統(tǒng)設(shè)計與研究[D];南京理工大學(xué);2013年

，

本文編號：1528501