發(fā)布時(shí)間：2020-07-19 05:12

【摘要】：隨著人類對(duì)眼睛和注視運(yùn)動(dòng)的深入研究,借助日益先進(jìn)的計(jì)算機(jī)技術(shù)和人工智能技術(shù),視線跟蹤技術(shù)得以穩(wěn)步發(fā)展,且已經(jīng)被成功運(yùn)用到諸多領(lǐng)域。然而視線跟蹤技術(shù)仍存在許多問(wèn)題:苛刻的交互方式導(dǎo)致用戶體驗(yàn)差,跟蹤的實(shí)時(shí)性、魯棒性和精度仍不能滿足實(shí)際應(yīng)用場(chǎng)景。本文調(diào)研和分析了現(xiàn)有視線跟蹤系統(tǒng)存在的挑戰(zhàn)因素,選用瞳孔角膜反射法和基于3D眼球模型的方法實(shí)現(xiàn)桌面式視線跟蹤系統(tǒng)。為了提高系統(tǒng)的性能,本文研究并實(shí)現(xiàn)了瞳孔定位算法、光斑檢測(cè)算法和瞳孔檢測(cè)算法。瞳孔定位算法將傳統(tǒng)算法和深度學(xué)習(xí)結(jié)合,利用瞳孔區(qū)域的灰度特性做圖像的初步處理,并記錄候選區(qū)域,通過(guò)分類器識(shí)別瞳孔區(qū)域;光斑檢測(cè)算法利用圖像處理算法做瞳孔區(qū)域的閾值分割,并結(jié)合光源發(fā)射器的位置特性求解光斑中心;瞳孔檢測(cè)算法先采用Inpainting算法排除光斑等因素的干擾,然后利用形態(tài)學(xué)算子和橢圓擬合等技術(shù)求解瞳孔中心。采用基于目標(biāo)檢測(cè)的方法進(jìn)行瞳孔定位和基于暗瞳的方法進(jìn)行瞳孔檢測(cè),能夠?qū)崿F(xiàn)高精度、高魯棒性的實(shí)時(shí)視線跟蹤。本文建立了實(shí)驗(yàn)數(shù)據(jù)集,收集了18個(gè)測(cè)試人員的圖像數(shù)據(jù),光照變化、頭部姿勢(shì)、運(yùn)動(dòng)模糊等實(shí)際情況,通過(guò)標(biāo)注每幀圖像的瞳孔中心和光斑中心驗(yàn)證了注視特征檢測(cè)過(guò)程中三個(gè)算法的性能。結(jié)果表明,瞳孔定位算法的精度為97.89%(分類器的精度為99.94%),光斑檢測(cè)算法的精度為98.7%,瞳孔檢測(cè)算法的精度為98.94%。本文實(shí)現(xiàn)了實(shí)時(shí)的視線跟蹤系統(tǒng),并給出了系統(tǒng)的硬件架構(gòu)和軟件架構(gòu)。系統(tǒng)的硬件主要完成數(shù)據(jù)采集工作,由紅外光源發(fā)射器、CMOS圖像傳感器、FPGA數(shù)據(jù)處理板和USB3.0傳輸板組成。另外,基于QT框架和Opencv算法庫(kù)實(shí)現(xiàn)了軟件模塊(包含算法模塊),完成界面交互和算法處理,實(shí)現(xiàn)跨平臺(tái)開(kāi)發(fā),具有可移植性。本系統(tǒng)由四個(gè)連續(xù)的過(guò)程組成:1)硬件設(shè)備采集圖像數(shù)據(jù)。傳感器捕獲暗瞳圖像后,利用FPGA做數(shù)據(jù)處理,通過(guò)USB3.0傳輸給軟件模塊。2)注視特征檢測(cè)過(guò)程對(duì)圖像數(shù)據(jù)進(jìn)行處理,求解瞳孔中心和光斑中心。3)視線估計(jì)求解光軸向量。用Matlab軟件內(nèi)置的標(biāo)定算法進(jìn)行相機(jī)標(biāo)定,求解相機(jī)的內(nèi)外參數(shù)。采用單相機(jī)雙光源的系統(tǒng)原理求解光軸向量的兩個(gè)參數(shù):角膜曲率中心C和瞳孔中心P。4)偏差校準(zhǔn)求解注視點(diǎn)坐標(biāo)。光軸向量和視軸向量存在一定的偏差角,本文研究了基于四點(diǎn)標(biāo)定算法的注視點(diǎn)均值法和精度誤差法,準(zhǔn)確的求解注視點(diǎn)坐標(biāo)。通過(guò)真實(shí)的測(cè)試環(huán)境評(píng)估了系統(tǒng)的整體性能。系統(tǒng)的幀率為54fps,精度為0.67~o,并且抗干擾能力強(qiáng),魯棒性好,可在實(shí)際的應(yīng)用場(chǎng)景中發(fā)揮作用。
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP212
【圖文】：

極之間的電勢(shì)差保持不變。反之可以通過(guò)電勢(shì)變化判定眼球運(yùn)動(dòng)狀況。該方法具有高度侵入性，用戶體驗(yàn)極差，且誤差較大。圖1.1 眼電圖法示意圖接觸鏡法[3][4]：如圖 1.2 所示，使用高頻電磁場(chǎng)，要求觀察者在鞏膜表面佩戴連接到設(shè)備的“隱形眼鏡”來(lái)判定眼球的運(yùn)動(dòng)狀況，盡管其精度高，但高侵入性和未解決的安全問(wèn)題使得該方法未被廣泛應(yīng)用。圖1.2 接觸鏡法示意圖普爾欽像法[5]：由于眼球和空氣中的介質(zhì)不同，光線照射在角膜表面會(huì)發(fā)生反射現(xiàn)象和折射現(xiàn)象。同理，由于眼球內(nèi)部存在眾多組織，每個(gè)組織的內(nèi)部和外部介質(zhì)各異，均會(huì)發(fā)生反射現(xiàn)象和折射現(xiàn)象。如圖 1.3 所示，給出了普爾欽像的原理圖，通常情況下，分別記錄四個(gè)普爾欽像：角膜外表面和角膜內(nèi)?

接到設(shè)備的“隱形眼鏡”來(lái)判定眼球的運(yùn)動(dòng)狀況，盡管其精度高，但高侵入性和未解決的安全問(wèn)題使得該方法未被廣泛應(yīng)用。圖1.2 接觸鏡法示意圖普爾欽像法[5]：由于眼球和空氣中的介質(zhì)不同，光線照射在角膜表面會(huì)發(fā)生反射現(xiàn)象和折射現(xiàn)象。同理，由于眼球內(nèi)部存在眾多組織，每個(gè)組織的內(nèi)部和外部介質(zhì)各異，均會(huì)發(fā)生反射現(xiàn)象和折射現(xiàn)象。如圖 1.3 所示，給出了普爾欽像的原理圖，通常情況下，分別記錄四個(gè)普爾欽像：角膜外表面和角膜內(nèi)表面反射所成像、晶狀體外表面和內(nèi)表面反射所成像。根據(jù)角膜外表面（第一普爾欽像）和晶狀體內(nèi)表面（第四普

3爾欽像）反射所成像的位移矢量來(lái)進(jìn)行眼動(dòng)分析，求解觀察者的注視點(diǎn)。圖1.3 普爾欽像法示意圖瞳孔角膜反射法[6]：如圖 1.4 所示，給出了該方法的原理示意圖。利用反射原理，在特定設(shè)備上使用紅外光源發(fā)射器，當(dāng)有紅外光線射入人眼時(shí)，人眼的角膜表面會(huì)形成反射光斑。因特定設(shè)備位置固定，人眼未發(fā)生相對(duì)運(yùn)動(dòng)時(shí)，紅外光線反射到角膜表面的光斑位置相對(duì)不變。反之反射光斑的位置會(huì)隨著人眼的運(yùn)動(dòng)產(chǎn)生偏移，從而判定眼球的運(yùn)動(dòng)狀況。目前視線跟蹤系統(tǒng)主要是基于瞳孔角膜反射法來(lái)實(shí)現(xiàn)的，其使用一個(gè)或多個(gè)紅外光源發(fā)射器確定注視點(diǎn)。紅外光源發(fā)射器個(gè)數(shù)的增加使得參量隨之增多，有利于注視點(diǎn)的求解。但較多的紅外光源發(fā)射器會(huì)增大硬件設(shè)備的復(fù)雜性。最初的瞳孔反射法要求特定設(shè)備與觀察者頭部的相對(duì)位置不變，條件過(guò)于苛刻，不利用實(shí)際應(yīng)用�；� 3D 的視線跟蹤技術(shù)突破了頭部位置不能變化的局限

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 戴艷玲;尤文澤;;美國(guó)提出建立全國(guó)犯罪團(tuán)伙跟蹤系統(tǒng)[J];犯罪與改造研究;1991年04期

2 呂丹;姚一波;白榮麗;;一種新型雙軸跟蹤系統(tǒng)的研究及應(yīng)用[J];太陽(yáng)能;2017年04期

3 彭鵬;;探視跟蹤系統(tǒng)在新生兒重癥監(jiān)護(hù)病房的應(yīng)用[J];繼續(xù)醫(yī)學(xué)教育;2011年09期

4 歐陽(yáng)咸泰;時(shí)域和頻域設(shè)計(jì)模型跟蹤系統(tǒng)的等價(jià)性[J];武漢化工學(xué)院學(xué)報(bào);1998年02期

5 鄭耀林;;重力儀平臺(tái)中間跟蹤系統(tǒng)的設(shè)計(jì)[J];華僑大學(xué)學(xué)報(bào)(自然科學(xué)版);1987年03期

6 葉家福,許仲仁;紅外調(diào)頻跟蹤系統(tǒng)的調(diào)制與掃描[J];艦船科學(xué)技術(shù);1988年04期

7 彭永華,吳俊杰;采用自適應(yīng)濾波技術(shù)的機(jī)載雷達(dá)跟蹤系統(tǒng)[J];航空學(xué)報(bào);1988年04期

8 王磊,孔祥利,陽(yáng)含和;人炮跟蹤系統(tǒng)動(dòng)態(tài)特性分析及補(bǔ)償[J];信息與控制;1988年02期

9 郜憲林,張勇傳;前饋加反饋補(bǔ)償?shù)姆稚Ⅳ敯舾櫹到y(tǒng)研究[J];華中理工大學(xué)學(xué)報(bào);1989年02期

10 周清泉 ,楊國(guó)勝;跟蹤系統(tǒng)的配點(diǎn)綜合法的改進(jìn)研究[J];河南大學(xué)學(xué)報(bào)(自然科學(xué)版);1989年04期

相關(guān)會(huì)議論文 前10條

1 趙姝潁;;社區(qū)健康體測(cè)跟蹤系統(tǒng)[A];中國(guó)科普理論與實(shí)踐探索——第二十一屆全國(guó)科普理論研討會(huì)論文集[C];2014年

2 胡湘華;黃雙臨;劉曉萍;栗靖;孫偉杰;;問(wèn)題跟蹤系統(tǒng)在衛(wèi)星導(dǎo)航運(yùn)行管理中的應(yīng)用探討[A];第三屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集——S06北斗/GNSS測(cè)試評(píng)估技術(shù)[C];2012年

3 廖研;;寶鋼5m寬厚板軋機(jī)材料跟蹤系統(tǒng)[A];2006年全國(guó)軋鋼生產(chǎn)技術(shù)會(huì)議文集[C];2006年

4 張勇;;基于RFID技術(shù)的油漆車身跟蹤系統(tǒng)設(shè)計(jì)及應(yīng)用[A];2010全國(guó)機(jī)械裝備先進(jìn)制造技術(shù)(廣州)高峰論壇論文匯編[C];2010年

5 張勇;;基于RFID技術(shù)的油漆車身跟蹤系統(tǒng)設(shè)計(jì)及應(yīng)用[A];節(jié)能減排 綠色制造 智能制造——低碳經(jīng)濟(jì)下高技術(shù)制造產(chǎn)業(yè)與智能制造發(fā)展論壇論文集[C];2010年

6 王永明;李興林;;船舶遠(yuǎn)程識(shí)別與跟蹤系統(tǒng)的發(fā)展與應(yīng)用[A];第五屆衛(wèi)星通信新業(yè)務(wù)新技術(shù)學(xué)術(shù)年會(huì)暨衛(wèi)星通信系統(tǒng)網(wǎng)間互聯(lián)互通與接口標(biāo)準(zhǔn)研討會(huì)論文集[C];2009年

7 黃建強(qiáng);陳祥獻(xiàn);汪樂(lè)宇;;面向情景自覺(jué)計(jì)算的人體識(shí)別跟蹤系統(tǒng)[A];第三次全國(guó)會(huì)員代表大會(huì)暨學(xué)術(shù)會(huì)議論文集[C];2002年

8 藺鳳琴;劉文仲;宋勇;荊豐偉;謝新亮;;日照1580mm熱連軋加熱爐數(shù)據(jù)跟蹤系統(tǒng)[A];2007中國(guó)鋼鐵年會(huì)論文集[C];2007年

9 許寶棟;高彬;孫毅;王國(guó)棟;李平忠;;基于CIMS的特鋼企業(yè)成本跟蹤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[A];1996年中國(guó)控制會(huì)議論文集[C];1996年

10 劉海濤;楊凌s

本文編號(hào)：2761963