增強半虛擬現(xiàn)實飛行座艙中的目標跟蹤定位技術研究

發(fā)布時間：2020-04-20 19:31

【摘要】：近年來,隨著虛擬現(xiàn)實技術(VIRTUAL REALITY)的飛速發(fā)展,利用其先進技術研發(fā)的輕型模擬器替代傳統(tǒng)大型飛行模擬器的實際需求顯得非常迫切。虛擬現(xiàn)實飛行模擬器具有體積小、成本低,便于移動和拓展等優(yōu)點,改變了以往大型飛行模擬器成本高、物理設備連接繁瑣、體積大等劣勢。南京航空航天大學飛行模擬與先進培訓工程技術中心是國內較早利用虛擬現(xiàn)實技術研發(fā)輕型飛行模擬器的機構之一,成功研發(fā)了“輕型飛行模擬器原型系統(tǒng)---輕舟一號”,并提出增強半虛擬現(xiàn)實飛行座艙的概念。座艙內的視景采用1:1的真實設備計算機生成,座艙外的變換視景由三維建模軟件計算生成并實時輸入沉浸式頭盔中。但是,該系統(tǒng)對操作者的視覺頭盔定位采用電磁跟蹤器等物理設備,具有一定的線纜約束,電磁也對艙內的其它設備造成干擾,影響人的沉浸感和使用效果。為此,本文主要研究“以人為中心”的視覺交互方案,利用顏色標記點和紅外標識的視覺跟蹤獲取三維坐標替代電磁跟蹤方案,能夠滿足正常光照和低照度環(huán)境下增強半虛擬現(xiàn)實飛行座艙中的視覺定位交互方案,實現(xiàn)一種全新的基于計算機視覺技術的飛行模擬器視覺跟蹤定位系統(tǒng)。本文主要的研究內容:1、構建基于視覺跟蹤定位技術的增強半虛擬現(xiàn)實飛行座艙技術方案。傳統(tǒng)虛擬現(xiàn)實飛行模擬器中物理設備過多,對頭部和手部的定位分別采用電磁跟蹤器和數(shù)據(jù)手套等影響交互和諧性的物理設備,同時由于物理設備的束縛造成體驗者不能享受到真實環(huán)境中的視覺、觸覺、力覺等反饋信息。針對以上情況,提出一個基于視覺交互的頭部跟蹤定位系統(tǒng),構建了一個采用計算機視覺方案的增強半虛擬現(xiàn)實飛行座艙技術方案,可明顯降低軟硬件的使用成本,能夠更加廣泛的推廣。2、針對增強半虛擬現(xiàn)實飛行座艙物理介質可控等特點,采用顏色標記物作為跟蹤點,提出了一種融合低維主題顏色空間的快速CSK跟蹤算法。由于光照變化會對標記物顏色的穩(wěn)定性產生顯著影響,因此嘗試多光照條件下,利用大量實驗得出增強半虛擬現(xiàn)實飛行座艙內顏色標記的恒常規(guī)律,獲得穩(wěn)定的顏色標記。由于傳統(tǒng)方法在時效方面的不足,引入快速CSK跟蹤算法,針對該算法只是針對灰度圖的特點,提出一種與低維主題顏色空間相結合的快速CSK跟蹤算法。首先建立原始顏色域選取的圖像到特征空間的映射關系,選取跟蹤標志點最相近的主題顏色來替代原始觀測顏色,實現(xiàn)時間效率上對顏色特征抽取的高效性,提升跟蹤算法的魯棒性。最后,對獲得的目標位置進行多攝像機立體標定下三維空間坐標獲取。3、針對環(huán)境光噪聲干擾影響目標跟蹤的穩(wěn)定性問題,提出局部動態(tài)感知、忽略非受限區(qū)域補償?shù)沫h(huán)境光照感知策略,并結合正交攝像機頭部位置三維注冊方法實現(xiàn)空間定位。首先建立動態(tài)局部光照模型,探測環(huán)境光的變化閾值,結合先驗知識和光源信息提出了一種能夠實現(xiàn)局部精準檢測忽略非受限區(qū)域的局部-整體聯(lián)合環(huán)境光照感知方法。在人工進行光照干預模擬環(huán)境下,跟蹤魯棒性和準確率進一步提升。精準補償結合實際場景的參數(shù)訓練,提升了飛行員體驗的流暢度與沉浸感,滿足了系統(tǒng)的高可靠性要求。4、針對飛行員頭部運動范圍在不同的座艙環(huán)境中頭部運動差異問題,提出了完全攝像機視野模式下的冗余攝像機正交定位方案。研究了座艙約束的飛行員頭部運動范圍,為了使運動范圍完全納入陣列攝像機的視野范圍,建立了科學的頭部運動范圍仿真方案,解決由于模擬艙駕駛員的坐姿、身高不同帶來的在進行各種飛行操作動作時頭部標記點的初始坐標原點變化問題。構建了一套科學定量的頭部運動范圍實驗方案,搭建以波音737座艙環(huán)境為約束參照的冗余攝像機正交定位方案,進一步完善了方案的可靠性和完整性。5、針對完全沉浸或增強半虛擬現(xiàn)實飛行座艙中光干擾條件下,基于顏色的方案無法完全滿足定位需求時,設計一種適應低照度環(huán)境下的紅外目標跟蹤方案,提出了多特征提取的加權紅外光和可見光融合跟蹤算法。根據(jù)LED光源具有不受外界光源干擾的特點,設計了十字架紅外光源外加輔助紅外標志的跟蹤方案。通過紅外LED光源的幾何分布特征實現(xiàn)不同身份順序的穩(wěn)定識別,同時結合光源方向和電路的控制找到最典型成像光斑。通過實驗研究了多種質心提取算法,獲得較為理想的目標中心點坐標,提出的多特征提取的加權紅外光和可見光融合跟蹤算法可以提高目標跟蹤的準確性。本課題利用計算機視覺方案構建一個完整的增強半虛擬現(xiàn)實飛行座艙人機交互系統(tǒng),對系統(tǒng)進行軟硬件集成測試。從操作者的主觀體驗上,能夠達到沉浸感、無約束等體驗效果。從客觀上講,在時間效率和魯棒性方面均能滿足要求。利用計算機視覺的輕型飛行模擬器,不僅具有操作靈活、成本低、沉浸感強烈等優(yōu)點,同時還能推廣到其它行業(yè)。
【圖文】：

飛行模擬器,制造工藝技術,計算機視覺,頭盔式顯示器