本文關(guān)鍵詞：基于深度圖像序列的三維人手運(yùn)動(dòng)跟蹤技術(shù)研究

  更多相關(guān)文章： 三維人手跟蹤 深度圖像 粒子濾波 差分進(jìn)化 粒子群優(yōu)化 OSG

【摘要】：通過(guò)計(jì)算機(jī)視覺(jué)手段來(lái)對(duì)人手運(yùn)動(dòng)進(jìn)行分析是一個(gè)重要的研究課題,其研究?jī)?nèi)容包括人手檢測(cè)、人手運(yùn)動(dòng)狀態(tài)估計(jì)和行為識(shí)別,涉及圖像處理、計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)、模式識(shí)別和人工智能等多個(gè)學(xué)科領(lǐng)域。人手運(yùn)動(dòng)的視覺(jué)分析具有廣闊的應(yīng)用前景,其研究成果可以應(yīng)用于虛擬現(xiàn)實(shí)、三維動(dòng)畫(huà)、機(jī)器人模仿學(xué)習(xí)、高級(jí)人機(jī)交互、運(yùn)動(dòng)生物力學(xué)等多個(gè)領(lǐng)域。本文主要研究人手運(yùn)動(dòng)狀態(tài)估計(jì)問(wèn)題,即從視覺(jué)觀測(cè)估計(jì)出人手的全局位姿和各局部關(guān)節(jié)角度的狀態(tài)。人手運(yùn)動(dòng)狀態(tài)的估計(jì)是人手運(yùn)動(dòng)分析的核心問(wèn)題,是對(duì)人的行為進(jìn)行準(zhǔn)確識(shí)別的基礎(chǔ)。本文中的運(yùn)動(dòng)狀態(tài)估計(jì)問(wèn)題針對(duì)的是一個(gè)視頻圖像序列,在人手運(yùn)動(dòng)具有連貫性的假設(shè)下,通過(guò)狀態(tài)轉(zhuǎn)移模型的引入,將針對(duì)單幀的運(yùn)動(dòng)狀態(tài)估計(jì)問(wèn)題轉(zhuǎn)化為時(shí)間序列上的一個(gè)運(yùn)動(dòng)跟蹤問(wèn)題。通過(guò)計(jì)算機(jī)視覺(jué)來(lái)進(jìn)行多關(guān)節(jié)人手運(yùn)動(dòng)跟蹤是十分具有挑戰(zhàn)性的,其開(kāi)發(fā)受困于多個(gè)復(fù)雜因素。高維的狀態(tài)空間給全局最優(yōu)的搜索帶來(lái)了困難,導(dǎo)致了龐大的計(jì)算量；人手運(yùn)動(dòng)過(guò)程中頻繁發(fā)生的自遮擋,會(huì)導(dǎo)致觀測(cè)的歧義性,造成人手狀態(tài)概率密度的多峰分布,加大全局最優(yōu)的搜索難度；人手運(yùn)動(dòng)跟蹤的狀態(tài)轉(zhuǎn)移過(guò)程和觀測(cè)過(guò)程均是非線性的,這要求跟蹤算法必須具有解決非線性問(wèn)題的能力。一個(gè)有效的人手運(yùn)動(dòng)跟蹤方案必須解決以下關(guān)鍵問(wèn)題：(1)構(gòu)建有效的匹配誤差函數(shù)。匹配誤差函數(shù)用于描述人手姿態(tài)向量與觀測(cè)特征之間的匹配程度,它的構(gòu)建是人手運(yùn)動(dòng)跟蹤的基礎(chǔ),直接決定跟蹤過(guò)程中全局最優(yōu)的搜索難度。好的匹配誤差函數(shù)能夠有效平滑全局最優(yōu)附近的局部極小值,降低全局最優(yōu)的搜索難度。(2)開(kāi)發(fā)有效的搜索方法。高維的狀態(tài)空間和多峰的概率分布對(duì)搜索方法的尋優(yōu)能力提出了很高的要求,搜索方法必須有較快的收斂速度,同時(shí)又必須具備一定的魯棒性,能夠跳出局部極小值,最終找到全局最優(yōu)。圍繞上述問(wèn)題,國(guó)內(nèi)外的研究者們進(jìn)行了大量的研究,然而,目前為止的研究成果還難以同時(shí)滿足人手運(yùn)動(dòng)跟蹤實(shí)時(shí)性、準(zhǔn)確性和魯棒性的要求,離實(shí)際應(yīng)用還有一段距離。本文以深度圖像序列作為觀測(cè)輸入,基于改進(jìn)的粒子濾波算法,對(duì)無(wú)標(biāo)記三維人手運(yùn)動(dòng)跟蹤的相關(guān)技術(shù)進(jìn)行了研究。具體來(lái)講,本文完成的主要工作包括以下幾個(gè)方面：(1)建立了作為三維人手運(yùn)動(dòng)跟蹤基礎(chǔ)的人手模型和觀測(cè)模型。本文建立了26自由度的人手運(yùn)動(dòng)學(xué)模型,并根據(jù)解剖學(xué)因素對(duì)其施加了運(yùn)動(dòng)學(xué)約束。為平衡模型精確度和計(jì)算復(fù)雜度,本文以基本幾何基元建立了人手形狀模型。本文采用Kinect深度相機(jī)來(lái)獲取系統(tǒng)觀測(cè)輸入,采用深度特征信息與區(qū)域特征信息融合的方法構(gòu)建了人手姿勢(shì)假設(shè)對(duì)應(yīng)的模型特征圖像和觀測(cè)特征圖像之間的匹配誤差函數(shù),建立了觀測(cè)模型。(2)針對(duì)粒子濾波在高維空間中進(jìn)行粒子采樣的困難,將群體智能優(yōu)化方法集成到粒子濾波中,利用其強(qiáng)大的全局優(yōu)化能力改善粒子濾波樣本分布,提出了兩種具體的三維人手跟蹤算法。第一種算法將差分進(jìn)化與粒子濾波結(jié)合,利用差分進(jìn)化對(duì)當(dāng)前觀測(cè)下的匹配誤差的優(yōu)化來(lái)驅(qū)動(dòng)粒子向高似然概率區(qū)域運(yùn)動(dòng)；第二種算法將一種現(xiàn)有的粒子群優(yōu)化粒子濾波算法應(yīng)用于高維空間中的人手運(yùn)動(dòng)跟蹤,并針對(duì)人手高維空間中的早熟收斂問(wèn)題,同時(shí)采用模擬退火思想和局部隨機(jī)化技術(shù)對(duì)算法進(jìn)行收斂性改進(jìn)。實(shí)驗(yàn)證明,這兩種算法均能夠有效魯棒地跟蹤三維人手運(yùn)動(dòng),第二種跟蹤算法的跟蹤精度略優(yōu)于第一種算法。(3)通過(guò)采用同時(shí)為人手和物體建模的方法,研究了人手與物體交互過(guò)程的跟蹤。在現(xiàn)實(shí)世界的許多場(chǎng)景中,人手的活動(dòng)通常是交互性的。其中,最常見(jiàn)的是人手與物體的交互。物體的存在增加了人手運(yùn)動(dòng)分析的復(fù)雜性,而另一方面,物體上下文所攜帶的有用信息會(huì)對(duì)人手運(yùn)動(dòng)的識(shí)別和估計(jì)起到促進(jìn)作用。本文采用基于模型的方法來(lái)跟蹤人手與物體的交互過(guò)程,同時(shí)為人手與物體建立三維模型和運(yùn)動(dòng)模型,并同時(shí)跟蹤三維空間中人手與物體的運(yùn)動(dòng)。本文采用單一深度圖像序列作為觀測(cè)輸入建立了觀測(cè)模型,采用改進(jìn)的粒子群優(yōu)化粒子濾波作為跟蹤算法,最終形成的跟蹤方法能有效跟蹤人手與物體的交互過(guò)程。(4)根據(jù)本文所提出的結(jié)合群體智能優(yōu)化與粒子濾波的跟蹤算法的特點(diǎn),在充分了解圖形引擎OpenSceneGraph(OSG)內(nèi)部渲染流程和多線程模型的基礎(chǔ)上,通過(guò)采用離屏渲染技術(shù),開(kāi)發(fā)了兩種基于OSG的三維人手跟蹤原型系統(tǒng)：?jiǎn)翁摂M相機(jī)系統(tǒng)和多虛擬相機(jī)系統(tǒng)。在粒子濾波框架下,單虛擬相機(jī)系統(tǒng)只創(chuàng)建一個(gè)虛擬相機(jī)用于匹配誤差計(jì)算,OSG每幀運(yùn)行時(shí)通過(guò)該虛擬相機(jī)只為一個(gè)粒子計(jì)算匹配誤差；而多虛擬相機(jī)系統(tǒng)則為粒子集中的每個(gè)粒子分別創(chuàng)建一個(gè)對(duì)應(yīng)的虛擬相機(jī),OSG每幀運(yùn)行時(shí)為一整代粒子計(jì)算其各自對(duì)應(yīng)的匹配誤差。
【關(guān)鍵詞】：三維人手跟蹤 深度圖像 粒子濾波 差分進(jìn)化 粒子群優(yōu)化 OSG
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP391.41
【目錄】：

• 摘要11-14
• Abstract14-17
• 第1章 緒論17-33
• 1.1 課題背景及意義17-18
• 1.2 研究目標(biāo)和研究難點(diǎn)18-20
• 1.2.1. 研究目標(biāo)18-19
• 1.2.2. 研究難點(diǎn)19-20
• 1.3 人手運(yùn)動(dòng)跟蹤研究現(xiàn)狀20-28
• 1.3.1. 人手建模20-23
• 1.3.2. 特征提取及匹配23-24
• 1.3.3. 人手姿態(tài)估計(jì)方法24-28
• 1.4 關(guān)鍵問(wèn)題分析28-29
• 1.4.1. 有效匹配誤差函數(shù)的構(gòu)建28
• 1.4.2. 有效搜索方法的開(kāi)發(fā)28-29
• 1.5 論文主要工作29-30
• 1.6 論文組織與安排30-33
• 第2章 跟蹤系統(tǒng)框架與相關(guān)模型33-45
• 2.1 跟蹤系統(tǒng)整體框架33-34
• 2.2 系統(tǒng)相關(guān)模型34-43
• 2.2.1. 三維人手模型35-38
• 2.2.2. 觀測(cè)模型38-43
• 2.2.3. 狀態(tài)轉(zhuǎn)移模型43
• 2.3 小結(jié)43-45
• 第3章 基于改進(jìn)粒子濾波的人手運(yùn)動(dòng)跟蹤算法45-69
• 3.1 跟蹤過(guò)程的狀態(tài)空間描述46-47
• 3.2 粒子濾波算法47-48
• 3.3 標(biāo)準(zhǔn)粒子濾波算法的主要問(wèn)題48-49
• 3.4 針對(duì)高維跟蹤的粒子濾波改進(jìn)方案49-50
• 3.4.1. 狀態(tài)空間降維49
• 3.4.2. 結(jié)合局部?jī)?yōu)化49-50
• 3.5 基于群體智能優(yōu)化的改進(jìn)粒子濾波算法50-59
• 3.5.1. 結(jié)合差分進(jìn)化的改進(jìn)粒子濾波算法51-54
• 3.5.2. 改進(jìn)的粒子群優(yōu)化粒子濾波算法54-59
• 3.6 實(shí)驗(yàn)結(jié)果及討論59-68
• 3.6.1. 合成序列實(shí)驗(yàn)60-64
• 3.6.2. 真實(shí)序列實(shí)驗(yàn)64-68
• 3.7 小結(jié)68-69
• 第4章 人手與物體交互過(guò)程的跟蹤69-83
• 4.1 相關(guān)工作70-72
• 4.1.1. 人手與物體交互過(guò)程的識(shí)別70
• 4.1.2. 人手與物體交互過(guò)程的跟蹤70-72
• 4.2 系統(tǒng)相關(guān)模型與跟蹤算法72-74
• 4.2.1. 相關(guān)模型72-73
• 4.2.2. 跟蹤算法73-74
• 4.3 實(shí)驗(yàn)及討論74-81
• 4.3.1. 真實(shí)序列實(shí)驗(yàn)74-77
• 4.3.2. 合成序列實(shí)驗(yàn)77-81
• 4.4 小結(jié)81-83
• 第5章 基于多線程渲染引擎的原型系統(tǒng)實(shí)踐83-101
• 5.1 RTT與離屏渲染技術(shù)84-86
• 5.1.1. 像素緩存對(duì)象PBO84-85
• 5.1.2. 幀緩存對(duì)象FBO85-86
• 5.2 多線程渲染引擎OSG86-94
• 5.2.1. OSG概述86-87
• 5.2.2. OSG基本渲染流程87-91
• 5.2.3. OSG多種線程模型91-94
• 5.3 基于OSG的原型系統(tǒng)開(kāi)發(fā)94-98
• 5.3.1. 單虛擬相機(jī)系統(tǒng)94-95
• 5.3.2. 多虛擬相機(jī)系統(tǒng)95-98
• 5.4 實(shí)驗(yàn)結(jié)果及討論98
• 5.5 小結(jié)98-101
• 結(jié)論與展望101-105
• 結(jié)論101-102
• 創(chuàng)新點(diǎn)102-103
• 展望103-105
• 參考文獻(xiàn)105-119
• 攻讀博士期間發(fā)表論文及參與課題119-121
• 致謝121-123
• 外文論文123-141
• 附件141

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前7條

1 馮志全;楊波;李毅;王中華;鄭艷偉;;以改善精度為目標(biāo)的人手跟蹤方法研究[J];計(jì)算機(jī)研究與發(fā)展;2008年07期

2 陳睿,劉國(guó)翌,趙國(guó)英,張俊,李華;基于序列蒙特卡羅方法的3D人體運(yùn)動(dòng)跟蹤[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2005年01期

3 馮志全;孟祥旭;;一種強(qiáng)跟蹤濾波器及其在人手跟蹤中的應(yīng)用[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2006年07期

4 王文中;王兆其;鄧小明;夏時(shí)洪;邱顯杰;;基于局部先驗(yàn)?zāi)Ｐ偷膯文恳曨l人體運(yùn)動(dòng)跟蹤[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2011年09期

5 沈建鋒;楊文明;廖慶敏;;結(jié)合部件分割和粒子濾波的3D人體運(yùn)動(dòng)跟蹤[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2012年02期

6 于雪松;趙巍;劉鵬;唐降龍;;基于混合跟蹤模型的室內(nèi)步行人體3D運(yùn)動(dòng)估計(jì)[J];自動(dòng)化學(xué)報(bào);2010年06期

7 李毅;孫正興;陳松樂(lè);李騫;;基于退火粒子群優(yōu)化的單目視頻人體姿態(tài)分析方法[J];自動(dòng)化學(xué)報(bào);2012年05期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 崔錦實(shí);基于三維模型的關(guān)節(jié)式物體姿態(tài)估計(jì)與跟蹤方法研究[D];清華大學(xué);2004年

，

本文編號(hào)：563787