手勢(shì)姿態(tài)估計(jì)作為人機(jī)交互中的一個(gè)關(guān)鍵技術(shù)廣泛應(yīng)用于各個(gè)領(lǐng)域,尤其在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用中,能夠改善用戶體驗(yàn),實(shí)現(xiàn)手與虛擬物體的直接交互。近年來,利用深度相機(jī)采集到的深度圖像作為信息輸入,進(jìn)行三維手勢(shì)姿態(tài)估計(jì)的研究不斷增長(zhǎng)。然而,由于手部結(jié)構(gòu)復(fù)雜,手指間具有高度自相似性,且存在嚴(yán)重的自遮擋,三維手勢(shì)姿態(tài)估計(jì)仍然存在準(zhǔn)確性低和魯棒性差等問題。本文將深度圖像轉(zhuǎn)為點(diǎn)云表示,并構(gòu)造點(diǎn)云深度卷積網(wǎng)絡(luò),直接將點(diǎn)云作為輸入,通過這種自然的方式學(xué)習(xí)點(diǎn)云特征并進(jìn)行三維手勢(shì)姿態(tài)估計(jì),既可以充分利用深度圖像中的三維信息,又避免了數(shù)據(jù)的過于龐大。首先,通過對(duì)PointNet網(wǎng)絡(luò)及其層次化網(wǎng)絡(luò)的結(jié)構(gòu)和原理進(jìn)行相關(guān)研究,本文提出一種基于改進(jìn)PointNet網(wǎng)絡(luò)的三維手勢(shì)姿態(tài)估計(jì)方法。首先采用邊界框定位網(wǎng)絡(luò)預(yù)測(cè)三維邊界框,從而準(zhǔn)確裁剪手部區(qū)域,然后生成對(duì)應(yīng)的手部點(diǎn)云,模擬手部可見表面,有效地利用深度圖像中的三維信息。將手部點(diǎn)云數(shù)據(jù)輸入改進(jìn)的層次化PointNet網(wǎng)絡(luò),準(zhǔn)確地進(jìn)行三維手勢(shì)姿態(tài)估計(jì)。層次化的PointNet網(wǎng)絡(luò)通過層次化的方式進(jìn)行局部特征提取,因此具有良好的泛化能力。而通過引入跳躍連接,改進(jìn)的層次化Po...

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖5-1實(shí)驗(yàn)軟件環(huán)境

第5章實(shí)驗(yàn)結(jié)果及分析485.1.2實(shí)驗(yàn)軟件環(huán)境本文實(shí)驗(yàn)的數(shù)據(jù)預(yù)處理部分采用MATLAB實(shí)現(xiàn)，手勢(shì)姿態(tài)估計(jì)的神經(jīng)網(wǎng)絡(luò)部分采用Python編程語言，網(wǎng)絡(luò)基于PyTorch深度學(xué)習(xí)框架，能夠?qū)崿F(xiàn)強(qiáng)大的GPU加速。詳細(xì)的軟件環(huán)境和版本如表5-2所示：表5-2實(shí)驗(yàn)軟件環(huán)境配置環(huán)境參數(shù)詳細(xì)信....

本文編號(hào)：3988176