基于視覺(jué)的靈巧手人機(jī)協(xié)同操作的研究
發(fā)布時(shí)間:2021-08-24 07:00
人工智能技術(shù)飛速發(fā)展,機(jī)器人作為人工智能的最直接的應(yīng)用體現(xiàn),在工業(yè)、農(nóng)業(yè)、醫(yī)療、航天等眾多領(lǐng)域發(fā)揮重要的作用。機(jī)器人的操作能力是其智能化的重要體現(xiàn),然而在非結(jié)構(gòu)化的環(huán)境中,面對(duì)復(fù)雜的場(chǎng)景,機(jī)器人難以自主決策,尤其對(duì)于高自由度的靈巧機(jī)械手,自主規(guī)劃更加困難,需要人類的經(jīng)驗(yàn)進(jìn)行示教學(xué)習(xí)。傳統(tǒng)方法使用數(shù)據(jù)手套或穿戴式的傳感器獲得人手運(yùn)動(dòng)參數(shù),然而設(shè)備系統(tǒng)較為笨重,影響人手的自然運(yùn)動(dòng)。為獲得直觀自然的人手動(dòng)作姿態(tài),本文采用基于視覺(jué)的非接觸式方法,通過(guò)RGBD相機(jī)拍攝人手動(dòng)作,基于深度學(xué)習(xí)的方法進(jìn)行人手姿態(tài)預(yù)測(cè),將人手姿態(tài)與靈巧機(jī)械手姿態(tài)進(jìn)行映射,使機(jī)械手能夠模仿人手的靈活動(dòng)作,從而實(shí)現(xiàn)靈巧機(jī)械手的人機(jī)協(xié)同操控。本文主要研究工作如下:(1)針對(duì)基于視覺(jué)的手部姿態(tài)檢測(cè)問(wèn)題,提出了一種新穎的輕量級(jí)的分支融合網(wǎng)絡(luò)結(jié)構(gòu),根據(jù)手部形狀結(jié)構(gòu)以及手指功能重要性的差異,將手部分為大拇指、食指和其余手指,使用三個(gè)平行的分支子網(wǎng)絡(luò)分別對(duì)這三個(gè)手部分區(qū)進(jìn)行特征學(xué)習(xí),最后通過(guò)分支特征的級(jí)聯(lián)融合,以及低維嵌入層引入的手部整體約束,進(jìn)行手部所有關(guān)節(jié)的3D位置預(yù)測(cè),在三個(gè)公共的手部姿態(tài)檢測(cè)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證,本文的分支融...
【文章來(lái)源】:大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 課題背景與研究意義
1.2 課題的國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 手部姿態(tài)估計(jì)的國(guó)內(nèi)外研究現(xiàn)狀
1.2.2 機(jī)械手人機(jī)協(xié)同操作的國(guó)內(nèi)外研究現(xiàn)狀
1.3 研究?jī)?nèi)容及章節(jié)安排
1.3.1 主要研究?jī)?nèi)容
1.3.2 論文章節(jié)安排
2 基于視覺(jué)的靈巧手協(xié)同控制的基本知識(shí)
2.1 基于視覺(jué)的手部姿態(tài)估計(jì)
2.2 人機(jī)協(xié)同靈巧機(jī)械手操控
2.3 本章小結(jié)
3 基于視覺(jué)的手部姿態(tài)檢測(cè)
3.1 手部分支融合網(wǎng)絡(luò)
3.1.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)
3.1.2 網(wǎng)絡(luò)損失函數(shù)
3.2 數(shù)據(jù)預(yù)處理
3.3 實(shí)驗(yàn)評(píng)估與分析
3.3.1 自對(duì)比實(shí)驗(yàn)
3.3.2 與其他方法對(duì)比實(shí)驗(yàn)
3.3.3 實(shí)際場(chǎng)景實(shí)驗(yàn)
3.4 本章小結(jié)
4 人機(jī)協(xié)同靈巧機(jī)械手控制
4.1 人機(jī)協(xié)同機(jī)械手操控系統(tǒng)平臺(tái)
4.1.1 圖像采集與預(yù)處理模塊
4.1.2 手部三維姿態(tài)檢測(cè)模塊
4.1.3 人機(jī)手部姿態(tài)映射模塊
4.1.4 人機(jī)協(xié)同機(jī)械手控制模塊
4.2 仿真機(jī)械手人機(jī)協(xié)同控制
4.3 Shadow Hand人機(jī)協(xié)同控制
4.4 本章小結(jié)
5 交互遮擋下的手部姿態(tài)檢測(cè)
5.1 雙流融合手部姿態(tài)檢測(cè)網(wǎng)絡(luò)
5.2 數(shù)據(jù)預(yù)處理
5.3 實(shí)驗(yàn)評(píng)估與分析
5.4 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況
致謝
【參考文獻(xiàn)】:
期刊論文
[1]基于數(shù)據(jù)手套的動(dòng)作承接式手勢(shì)識(shí)別[J]. 勞志輝,吳煥斌,張文山. 中國(guó)科技信息. 2016(06)
[2]基于加速度傳感器的連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別[J]. 陳鵬展,羅漫,李杰. 傳感器與微系統(tǒng). 2016(01)
[3]我國(guó)工業(yè)機(jī)器人技術(shù)現(xiàn)狀與產(chǎn)業(yè)化發(fā)展戰(zhàn)略[J]. 王田苗,陶永. 機(jī)械工程學(xué)報(bào). 2014(09)
[4]手勢(shì)識(shí)別綜述[J]. 葛繼東,賈紹文,蔡慧敏. 科技視界. 2012(19)
碩士論文
[1]基于混合高斯模型的三維手部關(guān)節(jié)跟蹤算法[D]. 魏詩(shī)白.大連理工大學(xué) 2016
本文編號(hào):3359511
【文章來(lái)源】:大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 課題背景與研究意義
1.2 課題的國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 手部姿態(tài)估計(jì)的國(guó)內(nèi)外研究現(xiàn)狀
1.2.2 機(jī)械手人機(jī)協(xié)同操作的國(guó)內(nèi)外研究現(xiàn)狀
1.3 研究?jī)?nèi)容及章節(jié)安排
1.3.1 主要研究?jī)?nèi)容
1.3.2 論文章節(jié)安排
2 基于視覺(jué)的靈巧手協(xié)同控制的基本知識(shí)
2.1 基于視覺(jué)的手部姿態(tài)估計(jì)
2.2 人機(jī)協(xié)同靈巧機(jī)械手操控
2.3 本章小結(jié)
3 基于視覺(jué)的手部姿態(tài)檢測(cè)
3.1 手部分支融合網(wǎng)絡(luò)
3.1.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)
3.1.2 網(wǎng)絡(luò)損失函數(shù)
3.2 數(shù)據(jù)預(yù)處理
3.3 實(shí)驗(yàn)評(píng)估與分析
3.3.1 自對(duì)比實(shí)驗(yàn)
3.3.2 與其他方法對(duì)比實(shí)驗(yàn)
3.3.3 實(shí)際場(chǎng)景實(shí)驗(yàn)
3.4 本章小結(jié)
4 人機(jī)協(xié)同靈巧機(jī)械手控制
4.1 人機(jī)協(xié)同機(jī)械手操控系統(tǒng)平臺(tái)
4.1.1 圖像采集與預(yù)處理模塊
4.1.2 手部三維姿態(tài)檢測(cè)模塊
4.1.3 人機(jī)手部姿態(tài)映射模塊
4.1.4 人機(jī)協(xié)同機(jī)械手控制模塊
4.2 仿真機(jī)械手人機(jī)協(xié)同控制
4.3 Shadow Hand人機(jī)協(xié)同控制
4.4 本章小結(jié)
5 交互遮擋下的手部姿態(tài)檢測(cè)
5.1 雙流融合手部姿態(tài)檢測(cè)網(wǎng)絡(luò)
5.2 數(shù)據(jù)預(yù)處理
5.3 實(shí)驗(yàn)評(píng)估與分析
5.4 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況
致謝
【參考文獻(xiàn)】:
期刊論文
[1]基于數(shù)據(jù)手套的動(dòng)作承接式手勢(shì)識(shí)別[J]. 勞志輝,吳煥斌,張文山. 中國(guó)科技信息. 2016(06)
[2]基于加速度傳感器的連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別[J]. 陳鵬展,羅漫,李杰. 傳感器與微系統(tǒng). 2016(01)
[3]我國(guó)工業(yè)機(jī)器人技術(shù)現(xiàn)狀與產(chǎn)業(yè)化發(fā)展戰(zhàn)略[J]. 王田苗,陶永. 機(jī)械工程學(xué)報(bào). 2014(09)
[4]手勢(shì)識(shí)別綜述[J]. 葛繼東,賈紹文,蔡慧敏. 科技視界. 2012(19)
碩士論文
[1]基于混合高斯模型的三維手部關(guān)節(jié)跟蹤算法[D]. 魏詩(shī)白.大連理工大學(xué) 2016
本文編號(hào):3359511
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3359511.html
最近更新
教材專著