隨著工業(yè)自動化、智能化的發(fā)展,智能機器人在制造業(yè)領(lǐng)域中應用愈發(fā)廣泛,《中國制造2025》明確將智能機器人技術(shù)列入重點推動突破的科技領(lǐng)域。機器人、人類、環(huán)境三者的共融交互是機器人智能化的標志,而圖形界面、力反饋等傳統(tǒng)交互方式無法滿足智能化的要求。因此,研究更加智能的人機交互技術(shù)是實現(xiàn)機器人智能化的重要途徑,這能夠有效提高人機協(xié)作的效率,加速制造業(yè)智能化的進程。眾多交互方式中,人類語言（自然語言）是人機交互最自然的接口。機器人理解人類的自然語言表述可大大提高機器人智能化的程度,使得機器人和人類之間能像人與人一樣進行交互。想要可靠地做到這一點,人類和機器人之間必須對環(huán)境有共同的理解,這正是自然語言對象檢索任務(wù)的體現(xiàn):基于自然語言表述在全局場景圖像中定位目標對象。本文將自然語言對象檢索應用于人機交互技術(shù),使得機器人可以根據(jù)作業(yè)人員對場景圖像中特定對象的描述定位目標對象,并自主完成目標對象的抓取和放置任務(wù)。相比于肢體手勢、圖形界面等交互方式,基于自然語言對象檢索的人機交互方式更加智能化,可有效提高作業(yè)人員與機器人協(xié)作的效率。本文主要工作內(nèi)容如下:（1）搭建了基于Kinect攝像機和EPSON機器... 

【文章來源】：吉林大學吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：96 頁

【學位級別】：碩士

【部分圖文】：

明確描述的生成和理解方法

第1章緒論7圖1.3基于自然語言表述的目標檢測算法1.4主要研究內(nèi)容及章節(jié)安排本文提出了基于自然語言對象檢索的機器人人機交互方法，并將其應用于工業(yè)六自由度機械臂的物體定位和抓取任務(wù)，旨在提供一種智能高效的人機交互接口。因此，本文將以機器人視覺定位抓取系統(tǒng)為基礎(chǔ)搭建人機交互實驗平臺，并以自然語言對象檢索任務(wù)為核心實現(xiàn)交互算法。人機交互平臺的工作原理為：首先，通過視覺傳感器獲取全局場景信息，并通過語音輸入設(shè)備采集作業(yè)人員的自然語言表述；然后，利用候選區(qū)域提取算法獲取場景圖像的候選區(qū)域集，并采用自然語言對象檢索算法檢索作業(yè)人員描述的目標對象；確定目標對象后，根據(jù)機器人系統(tǒng)的視覺定位模塊計算目標對象的空間位置，最后利用機器人抓取模塊完成目標對象的抓取放置任務(wù)。本文的主要章節(jié)安排如下：第一章緒論。介紹基于自然語言對象檢索的人機交互技術(shù)的研究目的和意義，并介紹人機交互技術(shù)和自然語言對象檢索技術(shù)的國內(nèi)外研究現(xiàn)狀，最后簡要闡述本文的主要研究內(nèi)容和章節(jié)安排。第二章系統(tǒng)總體組成方案設(shè)計。介紹人機交互實驗平臺的總體設(shè)計方案，并簡要闡述候選區(qū)域提娶自然語言對象檢索和機器人定位抓取系統(tǒng)三部分的主要作用和實現(xiàn)原理，最后介紹實驗平臺的主要硬件構(gòu)成和軟件設(shè)計模式。

第2章系統(tǒng)組成與方案設(shè)計9第2章系統(tǒng)組成與方案設(shè)計人機交互系統(tǒng)是以機器人定位抓取系統(tǒng)為硬件基礎(chǔ)搭建的，并以自然語言對象檢索算法為核心算法。本章首先介紹人機交互系統(tǒng)的總體設(shè)計方案，并說明候選區(qū)域提取算法、自然語言對象檢索算法和機器人定位抓取系統(tǒng)三部分的主要作用及實現(xiàn)原理。然后，介紹人機交互系統(tǒng)主要的硬件構(gòu)成和系統(tǒng)軟件設(shè)計模式。2.1系統(tǒng)總體方案設(shè)計圖2.1人機交互系統(tǒng)總體設(shè)計方案圖基于自然語言對象檢索的人機交互系統(tǒng)總體設(shè)計方案如圖2.1所示，系統(tǒng)主要由機器人定位抓取系統(tǒng)、候選區(qū)域提取算法和自然語言對象檢索算法三部分組成。人機交互系統(tǒng)各組成部分的主要作用及實現(xiàn)原理如下：1）機器人定位抓取系統(tǒng)機器人定位抓取系統(tǒng)是基于EPSON機器人和Kinect攝像機搭建的，包含視覺定位模塊和機器人抓取模塊兩部分。視覺定位模塊主要作用是根據(jù)目標對象的邊框計算其空間位置坐標（目標對象相對于機器人基坐標系的坐標）；機器人抓取模塊的作用是根據(jù)目標對象的空間位置坐標對機器人進行運動學解算，并控制機器人完成目標對象的抓取和放置任務(wù)。2）候選邊框提取算法候選區(qū)域提取算法基于Faster-RCNN架構(gòu)實現(xiàn)，并


本文編號：3003990