發(fā)布時間：2020-05-12 03:54

【摘要】：家庭服務(wù)機器人對其服務(wù)對象行為的理解和感知是機器人人機交互技術(shù)亟需解決的核心問題,也是其自主化及智能化水平的重要體現(xiàn)。伴隨三維時空建模研究的深入,基于局部時空特征的人體行為識別技術(shù)受到了越來越多研究者的關(guān)注。人眼感知是一個視覺刺激信息通過多級協(xié)作雙向傳播的過程,僅基于單一的圖像特性并不能使機器人具備可靠的人眼識別能力,需要更加深入的優(yōu)化多種特征的描述機理及融合策略�？梢�,機器人行為感知技術(shù)是建立在三維時空建模與多特征融合策略基礎(chǔ)上更為復(fù)雜的計算機認(rèn)知技術(shù),準(zhǔn)確的行為感知能力是實現(xiàn)機器人自主任務(wù)規(guī)劃的先決條件。本文面向家庭服務(wù)機器人行為感知問題,圍繞局部時空特征展開相關(guān)研究工作。首先,基于時空興趣點采樣策略,提出了采用自適應(yīng)變異粒子群優(yōu)化SVM的行為識別算法。其次,基于圖像多尺度密集采樣策略,針對軌跡特征在濾除背景噪聲干擾、描述人體結(jié)構(gòu)和交互語義信息方面的不足進(jìn)行了深入探討,并提出了相應(yīng)的改進(jìn)方案。最后,基于人體行為感知技術(shù)設(shè)計了多機器人服務(wù)系統(tǒng)整體框架,并通過實際測試驗證了其有效性和可行性。所涉及的主要研究內(nèi)容如下:(1)為了提高算法對視頻序列中人體行為的識別能力,建立了基于局部時空特征的行為識別框架。首先,采用Harris3D檢測器獲取時空興趣點(Space Time Interest Points,STIP),以方向梯度直方圖和光流方向直方圖對STIP進(jìn)行描述,并引入Fisher向量實現(xiàn)對特征描述子的編碼。其次,針對傳統(tǒng)參數(shù)設(shè)定策略下SVM行為分類模型存在的泛化能力不足問題,將粒子群算法應(yīng)用于各行為分類器參數(shù)尋優(yōu)過程中,通過考慮種群多樣性逐代變化的情況,構(gòu)建粒子聚集度模型,并利用其動態(tài)地調(diào)節(jié)各代粒子的變異概率。最后,在KTH和HMDB51數(shù)據(jù)集上對所提方法進(jìn)行驗證,結(jié)果表明所提自適應(yīng)變異粒子群算法收斂性能良好且整體識別框架具有較高的實用性和準(zhǔn)確性。(2)針對密集軌跡特征中背景軌跡不能被有效濾除的問題,提出了一種基于多尺度混合掩模的前景軌跡(Foreground Trajectories on Multi-scale Hybrid Masks,HM-FTs)提取方法。首先,利用光流計算視頻幀的運動邊界圖像以生成初始掩模。其次,采用中心先驗和暗通道先驗檢測圖像前景區(qū)域,通過基于元胞自動機的同步更新機制對其進(jìn)行優(yōu)化后獲得弱顯著圖。隨后,將弱顯著圖與利用多核增強算法提取的強顯著圖融合得到運動前景區(qū)域,并采用協(xié)同優(yōu)化策略和掩模交叉生成多尺度混合掩模。最后,通過設(shè)計有效的補償方案實現(xiàn)對前景軌跡的優(yōu)化。在基準(zhǔn)數(shù)據(jù)集上的測試結(jié)果表明,所提方法能夠提取與運動人體密切相關(guān)的前景軌跡,顯著改善原始軌跡特征的判別性能。(3)為了解決密集軌跡特征對于人體結(jié)構(gòu)信息描述不足的問題,同時有效利用不同人工選定特征對于特定行為的敏感度差異,提出了一種基于視覺詞袋(Bag-of-Visual-Words,BoVW)模型和DS(Dempster-Shafer,DS)證據(jù)理論的通用可擴展加權(quán)評分級特征融合方法。首先,選擇訓(xùn)練集中的部分樣本構(gòu)建驗證集。隨后,從這些樣本中提取局部時空特征和人體姿態(tài)特征以獲取所需的證據(jù)信息。通過DS證據(jù)理論和適者生存規(guī)則完成證據(jù)合成,并計算優(yōu)化后的不同特征關(guān)于特定行為的權(quán)重向量。最后,根據(jù)加權(quán)求和策略推斷出當(dāng)前行為類別標(biāo)簽。實驗結(jié)果表明,所提加權(quán)評分級特征融合方法可以充分利用多種人工選定特征之間的互補性,切實提高算法的行為識別準(zhǔn)確率。(4)針對基于BoVW框架的局部時空特征不能有效編碼交互語義信息的問題,提出了一種時空語義特征(Spatio-temporal Semantic Feature,ST-SF),并基于信息熵理論將其轉(zhuǎn)換為有助于正確決策的輔助判別依據(jù)。首先,通過設(shè)計文本相關(guān)性分析(Text-based Relevance Analysis,TRA)策略估計與行為密切相關(guān)的對象文本標(biāo)簽集合,并利用其訓(xùn)練更具針對性的目標(biāo)檢測器。其次,采用幀間協(xié)同性和動態(tài)規(guī)劃算法對虛假檢測進(jìn)行優(yōu)化以獲取有效的目標(biāo)時空管道,隨后應(yīng)用ST-SF特征對交互語義信息進(jìn)行編碼。最后,基于訓(xùn)練集樣本的ST-SF矢量空間分布定義了特征熵概念及決策增益的計算方法,由此構(gòu)建了一種包含兩階段的行為分類框架。在三個行為數(shù)據(jù)集上的實驗結(jié)果顯示,所提方法相比于已有算法具有明顯的性能改善,并且能夠有效地編碼交互語義信息,實現(xiàn)真實場景下的魯棒行為識別。(5)利用單目視覺傳感器獲取真實室內(nèi)場景下的行為視頻片段,通過將上述行為識別算法應(yīng)用于實際的服務(wù)機器人系統(tǒng),使其具備魯棒的自主行為感知及交互任務(wù)執(zhí)行能力。首先,基于傳感器網(wǎng)絡(luò)、傳送機器人和智能抓取機器人,構(gòu)建用于完成交互任務(wù)的多機器人協(xié)作服務(wù)框架。其次,針對輪椅床用戶日常需求,創(chuàng)建了包含13種動作類別的日常行為數(shù)據(jù)集,并基于其訓(xùn)練行為分類器。最后,面向機器人行為感知及人機交互任務(wù)構(gòu)建了多機器人服務(wù)系統(tǒng)交互界面,通過設(shè)計相關(guān)實驗證明了所提框架的可行性以及行為識別算法的實用性與準(zhǔn)確性。
【圖文】：

北京工業(yè)大學(xué)工學(xué)博士學(xué)位論文胸前觸摸屏上顯示信息來提醒老人服藥及測量血壓，同時量人體基本生命體征并記錄健康狀態(tài)。法國 Aldebaran RO 機器人是目前學(xué)術(shù)研究應(yīng)用最廣泛的類人機器人。該對高等教育項目公開，并于 2010 年成立基金會支持在機學(xué)應(yīng)用。NAO 包含 25 個自由度、多種高性能傳感器和機Windows 或 Mac OS 等操作系統(tǒng)下編程調(diào)試，并且具備開用戶探索多種任務(wù)級的機器人研究，如人機交互[3]、軌跡[4][5]、即時定位與導(dǎo)航系統(tǒng)開發(fā)[6]以及在線行人檢測與跟006 年開始不斷革新，并于 2018 年推出了 NAO6 版本，是內(nèi)部集成了功能更加強大的 CPU 并升級了多種傳感器 所示。

（a）Relay （b）Care-O-bot 3 （c）Care-O-bot 4圖1-2 Relay 和 Care-O-bot 機器人Fig.1-2 Robots Relay and Care-O-bot18 年，日本大阪大學(xué)石黑浩教授團隊展示了其開發(fā)的改進(jìn)版人形rica，該機器人通過遍布于房間多個方位的麥克風(fēng)和攝像頭獲取對調(diào)信息，經(jīng)服務(wù)器整合所有信息之后做出決策，并利用目前世界上語言合成系統(tǒng)，實現(xiàn)與用戶的持續(xù)順暢對話。內(nèi)對于服務(wù)機器人的研究始于 20 世紀(jì) 70 年代，晚于部分發(fā)達(dá)國家家政策的大力扶持、國際交流的日趨頻繁以及科研人員的不懈努力研院所和高精尖企業(yè)在服務(wù)機器人領(lǐng)域已經(jīng)取得了豐碩的理論研并設(shè)計搭建了眾多令人矚目的高智能化服務(wù)機器人研究平臺。北京教授團隊在 2005 年至 2012 年間先后研制了 5 代“匯童”機器人，的運動規(guī)劃和系統(tǒng)集成等關(guān)鍵技術(shù)進(jìn)行了探索，，解決了多自由度擬控制難題，提高了機器人運動的自然性和穩(wěn)定性。中國科學(xué)技術(shù)啟動了“可佳工程”開始自主研究智能服務(wù)機器人整機，涉及一
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2019
【分類號】：TP242

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王德亮;;開發(fā)機器人程序快速修正方法[J];現(xiàn)代焊接;2016年02期

2 明子成;;游覽機器人的設(shè)計與實現(xiàn)[J];正德學(xué)院學(xué)報;2008年02期

3 張鑫龍;原思聰;;碼垛機器人位置精度測試與分析[J];機床與液壓;2017年03期

4 劉興良;;多關(guān)節(jié)式機器人電傳動系統(tǒng)設(shè)計[J];機械工業(yè)自動化;1987年03期

5 劉美華,常文森;機器人位置/力控制系統(tǒng)的穩(wěn)定性[J];機器人;1988年03期

6 張永昌;;取代潛水員的蜘蛛型機器人[J];航海;1988年06期

7 解廣達(dá);;日本產(chǎn)業(yè)機器人的最新動向[J];儀器儀表與分析監(jiān)測;1988年04期

8 劉美華,常文森;兩種具有動力學(xué)補償?shù)臋C器人位置/力混合控制器[J];國防科技大學(xué)學(xué)報;1989年01期

9 徐彬;溫秀蘭;黃濤;陳一心;錢俊;賀帆;張超;;圖書識別整理機器人的設(shè)計與研發(fā)[J];科技創(chuàng)新與應(yīng)用;2019年10期

10 Eduardo Nebot;;機器人技術(shù)——從自動化到智能系統(tǒng)[J];Engineering;2018年04期

相關(guān)會議論文 前4條

1 孫志峻;邢仁濤;黃衛(wèi)清;;超聲電機驅(qū)動關(guān)節(jié)機器人位置反饋控制研究[A];第十一屆中國小電機技術(shù)研討會論文集[C];2006年

2 蔡詩瑤;馬智亮;;自動化與機器人技術(shù)在高層建筑主體結(jié)構(gòu)施工中的應(yīng)用綜述[A];第四屆全國BIM學(xué)術(shù)會議論文集[C];2018年

3 袁成杰;;機器人型柔性生產(chǎn)線產(chǎn)品質(zhì)量控制技術(shù)研究[A];四川省機械工程學(xué)會第三屆學(xué)術(shù)年會論文集[C];2018年

4 孟金梁;;機器人位置識別系統(tǒng)在涂裝的應(yīng)用[A];第十五屆河南省汽車工程科技學(xué)術(shù)研討會論文集[C];2018年

相關(guān)重要報紙文章 前1條

1 本報記者 江耘;我機器人足球隊三奪“世界杯” 比真人傳球更準(zhǔn)[N];科技日報;2018年

相關(guān)博士學(xué)位論文 前10條

1 陳永彬;基于語義SLAM的陪護(hù)機器人場景感知技術(shù)研究[D];廣東工業(yè)大學(xué);2019年

2 張國梁;基于局部時空特征的服務(wù)機器人行為感知方法研究[D];北京工業(yè)大學(xué);2019年

3 鄭華棟;面向激光熔覆成形的機器人路徑生成及優(yōu)化研究[D];大連理工大學(xué);2019年

4 羅文興;面向教育機器人的室內(nèi)定位研究[D];華中師范大學(xué);2018年

5 遲明路;花瓣型膠囊機器人游動特性與空間磁矩驅(qū)動策略[D];大連理工大學(xué);2018年

6 程敏;面向服務(wù)機器人的室內(nèi)動態(tài)環(huán)境地圖構(gòu)建的研究[D];中國科學(xué)技術(shù)大學(xué);2019年

7 江國來;共融移動服務(wù)機器人導(dǎo)航與交互關(guān)鍵技術(shù)研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院);2019年

8 趙慶營;基于分子通信的多納米機器人局部靶向藥物傳送關(guān)鍵技術(shù)研究[D];上海大學(xué);2018年

9 羅冰;時變氣流環(huán)境下飛行機器人搜尋氣味源關(guān)鍵問題研究[D];天津大學(xué);2017年

10 仲宇;分布式強化學(xué)習(xí)理論及在多機器人中的應(yīng)用研究[D];哈爾濱工程大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 顧t熻

本文編號：2659606