近年來,隨著機器人技術的不斷發(fā)展,服務機器人逐漸在人類生產生活中得到應用。在一些特殊的應用場景中,腿足式機器人比輪式機器人更靈活有效,逐漸成為機器人研究領域的熱點。步態(tài)控制是雙足機器人正常工作的基礎,主要是指機器人依靠自身雙足完成平衡控制、魯棒行進、跌落復原等動作,涉及多自由度關節(jié)驅動、運動控制、姿態(tài)感知等問題。為實現(xiàn)腿足機器人運動平衡,其控制策略需要避免在運動規(guī)劃時出現(xiàn)腿足碰撞。傳統(tǒng)的控制方法首先對雙腿建立精確的數學模型,然后,根據人類步態(tài)分析設計平衡判據,以此規(guī)劃腿足末端的運動軌跡,最后,通過正逆運動學方程求出各腿部關節(jié)的角度。傳統(tǒng)腿足式機器人控制方法存在計算量大、魯棒性低、通用性差等問題,深度強化學習算法為解決這—問題提供了新思路。深度強化學習從實際場景出發(fā)通過智能體與環(huán)境交互能夠自主探索動作空間,從環(huán)境反饋中學習運動控制策略,避免了數學模型不精確帶來的問題,在訓練中能夠不斷增強魯棒性。本文旨在使用深度強化學習控制雙足機器人的步行運動,提高雙足機器人步行控制算法的通用性和魯棒性。首先,本文在介紹國內外雙足機器人平衡控制與強化學習算法的基本概念及研究進展的基礎上,設計了基于視覺的機... 

【文章來源】：山東大學山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數】：94 頁

【學位級別】：碩士

【部分圖文】：

圖１－１深度強化學習仿真研宄??

?山東大學碩士學位論文???移動的策略。ＨｗａｎｇｂｏｔＷ等人在機器人ＡＮＹｍａｌ上實現(xiàn)了控制策略的??遷移，如圖ｌ－２（ａ）；?Ｔａｎ［３９］等人在Ｍｉｎｉｔｕａｉ機器人上實現(xiàn)平衡步態(tài)的遷??移，如圖ｌ－２（ｂ）；?Ｘｉｅ＿等人以Ｃａｓｓｉｅ機器人遷移了雙足平衡控制方??法，如圖ｌ－２（ｃ）；?ＯｐｅｎＡＩ公司利用深度強化學習的方法訓練智能機械??手從抓握手中的物體，并實現(xiàn)了單手復原魔方的操作［４Ｍ２］，如圖??ｌ－２（ｄ）〇??（ａ）?ＡＮＹｍａｌ?機器人?（ｂ）?Ｍｉｎｉｔｕａｉ?機器人??Ｈ?Ｕ?嚇??（ｃ）?Ｃａｓｓｉｅ?機器人?（ｄ）?ＯｐｅｉｉＡｌ?機械手??圖１－２深度強化學習在機器人領域的應用??（３）遷移學習的應用。在深度強化學習研究初期，Ｇｏｏｇｌｅ公司斥??巨資在實體機器人上訓練并采集數據，成本十分高昂。為了解決這個??問題，通過仿真環(huán)境訓練機器人，再將學習到的控制策略遷移到實體??機器人是一個很好的思路。為此ＤｅｅｐＭｉｎｄ公司提出的漸進式神經網??絡［４?３?］，通過構造多組神經網絡分布集成訓練的方式提高了智能體的學??習能力，完成了機械臂的抓取任務，并成功遷移到實體機器人，驗證??了遷移的可行性。雖然遷移具有可行性，但是遷移后的控制策略在實??體機器人環(huán)境中運行時的表現(xiàn)并不理想。??（４）模仿學習的應用。深度強化學習雖然一定程度上解決了機器??人的控制問題，但是通常需要在仿真環(huán)境中進行大量的訓練才能實??９??

ｙ，??ＣｏＧ）的投影始終位于支撐多邊形區(qū)域（ｓｕｐｐｏｒｔ?ｒｅｇｉｏｎ）內，這可以保??證其行走動作停止時保持穩(wěn)定，但速度較慢，如圖ｌ－３（ａ）。??．ＺＭＰ＿?ＺＭＰ?Ｓｉｎｇｌｅ?ｓｕｐｐｏｒｔ?ｐｈａｓｅ?Ｄｏｕｂｌｅ?ｓｕｐｐｏｒｔ?ｐｈａｓｅ?Ｕｎｓｔａｂｌｅ?ｐｏｓｉｔｉｏｎ??＾?Ｓｔａｂｌｅ?ｐｏｓｉｔｉｏｎ?Ｓｔａｂｌｅ?ｐｏｓｉｔｉｏｎ??ｕｎｓｔａｂｌｅ?ｐｏｓｉｕｏｎ?Ｍａｂｌｃ?ｐｏｓｉｔｉｏｎ??（ａ）靜態(tài)步行策略?（ｂ）動態(tài)步行策略??圖１－３雙足步態(tài)模式圖??１．３．２動態(tài)步行策略??１．基于模型的控制??基于模型的控制主要有線性倒立擺模型、被動步態(tài)模型和彈簧質??量模型，動態(tài)步行策略示意圖見圖ｌ－３（ｂ）。１＾６！１１３１１１丨［４６］等人首先提出使??用線性倒立擺模型，將雙足機器人的步行運動過程映射為倒立擺的運??動過程，由此設計出雙足機器人穩(wěn)定行走步態(tài)。倒立擺模型使雙足機??器人的運動控制問題得到簡化，系統(tǒng)的狀態(tài)變量只有機器人質心的位??置、速度和支撐點的位置，通過質心運動方式和落腳點設計生成步態(tài)，??再基于逆運動學反解，即可求得到各關節(jié)軌跡，為后續(xù)機器人在不同??環(huán)境不同要求下的行走任務奠定了基礎，但在考慮行走效果時，不精??１０??

【參考文獻】：
期刊論文
[1]基于AM-RPPO的雙足機器人適應性行走控制算法[J]. 馬璐,劉成菊,林立民,徐斌辰,陳啟軍.  機器人. 2019(06)
[2]深度強化學習理論及其應用綜述[J]. 萬里鵬,蘭旭光,張翰博,鄭南寧.  模式識別與人工智能. 2019(01)
[3]基于值函數和策略梯度的深度強化學習綜述[J]. 劉建偉,高峰,羅雄麟.  計算機學報. 2019(06)
[4]邁進高維連續(xù)空間:深度強化學習在機器人領域中的應用[J]. 多南訊,呂強,林輝燦,衛(wèi)恒.  機器人. 2019(02)
[5]深度強化學習研究綜述[J]. 趙星宇,丁世飛.  計算機科學. 2018(07)
[6]深度逆向強化學習研究綜述[J]. 陳希亮,曹雷,何明,李晨溪,徐志雄.  計算機工程與應用. 2018(05)
[7]仿人服務機器人發(fā)展與研究現(xiàn)狀[J]. 顏云輝,徐靖,陸志國,宋克臣,柳博航.  機器人. 2017(04)
[8]基于知識的深度強化學習研究綜述[J]. 李晨溪,曹雷,張永亮,陳希亮,周宇歡,段理文.  系統(tǒng)工程與電子技術. 2017(11)
[9]深度強化學習綜述[J]. 劉全,翟建偉,章宗長,鐘珊,周倩,章鵬,徐進.  計算機學報. 2018(01)
[10]工業(yè)機器人的研發(fā)及應用綜述[J]. 孟明輝,周傳德,陳禮彬,馮淼,苗純正.  上海交通大學學報. 2016(S1)

博士論文
[1]雙足機器人高效行走的自適應控制研究[D]. 宋夙冕.浙江大學 2018

碩士論文
[1]基于SoC和增強學習的平面雙足行走控制研究[D]. 楊鑫.重慶郵電大學 2019
[2]雙足機器人跑跳步態(tài)規(guī)劃與平衡控制研究[D]. 李奕達.浙江大學 2019
[3]雙足人形機器人步態(tài)規(guī)劃和穩(wěn)定性研究[D]. 張月.哈爾濱工業(yè)大學 2017
[4]雙足步行機器人的步態(tài)規(guī)劃與神經網絡控制[D]. 張洪賓.華南理工大學 2016
[5]雙足機器人行走步態(tài)平滑切換方法研究[D]. 曾桂容.浙江大學 2016



本文編號：3580997