【摘要】：機(jī)器人足球作為人工智能的一項(xiàng)重大挑戰(zhàn),集合了多類熱門研究于一身,是目前人工智能、多Agent系統(tǒng)研究的一個(gè)標(biāo)準(zhǔn)平臺(tái)。機(jī)器人足球智能可以從多Agnet協(xié)作、單機(jī)器人行為策略決策和行為動(dòng)作優(yōu)化等多個(gè)方向研究。本文著重于足球機(jī)器人行為動(dòng)作自主學(xué)習(xí)方向,引入強(qiáng)化學(xué)習(xí)算法,并針對(duì)多種足球機(jī)器人行為的強(qiáng)化學(xué)習(xí)進(jìn)行仿真,驗(yàn)證了強(qiáng)化學(xué)習(xí)在足球機(jī)器人行為動(dòng)作優(yōu)化上的可行性。本文首先概括的介紹了機(jī)器人足球系統(tǒng),對(duì)機(jī)器人足球的多個(gè)智能化研究方向進(jìn)行了闡述。介紹了傳統(tǒng)足球機(jī)器人行為動(dòng)作的實(shí)現(xiàn)方式,說(shuō)明了其方法的不足,提出了使用強(qiáng)化學(xué)習(xí)解決足球機(jī)器人行為控制上所面臨的問(wèn)題的思路。然后對(duì)強(qiáng)化學(xué)習(xí)進(jìn)行了詳細(xì)的闡述,從Markov決策過(guò)程開(kāi)始,引出了針對(duì)離散狀態(tài)空間Q學(xué)習(xí)算法,并針對(duì)連續(xù)狀態(tài)空間介紹了連續(xù)逼近法在強(qiáng)化學(xué)習(xí)中的應(yīng)用,并介紹了基于多層前饋神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法的實(shí)現(xiàn)過(guò)程。接著針對(duì)足球機(jī)器人截球行為,介紹了基于CMAC網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)算法。CMAC網(wǎng)絡(luò)具有結(jié)構(gòu)簡(jiǎn)單、學(xué)習(xí)速度快的特性。對(duì)足球機(jī)器人截球的實(shí)現(xiàn)做仿真,驗(yàn)證了該算法的有效性。根據(jù)CMAC網(wǎng)絡(luò)的不足,對(duì)CMAC網(wǎng)絡(luò)做出了改進(jìn),實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)輸出的連續(xù)逼近。使用基于改進(jìn)后的連續(xù)CMAC網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)再次對(duì)足球機(jī)器人截球進(jìn)行了仿真。然后針對(duì)足球機(jī)器人的躲避動(dòng)態(tài)障礙,提出了使用并行連續(xù)CMAC的強(qiáng)化學(xué)習(xí)算法,避免了高維輸入狀態(tài)空間導(dǎo)致的維數(shù)災(zāi)難。最后為了實(shí)現(xiàn)足球機(jī)器人以指定方向趨近目標(biāo)點(diǎn)的PID控制,將Actor-Critic學(xué)習(xí)算法應(yīng)用在PID控制中,最終實(shí)現(xiàn)了足球機(jī)器人以指定方向趨近目標(biāo)點(diǎn)的自適應(yīng)PID控制的仿真。
[Abstract]:As an important challenge of artificial intelligence, robot soccer is a standard platform for the research of artificial intelligence and multi-Agent system. Robot soccer intelligence can be studied from multiple Agnet collaboration, single robot behavior strategy decision and behavioral action optimization. This paper focuses on the autonomous learning direction of soccer robot behavior, introduces reinforcement learning algorithm, and simulates the reinforcement learning of various soccer robot behaviors, which verifies the feasibility of reinforcement learning in the optimization of soccer robot behavior. In this paper, the robot soccer system is introduced, and several intelligent research directions of robot soccer are described. This paper introduces the implementation of the traditional soccer robot behavior, explains the shortcomings of the method, and puts forward the idea of using reinforcement learning to solve the problem of the soccer robot behavior control. Then the reinforcement learning is elaborated in detail. Starting from the Markov decision-making process, the Q learning algorithm for discrete state space is introduced, and the application of continuous approximation method in reinforcement learning is introduced for continuous state space. The implementation of reinforcement learning algorithm based on multilayer feedforward neural network is introduced. Then the reinforcement learning algorithm based on CMAC network is introduced for soccer robot truncation. CMAC network has the characteristics of simple structure and fast learning speed. The simulation of soccer robot truncation is carried out, and the validity of the algorithm is verified. According to the deficiency of CMAC network, the CMAC network is improved to realize the continuous approximation of the output of neural network. The reinforcement learning based on the improved continuous CMAC network is used to simulate the soccer robot again. Then a reinforcement learning algorithm based on parallel continuous CMAC is proposed to avoid the dimensionality disaster caused by high-dimensional input state space in order to avoid the dynamic obstacle of soccer robot. Finally, in order to realize the PID control of the soccer robot approaching the target point in the specified direction, the Actor-Critic learning algorithm is applied to the PID control. Finally, the simulation of the adaptive PID control of the soccer robot approaching the target point in the specified direction is realized.
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP242

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 賈屹峰;濱化杯第二屆全國(guó)機(jī)器人足球錦標(biāo)賽[J];機(jī)器人技術(shù)與應(yīng)用;2000年06期

2 凌鳳琪,柳長(zhǎng)安,鮑國(guó)超;機(jī)器人足球仿真比賽中碰撞后行為的研究[J];計(jì)算機(jī)應(yīng)用研究;2003年12期

3 洪炳熔;機(jī)器人足球的最終目標(biāo)及其實(shí)現(xiàn)途徑[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年S1期

4 ;機(jī)器人足球表演[J];中國(guó)制造業(yè)信息化;2005年11期

5 王朝輝;周峰;;機(jī)器人足球射門動(dòng)作研究[J];大眾科技;2006年01期

6 ;機(jī)器人足球世界杯[J];國(guó)防科技;2006年07期

7 ;仿真機(jī)器人足球程序設(shè)計(jì)大賽落幕[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年02期

8 ;我校學(xué)生在世界杯機(jī)器人足球大賽中勇奪一金兩銀[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年09期

9 陳婷婷;張彥鐸;;機(jī)器人足球仿真比賽平臺(tái)中網(wǎng)絡(luò)通信問(wèn)題研究[J];武漢工程大學(xué)學(xué)報(bào);2009年03期

10 張潤(rùn)梅;龔劍;;基于機(jī)器人足球的大學(xué)生創(chuàng)新素質(zhì)培養(yǎng)的探索與實(shí)踐[J];計(jì)算機(jī)教育;2009年02期

相關(guān)會(huì)議論文 前10條

1 張小川;王牛;肖朝輝;雷李;;基于總體的機(jī)器人足球訓(xùn)練方案的思考[A];馬斯特杯2003年中國(guó)機(jī)器人大賽及研討會(huì)論文集[C];2003年

2 馮挺;方帥;徐心和;;面向用戶的機(jī)器人足球策略編輯器設(shè)計(jì)[A];2004中國(guó)機(jī)器人足球比賽暨學(xué)術(shù)研討會(huì)論文集[C];2004年

3 火鳳梅;;徐匯區(qū)中小幼學(xué)生虛擬機(jī)器人足球編程科教活動(dòng)方案[A];科學(xué)教育的實(shí)踐與探索[C];2012年

4 徐心和;曹洋;薛方正;;機(jī)器人足球——小型高科技對(duì)抗平臺(tái)[A];新世紀(jì) 新機(jī)遇 新挑戰(zhàn)——知識(shí)創(chuàng)新和高新技術(shù)產(chǎn)業(yè)發(fā)展（上冊(cè)）[C];2001年

5 張小川;紀(jì)綱;肖朝輝;成衛(wèi);;基于圖象處理的機(jī)器人足球感覺(jué)系統(tǒng)[A];現(xiàn)代通信理論與信號(hào)處理進(jìn)展——2003年通信理論與信號(hào)處理年會(huì)論文集[C];2003年

6 王行甫;莊嚴(yán);陳小平;;機(jī)器人足球與大學(xué)計(jì)算機(jī)教育的初步思考[A];全國(guó)第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2003年

7 符海東;梁應(yīng)毅;;機(jī)器人足球策略中的截球動(dòng)作設(shè)計(jì)[A];2005中國(guó)機(jī)器人大賽論文集[C];2005年

8 劉斐;盧惠民;鄭志強(qiáng);;一種穩(wěn)健的機(jī)器人足球場(chǎng)地標(biāo)示線提取方法[A];2007年足球機(jī)器人大會(huì)論文集[C];2007年

9 黃鵬;楊鵬;黃軍雷;劉作軍;;幾種運(yùn)動(dòng)規(guī)劃策略在機(jī)器人足球中的應(yīng)用[A];馬斯特杯2003年中國(guó)機(jī)器人大賽及研討會(huì)論文集[C];2003年

10 卓茗;唐華斌;;機(jī)器人足球視覺(jué)系統(tǒng)精度提高算法[A];馬斯特杯2003年中國(guó)機(jī)器人大賽及研討會(huì)論文集[C];2003年

相關(guān)重要報(bào)紙文章 前10條

1 崔峰;機(jī)器人足球的開(kāi)拓者[N];人民日?qǐng)?bào)海外版;2003年

2 洪炳昒;發(fā)展機(jī)器人足球 推動(dòng)信息化建設(shè)[N];光明日?qǐng)?bào);2007年

3 石松;中國(guó)機(jī)器人足球的開(kāi)拓者[N];科技日?qǐng)?bào);2006年

4 ;我國(guó)機(jī)器人足球現(xiàn)狀[N];經(jīng)濟(jì)參考報(bào);2000年

5 謝遠(yuǎn)景 閆佳;機(jī)器人足球：沖出亞洲走向世界[N];科技日?qǐng)?bào);2005年

6 本報(bào)記者　 張亮;機(jī)器人足球世界杯能為我們帶來(lái)什么？[N];科技日?qǐng)?bào);2006年

7 東北大學(xué)人工智能與機(jī)器人研究所所長(zhǎng) 徐心和;機(jī)器人足球[N];科技日?qǐng)?bào);2001年

8 記者　李曉明 張振;“華煤杯”第七屆全國(guó)機(jī)器人足球錦標(biāo)賽暨’2006中國(guó)·平?jīng)鲠轻嘉幕糜喂?jié)開(kāi)幕[N];平?jīng)鋈請(qǐng)?bào);2006年

9 本版編輯 國(guó)際機(jī)器人足球聯(lián)盟(FIRA)副主席 FIRA中國(guó)分會(huì)會(huì)長(zhǎng) 洪炳昒　甘肅省人大常委會(huì)副主任 丁澤生　中國(guó)人工智能學(xué)會(huì)理事長(zhǎng) 鐘義信　平?jīng)鍪形睍?shū)記、市長(zhǎng) 馬學(xué)軍;在“華煤標(biāo)”第七屆全國(guó)機(jī)器人足球錦標(biāo)賽暨’2006中國(guó)·平?jīng)鲠轻嘉幕糜喂?jié)開(kāi)幕式上的講話(摘要)[N];平?jīng)鋈請(qǐng)?bào);2006年

10 趙s，

本文編號(hào)：2347236