【摘要】：Robocup2D仿真平臺是一個動態(tài)的多智能體對抗體系,在仿真平臺上,球員智能體于每一個周期的動作選擇將直接決定了球隊的攻防能力,而球員在比賽過程中如何相互配合,更精確、快速的到達各自目標(biāo)點位進行進攻或防守是一切有效策略的前提條件。本文在三角剖分的陣型設(shè)計基礎(chǔ)上,以防守任務(wù)中的智能體動作選擇和陣型轉(zhuǎn)換中的球員跑位為工作重點,研究內(nèi)容如下:首先,將蒙特卡洛樹搜索算法引入2D仿真中,將球員智能體在球場上的狀態(tài)定義為博弈樹節(jié)點,將雙方球員的動作選擇視為節(jié)點間的狀態(tài)轉(zhuǎn)移,對于球隊的防守任務(wù)建立蒙特卡洛樹模型。利用極坐標(biāo)方式對球場進行區(qū)域分割,結(jié)合Q學(xué)習(xí)與蒙特卡洛樹搜索中的信心上限樹算法進行球隊訓(xùn)練,將訓(xùn)練結(jié)果的動作評估值用于優(yōu)化比賽代碼,得到了一個較為良好的動作選擇策略。其次,在分配智能體協(xié)調(diào)移動問題上提出了一種時間最小化的可擴展角色分配方法,對該方法的不同實現(xiàn)方式進行較為深層次的分析與比較,并將其應(yīng)用于2D平臺中球隊攻防轉(zhuǎn)換的陣型實現(xiàn)和球員進攻防守過程中的局部配合跑位上,把球員群體跑位問題模型化,使得球員的跑位更加高效與靈敏,減少了不必要的失誤。最后,通過把攻防轉(zhuǎn)換時的狀態(tài)定義為蒙特卡洛樹中的根節(jié)點,結(jié)合時間最小化角色分配方法進行智能體群防守聯(lián)合實驗,分析實驗數(shù)據(jù)優(yōu)化代碼參數(shù),通過比賽數(shù)據(jù)證明了方法的有效性。
[Abstract]:The Robocup2D simulation platform is a dynamic multi-agent antagonistic system. On the simulation platform, the action choice of the player agent in each cycle will directly determine the team's ability to attack and defend, and how the players cooperate with each other in the course of the game is more accurate. Fast arrival at the target point for attack or defense is a prerequisite for all effective strategies. On the basis of triangulation formation design, this paper focuses on agent action selection in defense task and player movement in formation transformation. The research contents are as follows: firstly, Monte Carlo tree search algorithm is introduced into 2D simulation. The state of player agent on the court is defined as the game tree node, the action selection of both players is regarded as the state transfer between the nodes, and the Monte Carlo tree model is established for the defense task of the team. Using polar coordinates to segment the area of the course, combining the Q-learning and the confidence upper tree algorithm in Monte Carlo tree search for team training, the training results of the action evaluation value is used to optimize the match code. A better action selection strategy is obtained. Secondly, a time-minimized scalable role assignment method is proposed to coordinate the movement of allocation agents. The different implementation methods of this method are analyzed and compared at a deeper level. And it is applied to the realization of team attack and defense transformation in 2D platform and the partial coordination movement in the process of player attack and defense. The problem of movement of player group is modeled to make the movement of players more efficient and sensitive. Unnecessary mistakes were reduced. Finally, by defining the state of attack and defense transformation as the root node in the Monte Carlo tree and combining with the role assignment method of time minimization, the joint experiment of agent group defense is carried out, and the experimental data is analyzed to optimize the code parameters. The validity of the method is proved by the competition data.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP242

【參考文獻】

相關(guān)期刊論文 前4條

1 石軻;陳小平;;行動驅(qū)動的馬爾可夫決策過程及在RoboCup中的應(yīng)用[J];小型微型計算機系統(tǒng);2011年03期

2 曹慧芳;劉知青;;基于WinCE應(yīng)用程序的圍棋游戲開發(fā)[J];軟件;2011年01期

3 夏曉梅;周干民;;基于定向Ford-Fulkerson算法的NoC路徑分配[J];合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版);2006年03期

4 詹明清;;瓶頸分配問題的圈小元素算法[J];武漢工學(xué)院學(xué)報;1994年02期

相關(guān)博士學(xué)位論文 前3條

1 柏愛俊;基于馬爾科夫理論的不確定性規(guī)劃和感知問題研究[D];中國科學(xué)技術(shù)大學(xué);2014年

2 邵偉;蒙特卡洛方法及在一些統(tǒng)計模型中的應(yīng)用[D];山東大學(xué);2012年

3 范長杰;基于馬爾可夫決策理論的規(guī)劃問題的研究[D];中國科學(xué)技術(shù)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前8條

1 徐曉星;2D仿真足球機器人系統(tǒng)的陣型與傳球配合[D];南京郵電大學(xué);2016年

2 凌兆龍;基于Delaunay三角網(wǎng)的RoboCup仿真2D陣型分析[D];安徽工業(yè)大學(xué);2016年

3 于永波;基于蒙特卡洛樹搜索的計算機圍棋博弈研究[D];大連海事大學(xué);2015年

4 曹一鳴;基于蒙特卡羅樹搜索的計算機撲克程序[D];北京郵電大學(xué);2014年

5 趙發(fā)君;RoboCup仿真2D系統(tǒng)的研究[D];安徽大學(xué);2013年

6 秦童;RoboCup中多智能體協(xié)作的研究[D];南京郵電大學(xué);2012年

7 石軻;基于馬爾可夫決策過程理論的Agent決策問題研究[D];中國科學(xué)技術(shù)大學(xué);2010年

8 胡凡;基于RoboCup仿真平臺的機器人足球協(xié)作策略的研究[D];武漢科技大學(xué);2009年

，

本文編號：2183159