發(fā)布時(shí)間：2020-10-31 21:10

　　 計(jì)算機(jī)生成兵力(Computer Generated Forces,CGF)的行為建模一直是作戰(zhàn)仿真技術(shù)中的重點(diǎn)和難點(diǎn)。在一些典型的CGF系統(tǒng)開發(fā)實(shí)踐中,行為模型需要大量地依賴領(lǐng)域相關(guān)人員參與構(gòu)建,以形成足夠的領(lǐng)域知識(shí)驅(qū)動(dòng)復(fù)雜行為。但是這些模型主要產(chǎn)生反應(yīng)式行為,除了構(gòu)建過(guò)程繁瑣之外,也無(wú)法對(duì)人的高級(jí)認(rèn)知活動(dòng)(如態(tài)勢(shì)感知、任務(wù)規(guī)劃和推理決策等)進(jìn)行有效表示。論文主要探索了將蒙特卡洛樹搜索(Monte Carlo Tree Search,MCTS)應(yīng)用于CGF戰(zhàn)術(shù)決策的問題,意在實(shí)現(xiàn)能夠使CGF在虛擬戰(zhàn)場(chǎng)中表現(xiàn)出更具智能性的行為模型。MCTS本身是結(jié)合隨機(jī)采樣的最佳優(yōu)先搜索,能夠求解狀態(tài)空間較大的問題。同時(shí),其在推理過(guò)程中考慮了敵我雙方的可能行動(dòng),在此基礎(chǔ)上形成對(duì)不同方案的評(píng)估,這種方式非常適合分析類似作戰(zhàn)這種存在動(dòng)態(tài)對(duì)抗的環(huán)境。論文針對(duì)戰(zhàn)場(chǎng)環(huán)境的特點(diǎn),設(shè)計(jì)了基于Agent的CGF決策行為建�？蚣�,在這個(gè)框架下,闡述了以MCTS為主要技術(shù)的推理決策構(gòu)建過(guò)程。而本文工作在這個(gè)基本設(shè)定上進(jìn)行,面向MCTS應(yīng)用于CGF戰(zhàn)術(shù)決策的具體問題,針對(duì)幾項(xiàng)關(guān)鍵技術(shù)展開研究,形成本文的主要貢獻(xiàn)和創(chuàng)新點(diǎn),這里可以概括為四個(gè)方面:(1)提出一種分層任務(wù)網(wǎng)絡(luò)規(guī)劃(Hierarchical Task Network,HTN)引導(dǎo)的樹搜索算法,通過(guò)HTN規(guī)劃的結(jié)果限制MCTS的搜索空間、引導(dǎo)搜索過(guò)程,同時(shí)也利用MCTS的前向推理能力,對(duì)HTN中蘊(yùn)含的領(lǐng)域知識(shí)進(jìn)行探索,以此實(shí)現(xiàn)高質(zhì)量的CGF實(shí)時(shí)決策。(2)提出一種基于信念的MCTS算法,以實(shí)現(xiàn)MCTS在信息不完備環(huán)境中的應(yīng)用。相對(duì)基本的MCTS,主要對(duì)樹模型結(jié)構(gòu)進(jìn)行了擴(kuò)展,加入了歷史觀測(cè)值序列的元素,并且應(yīng)用粒子濾波方法構(gòu)建信念狀態(tài)及其更新過(guò)程;最后在決策應(yīng)用上,是通過(guò)對(duì)信念隨機(jī)采樣的確定化搜索,實(shí)現(xiàn)對(duì)不確定信息的推理。(3)提出一種基于Chebyshev度量的多目標(biāo)MCTS算法,以實(shí)現(xiàn)MCTS在多目標(biāo)環(huán)境設(shè)置下的應(yīng)用。所提方法使用Chebyshev度量構(gòu)建關(guān)于多優(yōu)化目標(biāo)的非線性標(biāo)量和,以此影響MCTS的搜索過(guò)程以及最佳策略選定,可以針對(duì)復(fù)雜問題有效尋找最符合目標(biāo)偏好設(shè)定的Pareto最優(yōu)解,而無(wú)論問題的Pareto前端是否具有非凸區(qū)域。(4)提出一種基于Option框架的問題自動(dòng)抽象方法,實(shí)現(xiàn)規(guī)劃應(yīng)用中的知識(shí)自動(dòng)構(gòu)建,可以使規(guī)劃基于Option進(jìn)行,從而提高效率。本文主要通過(guò)社團(tuán)發(fā)現(xiàn)算法實(shí)現(xiàn)Option自動(dòng)構(gòu)建,并提出Option在應(yīng)用場(chǎng)景中基于社團(tuán)動(dòng)態(tài)修正的在線優(yōu)化方法。這些方法均通過(guò)基準(zhǔn)對(duì)比試驗(yàn)證明了有效性,為在規(guī)模巨大問題中的應(yīng)用奠定了一定的基礎(chǔ)。論文最后總結(jié)了全文研究工作,并提出需要進(jìn)一步完善的問題,展望了未來(lái)的研究方向。
【學(xué)位單位】：國(guó)防科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2018
【中圖分類】：E91;O225
【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 研究現(xiàn)狀綜述
        1.2.1 CGF行為建模方法
        1.2.2 蒙特卡洛樹搜索方法
        1.2.3 研究現(xiàn)狀總結(jié)與分析
    1.3 論文主要工作及研究意義
        1.3.1 論文的研究?jī)?nèi)容
        1.3.2 論文的研究意義
    1.4 論文組織結(jié)構(gòu)
第二章 基于蒙特卡洛樹搜索的決策行為框架
    2.1 CGF決策過(guò)程描述模型
        2.1.1 OODA環(huán)路
        2.1.2 認(rèn)知主導(dǎo)的決策模型
    2.2 基于Agent的 CGF行為建模
        2.2.1 Agent與多Agent系統(tǒng)
        2.2.2 基于Agent的決策行為建�？蚣�
    2.3 基于蒙特卡洛樹搜索的決策過(guò)程構(gòu)建
        2.3.1 蒙特卡洛樹搜索
        2.3.2 CGF戰(zhàn)術(shù)決策過(guò)程構(gòu)建
    2.4 關(guān)鍵問題分析
        2.4.1 領(lǐng)域知識(shí)引導(dǎo)的樹搜索方法
        2.4.2 部分可觀條件下的樹搜索方法
        2.4.3 多目標(biāo)條件下的樹搜索方法
        2.4.4 基于Option的問題自動(dòng)抽象方法
    2.5 本章小結(jié)
第三章 基于HTN規(guī)劃的蒙特卡洛樹搜索
    3.1 引言
    3.2 預(yù)備知識(shí)
        3.2.1 HTN規(guī)劃基本概念
        3.2.2 基于HTN的決策行為構(gòu)建
    3.3 HTN規(guī)劃引導(dǎo)的MCTS算法
        3.3.1 UCTCD算法
        3.3.2 HTN規(guī)劃引導(dǎo)樹搜索過(guò)程
    3.4 應(yīng)用實(shí)例研究
        3.4.1 案例描述
        3.4.2 狀態(tài)和行動(dòng)抽象
        3.4.3 指揮員HTN構(gòu)建
        3.4.4 試驗(yàn)及結(jié)果分析
    3.5 本章小結(jié)
第四章 基于信念狀態(tài)的蒙特卡洛樹搜索
    4.1 引言
        4.1.1 問題定義
        4.1.2 相關(guān)研究
    4.2 方法
        4.2.1 BS-UCTCD算法
        4.2.2 基于粒子濾波的信念更新
    4.3 應(yīng)用案例研究
        4.3.1 想定描述
        4.3.2 試驗(yàn)與結(jié)果分析
    4.4 方法討論
    4.5 本章小結(jié)
第五章 基于Chebyshev度量的多目標(biāo)蒙特卡洛樹搜索
    5.1 引言
    5.2 研究背景
        5.2.1 多目標(biāo)優(yōu)化問題
        5.2.2 相關(guān)工作
    5.3 方法
        5.3.1 樹搜索中的Pareto存檔機(jī)制
        5.3.2 基于Chebyshev度量的MO-MCTS
    5.4 基準(zhǔn)問題測(cè)試
    5.5 應(yīng)用案例研究
        5.5.1 指揮員AI設(shè)定
        5.5.2 試驗(yàn)與結(jié)果分析
    5.6 本章小結(jié)
第六章 基于Option的問題自動(dòng)抽象
    6.1 引言
        6.1.1 問題定義
        6.1.2 相關(guān)工作
    6.2 預(yù)備知識(shí)
        6.2.1 強(qiáng)化學(xué)習(xí)
        6.2.2 Option框架
    6.3 基于社團(tuán)發(fā)現(xiàn)的Option構(gòu)建
        6.3.1 社團(tuán)發(fā)現(xiàn)與Louvain算法
        6.3.2 從社團(tuán)構(gòu)建Option
    6.4 應(yīng)用場(chǎng)景中的Option優(yōu)化處理
        6.4.1 基于規(guī)則的社團(tuán)修正
        6.4.2 社團(tuán)動(dòng)態(tài)修正下的Option應(yīng)用
    6.5 試驗(yàn)驗(yàn)證
        6.5.1 基準(zhǔn)問題測(cè)試
        6.5.2 增量式Option優(yōu)化測(cè)試
    6.6 方法討論
    6.7 本章小結(jié)
第七章 結(jié)論與展望
    7.1 論文工作總結(jié)
    7.2 未來(lái)工作展望
致謝
參考文獻(xiàn)
作者在學(xué)期間取得的學(xué)術(shù)成果

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃介農(nóng);寧根福;;追尋雜技走向藝術(shù)的夢(mèng)——記寧根福榮獲蒙特卡洛國(guó)際馬戲節(jié)40周年“特殊貢獻(xiàn)獎(jiǎng)”[J];雜技與魔術(shù);2016年02期

2 ;第39屆蒙特卡洛國(guó)際馬戲節(jié)金獎(jiǎng)節(jié)目一覽[J];雜技與魔術(shù);2015年02期

3 ;世界賽車賽歷[J];汽車之友;2017年04期

4 雷宏偉;尹博崴;;別瞧不起“鄉(xiāng)下人” MINI COUNTRYMAN 2.0T COOPER S ALL4旅行家試駕[J];汽車之友;2017年12期

5 曉天;;MINI JOHN COOPER WORKS GP CONCEPT 戰(zhàn)斗版MINI[J];汽車知識(shí);2017年10期

6 宓魯;;彈指揮間二十年(五)——我與蒙特卡洛國(guó)際馬戲節(jié)的交往[J];雜技與魔術(shù);2013年06期

7 宓魯;;彈指揮間二十年(三)——我與蒙特卡洛國(guó)際馬戲節(jié)的交往[J];雜技與魔術(shù);2013年04期

8 王峰;;驕人的蒙特卡洛國(guó)際馬戲節(jié)[J];雜技與魔術(shù);1999年02期

9 ;第23屆蒙特卡洛國(guó)際馬戲節(jié)外國(guó)節(jié)目風(fēng)彩[J];雜技與魔術(shù);1999年02期

10 黃五群;陳天崙;鐘朝武;李志兵;;二維三角點(diǎn)陣的蒙特卡洛重整化群研究[J];高能物理與核物理;1987年01期

相關(guān)博士學(xué)位論文 前10條

1 許霄;面向CGF戰(zhàn)術(shù)決策的蒙特卡洛樹搜索方法研究[D];國(guó)防科技大學(xué);2018年

2 朱娟;蒙特卡洛濾波算法在目標(biāo)跟蹤中的應(yīng)用[D];中國(guó)科學(xué)院研究生院（長(zhǎng)春光學(xué)精密機(jī)械與物理研究所）;2010年

3 徐櫟;面向可靠性的含分布式電源配電系統(tǒng)相關(guān)問題研究[D];天津大學(xué);2015年

4 張和喜;貴州區(qū)域干旱演變特征及預(yù)測(cè)模型研究[D];沈陽(yáng)農(nóng)業(yè)大學(xué);2013年

5 黎靜;基于解析蒙特卡洛方法的載波調(diào)制水下激光通信研究[D];華中科技大學(xué);2013年

6 柏愛俊;基于馬爾科夫理論的不確定性規(guī)劃和感知問題研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

7 王越;基于交叉熵理論的電力系統(tǒng)短期可靠性評(píng)估[D];浙江大學(xué);2014年

8 侯愷;電力系統(tǒng)可靠性評(píng)估方法改進(jìn)與應(yīng)用研究[D];天津大學(xué);2016年

9 石博雅;牙齒與皮膚組織光學(xué)相干層析成像建模及應(yīng)用研究[D];天津大學(xué);2014年

10 藍(lán)帆;片上網(wǎng)絡(luò)的系統(tǒng)可工作性建模、仿真與加速[D];浙江大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 符天凡;基于聚類的隨機(jī)梯度馬爾科夫鏈蒙特卡洛算法[D];上海交通大學(xué);2018年

2 靳康萌;考慮風(fēng)電出力和負(fù)荷不確定性的電—?dú)饩C合能源系統(tǒng)概率能流算法研究[D];北京交通大學(xué);2019年

3 李永飛;基于機(jī)器學(xué)習(xí)的空管沖突識(shí)別與調(diào)配技術(shù)研究[D];南京航空航天大學(xué);2019年

4 王振宇;圍棋自對(duì)弈系統(tǒng)在高性能運(yùn)算集群上的構(gòu)建與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

5 林云川;基于深度學(xué)習(xí)和蒙特卡洛樹搜索的圍棋博弈研究[D];哈爾濱工業(yè)大學(xué);2018年

6 何麗麗;束縛條件下氫同位素分子的量子蒙特卡洛研究[D];吉林大學(xué);2018年

7 馬全海;基于序貫蒙特卡洛的概率假設(shè)密度濾波算法研究[D];西安工程大學(xué);2017年

8 劉爽;信息的價(jià)值在馬爾可夫決策理論下的應(yīng)用[D];電子科技大學(xué);2018年

9 李楊;基于蒙特卡洛模擬與仿生算法的微電網(wǎng)收益優(yōu)化研究[D];北京交通大學(xué);2017年

10 周進(jìn);面向博物館的高真實(shí)感展示技術(shù)研究[D];浙江大學(xué);2017年

本文編號(hào)：2864512