發(fā)布時間：2020-10-14 21:30

　　 近年來,深度強化學習在許多領域都取得了一定的成功并得到了廣泛的應用。其應用是否具備承受攻擊能力和強抗打擊能力也隨之成為近年來的關注熱點。因此,在人工智能安全性的大背景下,本文挑選了深度強化學習中極具代表性及經(jīng)典的深度Q網(wǎng)絡(DQN)算法進行研究。同時將強化學習系統(tǒng)中的智能體自動尋路應用作為對抗應用場景,構建應用上貼近民用的無人駕駛和軍事實戰(zhàn)的具有代表性的AI強化學習系統(tǒng),并針對DQN對對抗性樣本的脆弱性,對其進行攻擊。本文利用DQN算法實現(xiàn)智能體的自主尋路,尋路路徑為最優(yōu)最短路徑,同時對尋路路徑的規(guī)則及特點進行分析和評估。基于此,本文提出了基于白盒的對抗性樣本生成算法(WAG)和基于WAG算法的對抗性樣本預測模型(APM)兩種方法。在對抗性樣本生成的研究中,通過對影響DQN路徑規(guī)劃算法的兩個的因素Q值和梯度值進行分析和總結,提出了基于白盒的對抗性樣本生成算法(WAG)。該算法可以實現(xiàn)對所有可能對路徑規(guī)劃造成攻擊的對抗性樣本點的檢測。這些對抗性樣本會不同程度的干擾智能體尋路,使其通過自主尋路無法達到應有的最優(yōu)最短路徑并能夠成功的降低它的訓練效率。在對抗性樣本的預測研究中,本文提出了對抗性樣本預測模型(APM)。對通過WAG算法找到的所有疑似對抗性樣本的特征進行分析,根據(jù)對抗性樣本對路徑的影響程度即尋路時長和尋路步長將對抗性樣本分為兩類,分別為普通攻擊點和致命攻擊點。然后,提取對抗性樣本的Q值和梯度值特征,利用典型相關分析算法(CCA)實現(xiàn)特征之間的關聯(lián)和融合。同時對對抗性樣本建立標簽,將對路徑規(guī)劃影響最大的點命名為“致命攻擊點”,除該點外的點命名為“普通攻擊點”。最后利用K近鄰算法(KNN)實現(xiàn)對兩種類型對抗性樣本點的預測。為了證明WAG和APM兩個方法的有效性,本文構建了一個仿真環(huán)境作為平臺進行實驗。首先制定了是否為對抗性樣本的判定標準,然后通過大量的實驗發(fā)現(xiàn)通過提出的WAG算法可以成功的找到對抗性樣本,并且從多個角度對實驗結果進行分析。最后,通過APM方法建立分類預測模型,通過實驗證明該模型能較好的實現(xiàn)對兩種類型的對抗性樣本點的預測,且分類模型的準確率達到了94.8%。
【學位單位】：北京交通大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP18
【部分圖文】：

點）的情況下，借助算法能夠使智能體自動算出運動路徑從而實現(xiàn)自主尋路的過??程。也就是說，智能體依據(jù)某個優(yōu)化原則在尋路過程中避開障礙物找到一條從起??點到終點的最優(yōu)最短路徑。如圖１－１所示，為路徑規(guī)劃模型的框架圖。??６??

生成及預測研究。??１．４論文結構安排??本文一共分為六章。文章的結構及研究內容如圖１－２所示。??研究對象?研究目標??ＡＩ強化學習系統(tǒng)對抗?對抗樣本生成及預測??的：?對抗樣本類：議兩類職性??強化，法：?：型及特征：樣賴測１??Ｖ－?￣?￣?￣??研究內容??（?基于ＤＱＮ算法的路徑規(guī)劃??ｆ?……?、??／?對抗樣本生成與構建１／基于ＷＡＧ算法的對＼??Ｉ基子白盒的對抗樣本生成＾?抗樣本預測模型；??＼ｖ?算法（ＷＡＧ）?八?（ＡＰＭ）?：ｊ??／一一－：？「?＇??ｊｇ?仿真實驗構建及模型性能評估??＇＇＾＾ＫＪＵＷ，?■????？??—??圖１－２研究內容框架圖??Ｆｉｇｕｒｅ?１－２?Ｆｒａｍｅ?ｄｉａｇｒａｍ?ｏｆ?ｒｅｓｅａｒｃｈ?ｃｏｎｔｅｎｔ??為了更好的梳理文章的研究內容，現(xiàn)將文章的結構和安排介紹如下：??論文的第一章為引言部分。在本章中我們簡要介紹了基于深度強化學習的相??關研究背景，課題的研究目的、意義及將深度強化學習應用于路徑規(guī)劃場景下的創(chuàng)??新意義。分析了國內外相關研究領域，按照不同的類型接介紹了最具代表性的幾種??強化學習算法。簡要介紹了深度強化學習在路徑規(guī)劃問題上的研究現(xiàn)狀及應用。并??給出論文的預期研究成果與結構安排。??論文的第二章為理論基礎與背景知識。在本章中我們介紹了深度強化學習的??９??

層是一個５ｘ５ｘ３的過濾器，過濾器的深度與輸入圖像的深度相同，過濾器從頂端??開始依次掃過圖像，并與輸入圖像進行卷積得到一個３２ｘ３２ｘ１的特征圖。這樣，??通過卷積層可以得到更深層次的特征圖。如圖２－１所示是卷積神經(jīng)網(wǎng)絡的概念示范??圖，其中Ｃ層為特征提取層，Ｓ層為特征映射層。輸入圖像通過三個過濾器和可加??偏執(zhí)進行卷積，通過Ｃ１層會產(chǎn)生三個特征映射圖，通過一個Ｓｉｇｍｏｉｄ函數(shù)可以得??到三個Ｓ２層的特征映射圖，再經(jīng)過過濾器得到Ｃ３層，再通過Ｓｉｇｍｏｉｄ函數(shù)得到??Ｓ４，這樣多次迭代這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)??絡，得到輸出。??池化層是對通過卷積層得到的特征圖進行壓縮，使特征圖變小，參數(shù)減小來簡??化網(wǎng)絡計算的復雜度。它一般有兩種方法，一種是最大池化另一種是平均池化。最??大池化是在特征圖中的每一個區(qū)域中尋找像素最大值
【相似文獻】

相關期刊論文 前10條

1 喬鑫偉;;百姓的糧倉[J];數(shù)據(jù);2013年08期

2 丁衛(wèi)平;李越;仲慶國;;創(chuàng)新調查實施模式 提高直接調查能力——泰州調查隊推行調查樣本點直接管理工作的思考與實踐[J];中國統(tǒng)計;2010年11期

3 曾昭賢;張茂軍;王煒;熊志輝;;基于樣本點能量擴散模型的聚類[J];計算機應用;2011年09期

4 歐陽資生;吳喜之;;修正的Pickands估計樣本點分割的自助估計方法[J];應用數(shù)學學報;2006年02期

5 李榮江;;計算古典概率的若干簡化方法[J];數(shù)理醫(yī)藥學雜志;2008年05期

6 王少波,柴艷麗,梁醒培;神經(jīng)網(wǎng)絡學習樣本點的選取方法比較[J];鄭州大學學報(工學版);2003年01期

7 蔣友寶;黃星星;廖國宇;張建仁;;基于多線性支持向量機的樣本點正確分類與復雜失效方程穩(wěn)步模擬[J];計算力學學報;2015年03期

8 梁路;龔奔龍;黎劍;滕少華;;一種緩解分類面交錯的樣本點擴散方法[J];計算機科學;2017年09期

9 肖海峰;德國的農產(chǎn)量特別調查[J];北京統(tǒng)計;1997年05期

10 李大偉;呂震宙;張磊剛;;基于優(yōu)化樣本點的雙重Kriging模型的重要性測度求解方法[J];西北工業(yè)大學學報;2014年02期

相關博士學位論文 前2條

1 常海超;近似理論在船型優(yōu)化中的應用研究[D];武漢理工大學;2014年

2 朱寶;虛擬樣本生成技術及建模應用研究[D];北京化工大學;2017年

相關碩士學位論文 前10條

1 白肖璇;針對DQN在路徑規(guī)劃應用中的對抗性樣本生成及預測研究[D];北京交通大學;2019年

2 趙林杰;基于多響應面方法的結構失效模式識別與可靠度分析[D];長沙理工大學;2018年

3 王偉文;拉普拉斯特征映射新增樣本點問題及正則化降維研究[D];暨南大學;2017年

4 胡秀英;基于噪聲樣本點的曲線、曲面重構[D];天津大學;2008年

5 閆陽;結構可靠性分析的數(shù)值模擬方法研究[D];清華大學;2012年

6 彭曉琳;基于閉包的分類判別方法研究[D];武漢理工大學;2008年

7 于光華;基于樣本選擇的復雜分類問題研究[D];天津大學;2017年

8 萬韓永;基于樣本重要性原理的KNN文本分類算法[D];江西師范大學;2015年

9 許翠云;模糊支持向量機的研究及其在基因分類中的應用[D];南京林業(yè)大學;2013年

10 周永磊;基于Side-Information的若干學習問題研究[D];清華大學;2005年

本文編號：2841218