發(fā)布時間：2021-07-21 03:38

　　安全套接字層（SSL）和傳輸層安全協(xié)議（TLS）是網(wǎng)絡(luò)安全的基礎(chǔ)。SSL/TLS協(xié)議的程序?qū)崿F(xiàn)中證書驗證模塊至關(guān)重要,且其可能成為整個網(wǎng)絡(luò)生態(tài)系統(tǒng)中的“薄弱環(huán)節(jié)”。在以往的研究中,研究內(nèi)容主要集中在證書驗證的自動化測試上,通過隨機組合種子證書的各個部分來生成大量證書進行模糊測試。雖然生成的證書可以滿足語義與語法約束,但成本相當高,而且由于隨機性,生成測試用例的有效性受到限制。為了填補這一空白,本文提出了第一個將深度強化學(xué)習(xí)應(yīng)用于SSL/TLS證書驗證程序的自動化測試框架DRLgencert。DRLgencert接受普通證書作為輸入,并輸出新生成的證書,且新生成的證書集更可能幫助發(fā)現(xiàn)程序缺陷。得益于深度強化學(xué)習(xí),在生成證書時,我們的框架可以根據(jù)之前經(jīng)驗選擇最佳的下一步操作,而不是簡單的隨機組合合成證書。同時,我們設(shè)計一套新的方案來支持框架的總體設(shè)計,比如X.509證書的新特征提取方法、細粒度差異測試等等。此外,我們還實現(xiàn)了DRLgencert的框架原型,并進行了一系列的實驗。實驗結(jié)果表明,DRLgencert是有效的,在第一輪的證書生成中,我們依據(jù)181900個證書種子生成181900個... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１：證書鏈結(jié)構(gòu)??

強化學(xué)習(xí)算法Ｑ－ｌｅａｍｍｇ在處理學(xué)習(xí)任務(wù)時，僅能適配有限狀態(tài)的任務(wù)。??Ｑ－ｌｅａｍｍｇ算法學(xué)習(xí)過程中會持續(xù)更新一張表，該表記錄每個狀態(tài)采用任意動作時??可反饋多少獎勵值。然而，現(xiàn)實情況下，學(xué)習(xí)任務(wù)要復(fù)雜的多，狀態(tài)（ｓｔａｔｅ）難以??以有限、離散數(shù)表達。深度強化學(xué)習(xí)結(jié)合了神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)，使用神經(jīng)網(wǎng)絡(luò)??替換強化學(xué)習(xí)中ｓｔａｔｅ－ａｃｔｉｏｎ獎勵值匹配表，可接收連續(xù)的狀態(tài)分布空間。??２．５本章小結(jié)??本章主要介紹了關(guān)于本文研究內(nèi)容的相關(guān)背景，包括證書、模糊測試、差分??測試，以及大致的深度強化學(xué)習(xí)的學(xué)習(xí)過程的介紹。為接下來理解論文研究內(nèi)容??建立基礎(chǔ)。??

３．４深度強化學(xué)習(xí)網(wǎng)絡(luò)設(shè)計??深度強化學(xué)習(xí)由深度學(xué)習(xí)和強化學(xué)習(xí)構(gòu)成，既包含了深度學(xué)習(xí)處理復(fù)雜數(shù)據(jù)??的能力，也包含了強化學(xué)習(xí)自學(xué)習(xí)、無監(jiān)督的特征。與傳統(tǒng)ＤＮＮ等祌經(jīng)網(wǎng)絡(luò)相比，??除需要完成特征提取、網(wǎng)絡(luò)結(jié)構(gòu)定義、損失函數(shù)定義之外，??深度強化學(xué)習(xí)網(wǎng)絡(luò)的設(shè)計，除定義傳統(tǒng)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)之外，??還需要為強化學(xué)習(xí)定義代理、狀態(tài)、動作、獎勵、環(huán)境。在ＤＲＬｇｅｎｃｅｒｔ中，我們??以以下方式設(shè)置強化學(xué)習(xí)中的各項元素：??１．證書實例充當代理人（ａｇｅｎｔ）角色。??２．多個被測的ＳＳＬ／ＴＬＳ協(xié)議程序用作環(huán)境（ｅｎｖｉｒｏｎｍｅｎｔ）。??３．從證書內(nèi)容中提取的特征值作為代理人的狀態(tài)（ｓｔａｔｅ）。??４．眾多的證書內(nèi)容修改操作作為代理人可選擇的不同行為（ａｃｔｉｏｎ）。??５．根據(jù)多個被測的ＳＳＬ／ＴＬＳ協(xié)議程序給出的證書驗證結(jié)果定義獎勵值??


本文編號：3294228