安全套接字層（SSL）和傳輸層安全協(xié)議（TLS）是網(wǎng)絡(luò)安全的基礎(chǔ)。SSL/TLS協(xié)議的程序?qū)崿F(xiàn)中證書驗(yàn)證模塊至關(guān)重要,且其可能成為整個(gè)網(wǎng)絡(luò)生態(tài)系統(tǒng)中的“薄弱環(huán)節(jié)”。在以往的研究中,研究內(nèi)容主要集中在證書驗(yàn)證的自動化測試上,通過隨機(jī)組合種子證書的各個(gè)部分來生成大量證書進(jìn)行模糊測試。雖然生成的證書可以滿足語義與語法約束,但成本相當(dāng)高,而且由于隨機(jī)性,生成測試用例的有效性受到限制。為了填補(bǔ)這一空白,本文提出了第一個(gè)將深度強(qiáng)化學(xué)習(xí)應(yīng)用于SSL/TLS證書驗(yàn)證程序的自動化測試框架DRLgencert。DRLgencert接受普通證書作為輸入,并輸出新生成的證書,且新生成的證書集更可能幫助發(fā)現(xiàn)程序缺陷。得益于深度強(qiáng)化學(xué)習(xí),在生成證書時(shí),我們的框架可以根據(jù)之前經(jīng)驗(yàn)選擇最佳的下一步操作,而不是簡單的隨機(jī)組合合成證書。同時(shí),我們設(shè)計(jì)一套新的方案來支持框架的總體設(shè)計(jì),比如X.509證書的新特征提取方法、細(xì)粒度差異測試等等。此外,我們還實(shí)現(xiàn)了DRLgencert的框架原型,并進(jìn)行了一系列的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,DRLgencert是有效的,在第一輪的證書生成中,我們依據(jù)181900個(gè)證書種子生成181900個(gè)... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１：證書鏈結(jié)構(gòu)??

強(qiáng)化學(xué)習(xí)算法Ｑ－ｌｅａｍｍｇ在處理學(xué)習(xí)任務(wù)時(shí)，僅能適配有限狀態(tài)的任務(wù)。??Ｑ－ｌｅａｍｍｇ算法學(xué)習(xí)過程中會持續(xù)更新一張表，該表記錄每個(gè)狀態(tài)采用任意動作時(shí)??可反饋多少獎(jiǎng)勵(lì)值。然而，現(xiàn)實(shí)情況下，學(xué)習(xí)任務(wù)要復(fù)雜的多，狀態(tài)（ｓｔａｔｅ）難以??以有限、離散數(shù)表達(dá)。深度強(qiáng)化學(xué)習(xí)結(jié)合了神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)，使用神經(jīng)網(wǎng)絡(luò)??替換強(qiáng)化學(xué)習(xí)中ｓｔａｔｅ－ａｃｔｉｏｎ獎(jiǎng)勵(lì)值匹配表，可接收連續(xù)的狀態(tài)分布空間。??２．５本章小結(jié)??本章主要介紹了關(guān)于本文研究內(nèi)容的相關(guān)背景，包括證書、模糊測試、差分??測試，以及大致的深度強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過程的介紹。為接下來理解論文研究內(nèi)容??建立基礎(chǔ)。??

３．４深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)設(shè)計(jì)??深度強(qiáng)化學(xué)習(xí)由深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)構(gòu)成，既包含了深度學(xué)習(xí)處理復(fù)雜數(shù)據(jù)??的能力，也包含了強(qiáng)化學(xué)習(xí)自學(xué)習(xí)、無監(jiān)督的特征。與傳統(tǒng)ＤＮＮ等祌經(jīng)網(wǎng)絡(luò)相比，??除需要完成特征提取、網(wǎng)絡(luò)結(jié)構(gòu)定義、損失函數(shù)定義之外，??深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的設(shè)計(jì)，除定義傳統(tǒng)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)之外，??還需要為強(qiáng)化學(xué)習(xí)定義代理、狀態(tài)、動作、獎(jiǎng)勵(lì)、環(huán)境。在ＤＲＬｇｅｎｃｅｒｔ中，我們??以以下方式設(shè)置強(qiáng)化學(xué)習(xí)中的各項(xiàng)元素：??１．證書實(shí)例充當(dāng)代理人（ａｇｅｎｔ）角色。??２．多個(gè)被測的ＳＳＬ／ＴＬＳ協(xié)議程序用作環(huán)境（ｅｎｖｉｒｏｎｍｅｎｔ）。??３．從證書內(nèi)容中提取的特征值作為代理人的狀態(tài)（ｓｔａｔｅ）。??４．眾多的證書內(nèi)容修改操作作為代理人可選擇的不同行為（ａｃｔｉｏｎ）。??５．根據(jù)多個(gè)被測的ＳＳＬ／ＴＬＳ協(xié)議程序給出的證書驗(yàn)證結(jié)果定義獎(jiǎng)勵(lì)值??


本文編號：3294228