基于生成對(duì)抗網(wǎng)絡(luò)的異常檢測(cè)方法的研究
發(fā)布時(shí)間:2021-11-20 12:21
異常檢測(cè),顧名思義,是對(duì)與預(yù)期模式不相匹配的數(shù)據(jù)、事件或觀測(cè)值的識(shí)別。作為計(jì)算機(jī)視覺(jué)領(lǐng)域中熱門(mén)的研究方向,異常檢測(cè)在許多領(lǐng)域具有良好的應(yīng)用前景。例如與網(wǎng)絡(luò)安全相關(guān)的信息傳輸檢測(cè)、與制造業(yè)相關(guān)的材料紋理檢測(cè)、以及在醫(yī)學(xué)領(lǐng)域的醫(yī)學(xué)影像檢測(cè)等等。然而,受制于數(shù)據(jù)標(biāo)記耗時(shí)耗力以及數(shù)據(jù)不均衡等問(wèn)題,基于監(jiān)督學(xué)習(xí)的異常檢測(cè)模型在某些方面難以達(dá)到預(yù)定期望。為了解決上述問(wèn)題,本文將介紹一種新的結(jié)合一分類(lèi)思想的無(wú)監(jiān)督學(xué)習(xí)模型,即基于生成對(duì)抗網(wǎng)絡(luò)的異常檢測(cè)模型。該模型通過(guò)對(duì)單一類(lèi)數(shù)據(jù)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)來(lái)識(shí)別相關(guān)異常,無(wú)需對(duì)數(shù)據(jù)詳細(xì)標(biāo)注,避免了數(shù)據(jù)不均衡的問(wèn)題。并利用生成對(duì)抗網(wǎng)絡(luò)強(qiáng)大的擬合能力重構(gòu)數(shù)據(jù),進(jìn)而通過(guò)比較重構(gòu)數(shù)據(jù)與測(cè)試數(shù)據(jù)間的距離來(lái)區(qū)分異常的圖像或音頻?傊,本文主要研究?jī)?nèi)容如下:1.通過(guò)引入Ano GAN模型,詳細(xì)介紹了基于生成對(duì)抗網(wǎng)絡(luò)的異常檢測(cè)方法的原理。并指出該模型存在的問(wèn)題,進(jìn)而在此基礎(chǔ)上介紹了編碼器與生成對(duì)抗網(wǎng)絡(luò)相結(jié)合的兩個(gè)模型Efficient-GAN與GANomaly。除此之外,還通過(guò)上述模型的實(shí)驗(yàn)結(jié)果對(duì)比,提出了在不同圖像復(fù)雜度下異常評(píng)分設(shè)計(jì)應(yīng)該不一致的觀點(diǎn),并在之后的實(shí)驗(yàn)中驗(yàn)證了上述...
【文章來(lái)源】:合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:70 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
異常模型
的神經(jīng)網(wǎng)絡(luò),本節(jié)將主要介紹三種常用于異常檢測(cè)的相關(guān)自編碼器網(wǎng)絡(luò)。2.2.1自編碼器網(wǎng)絡(luò)及原理自編碼器是一種較為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)通過(guò)編碼這一過(guò)程學(xué)習(xí)得到較小維度的數(shù)據(jù)特征,并通過(guò)解碼過(guò)程重構(gòu)所需數(shù)據(jù)。即輸入一個(gè)高維向量,并期望輸出相同尺寸的向量。換句話說(shuō),自動(dòng)編碼器的整個(gè)過(guò)程就是重構(gòu)輸入數(shù)據(jù)。由于存在編碼這一過(guò)程,自編碼器也常常作為一種數(shù)據(jù)的壓縮或降維方法,與線性的主成分分析(PrincipalComponentsAnalysis,PCA)[38]這類(lèi)降維方法相比,非線性降維效果更有優(yōu)勢(shì)。同理也可用于特征提齲圖2.1自編碼器流程圖Fig2.1Flow-chartofautoencoder圖2.1展示了自編碼器的基本流程。流程的主體是自編碼器的兩個(gè)子網(wǎng)絡(luò):編碼器(Encoder)與解碼器(Decoder)。編碼器和解碼器的結(jié)構(gòu)并非固定,通常使用多層全連接層相互連接而成。輸入數(shù)據(jù)X經(jīng)過(guò)編碼器降維得到低維特征編碼Z,低維特征編碼再通過(guò)解碼器解碼得到與輸入數(shù)據(jù)相同尺寸的重構(gòu)數(shù)據(jù)X′。通過(guò)合適的約束條件/損失函數(shù)來(lái)訓(xùn)練編碼器和解碼器的相關(guān)參數(shù),從而拉近輸入數(shù)據(jù)與重構(gòu)數(shù)據(jù)間的距離,最小化二者之間的差異。一般情況下,自編碼器使用均方誤差(MeanSquaredError,MSE)作為網(wǎng)絡(luò)的損失函數(shù):LMSE=1NNi=1(xix′i)2(2.1)其中N為輸入數(shù)據(jù)數(shù)量,xi∈X為單個(gè)輸入數(shù)據(jù),x′∈X′為單個(gè)輸入相對(duì)應(yīng)的重構(gòu)數(shù)據(jù)。模型訓(xùn)練時(shí)利用MSE可以拉近輸入數(shù)據(jù)與重構(gòu)數(shù)據(jù)間的歐式距離,使得重構(gòu)出的新數(shù)據(jù)與原始輸入數(shù)據(jù)盡量相似。7
合肥工業(yè)大學(xué)學(xué)術(shù)碩士研究生學(xué)位論文正是由于自編碼器可以對(duì)輸入數(shù)據(jù)進(jìn)行重構(gòu),自編碼器也被應(yīng)用于時(shí)序異常檢測(cè)這類(lèi)問(wèn)題中。在訓(xùn)練網(wǎng)絡(luò)模型時(shí),利用自編碼器將從傳感器得到的正常數(shù)據(jù)進(jìn)行壓縮,將高維數(shù)據(jù)映射到低維空間,在降維過(guò)程中網(wǎng)絡(luò)會(huì)學(xué)習(xí)到正常數(shù)據(jù)中不同變量間的相互聯(lián)系。之后再將隱變量重構(gòu)得到預(yù)測(cè)的重構(gòu)數(shù)據(jù)。驗(yàn)證時(shí),由于異常數(shù)據(jù)屬于突變行為,自編碼器重構(gòu)得到的數(shù)據(jù)就會(huì)與輸入數(shù)據(jù)差距過(guò)大,從而判定為異常。2.2.2變分自編碼器網(wǎng)絡(luò)及原理在上一小節(jié)中,我們簡(jiǎn)單的介紹了自編碼器的基本原理與構(gòu)造,介紹了隱變量與輸入數(shù)據(jù)之間的聯(lián)系。但是自編碼器本身存在這一些不足:1)由于自編碼器本身是一種有損的數(shù)據(jù)壓縮算法,在進(jìn)行降維時(shí)得到的隱變量并不一定合適,進(jìn)而在數(shù)據(jù)重構(gòu)時(shí)不會(huì)得到效果最佳的重構(gòu)數(shù)據(jù)。2)由于輸入數(shù)據(jù)是離散的,導(dǎo)致隱變量間也是離散的。當(dāng)從連續(xù)分布中提取連續(xù)的向量作為隱變量輸入到解碼器中時(shí),得到的重構(gòu)數(shù)據(jù)可能并不具有連續(xù)性。為了改進(jìn)上述模型的缺點(diǎn)與不足,變分自編碼器VAE應(yīng)運(yùn)而生。VAE是由Kingma等人于2014年提出的基于變分貝葉斯(VariationalBayes,VB)推斷的生成式網(wǎng)絡(luò)結(jié)構(gòu)。VAE的主體結(jié)構(gòu)與AE差別不大,但是與標(biāo)準(zhǔn)自編碼器通過(guò)數(shù)值的方式描述隱空間不同,它以概率分布的方式描述隱空間的變量。圖2.2VAE原理圖Fig2.2TheschematicofVAE根據(jù)圖2.2,我們可以簡(jiǎn)單描述VAE的流程:1)輸入圖像經(jīng)過(guò)編碼器降維,輸出一組可以描述隱空間中某個(gè)正太分布的參數(shù):均值和方差。2)從這組正態(tài)分布中進(jìn)行隨機(jī)采樣。3)采樣點(diǎn)經(jīng)過(guò)解碼器映射重構(gòu)為原始圖像。以上三步便是VAE的主8
本文編號(hào):3507313
【文章來(lái)源】:合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:70 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
異常模型
的神經(jīng)網(wǎng)絡(luò),本節(jié)將主要介紹三種常用于異常檢測(cè)的相關(guān)自編碼器網(wǎng)絡(luò)。2.2.1自編碼器網(wǎng)絡(luò)及原理自編碼器是一種較為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)通過(guò)編碼這一過(guò)程學(xué)習(xí)得到較小維度的數(shù)據(jù)特征,并通過(guò)解碼過(guò)程重構(gòu)所需數(shù)據(jù)。即輸入一個(gè)高維向量,并期望輸出相同尺寸的向量。換句話說(shuō),自動(dòng)編碼器的整個(gè)過(guò)程就是重構(gòu)輸入數(shù)據(jù)。由于存在編碼這一過(guò)程,自編碼器也常常作為一種數(shù)據(jù)的壓縮或降維方法,與線性的主成分分析(PrincipalComponentsAnalysis,PCA)[38]這類(lèi)降維方法相比,非線性降維效果更有優(yōu)勢(shì)。同理也可用于特征提齲圖2.1自編碼器流程圖Fig2.1Flow-chartofautoencoder圖2.1展示了自編碼器的基本流程。流程的主體是自編碼器的兩個(gè)子網(wǎng)絡(luò):編碼器(Encoder)與解碼器(Decoder)。編碼器和解碼器的結(jié)構(gòu)并非固定,通常使用多層全連接層相互連接而成。輸入數(shù)據(jù)X經(jīng)過(guò)編碼器降維得到低維特征編碼Z,低維特征編碼再通過(guò)解碼器解碼得到與輸入數(shù)據(jù)相同尺寸的重構(gòu)數(shù)據(jù)X′。通過(guò)合適的約束條件/損失函數(shù)來(lái)訓(xùn)練編碼器和解碼器的相關(guān)參數(shù),從而拉近輸入數(shù)據(jù)與重構(gòu)數(shù)據(jù)間的距離,最小化二者之間的差異。一般情況下,自編碼器使用均方誤差(MeanSquaredError,MSE)作為網(wǎng)絡(luò)的損失函數(shù):LMSE=1NNi=1(xix′i)2(2.1)其中N為輸入數(shù)據(jù)數(shù)量,xi∈X為單個(gè)輸入數(shù)據(jù),x′∈X′為單個(gè)輸入相對(duì)應(yīng)的重構(gòu)數(shù)據(jù)。模型訓(xùn)練時(shí)利用MSE可以拉近輸入數(shù)據(jù)與重構(gòu)數(shù)據(jù)間的歐式距離,使得重構(gòu)出的新數(shù)據(jù)與原始輸入數(shù)據(jù)盡量相似。7
合肥工業(yè)大學(xué)學(xué)術(shù)碩士研究生學(xué)位論文正是由于自編碼器可以對(duì)輸入數(shù)據(jù)進(jìn)行重構(gòu),自編碼器也被應(yīng)用于時(shí)序異常檢測(cè)這類(lèi)問(wèn)題中。在訓(xùn)練網(wǎng)絡(luò)模型時(shí),利用自編碼器將從傳感器得到的正常數(shù)據(jù)進(jìn)行壓縮,將高維數(shù)據(jù)映射到低維空間,在降維過(guò)程中網(wǎng)絡(luò)會(huì)學(xué)習(xí)到正常數(shù)據(jù)中不同變量間的相互聯(lián)系。之后再將隱變量重構(gòu)得到預(yù)測(cè)的重構(gòu)數(shù)據(jù)。驗(yàn)證時(shí),由于異常數(shù)據(jù)屬于突變行為,自編碼器重構(gòu)得到的數(shù)據(jù)就會(huì)與輸入數(shù)據(jù)差距過(guò)大,從而判定為異常。2.2.2變分自編碼器網(wǎng)絡(luò)及原理在上一小節(jié)中,我們簡(jiǎn)單的介紹了自編碼器的基本原理與構(gòu)造,介紹了隱變量與輸入數(shù)據(jù)之間的聯(lián)系。但是自編碼器本身存在這一些不足:1)由于自編碼器本身是一種有損的數(shù)據(jù)壓縮算法,在進(jìn)行降維時(shí)得到的隱變量并不一定合適,進(jìn)而在數(shù)據(jù)重構(gòu)時(shí)不會(huì)得到效果最佳的重構(gòu)數(shù)據(jù)。2)由于輸入數(shù)據(jù)是離散的,導(dǎo)致隱變量間也是離散的。當(dāng)從連續(xù)分布中提取連續(xù)的向量作為隱變量輸入到解碼器中時(shí),得到的重構(gòu)數(shù)據(jù)可能并不具有連續(xù)性。為了改進(jìn)上述模型的缺點(diǎn)與不足,變分自編碼器VAE應(yīng)運(yùn)而生。VAE是由Kingma等人于2014年提出的基于變分貝葉斯(VariationalBayes,VB)推斷的生成式網(wǎng)絡(luò)結(jié)構(gòu)。VAE的主體結(jié)構(gòu)與AE差別不大,但是與標(biāo)準(zhǔn)自編碼器通過(guò)數(shù)值的方式描述隱空間不同,它以概率分布的方式描述隱空間的變量。圖2.2VAE原理圖Fig2.2TheschematicofVAE根據(jù)圖2.2,我們可以簡(jiǎn)單描述VAE的流程:1)輸入圖像經(jīng)過(guò)編碼器降維,輸出一組可以描述隱空間中某個(gè)正太分布的參數(shù):均值和方差。2)從這組正態(tài)分布中進(jìn)行隨機(jī)采樣。3)采樣點(diǎn)經(jīng)過(guò)解碼器映射重構(gòu)為原始圖像。以上三步便是VAE的主8
本文編號(hào):3507313
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3507313.html
最近更新
教材專著