異常檢測技術(shù)涉及機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、統(tǒng)計學(xué)、信息論等相關(guān)學(xué)科,廣泛應(yīng)用于入侵檢測、欺詐檢測、醫(yī)療衛(wèi)生異常檢測、網(wǎng)絡(luò)輿情異常檢測、工業(yè)故障檢測等技術(shù)領(lǐng)域。而在異常檢測中,數(shù)據(jù)噪聲或數(shù)據(jù)錯誤的存在,決定了基于數(shù)據(jù)驅(qū)動的方式進(jìn)行異常檢測所面臨的困難:首先,數(shù)據(jù)噪聲的存在會導(dǎo)致異常檢測模型優(yōu)化過程中學(xué)習(xí)噪聲的特征,進(jìn)而會影響模型的檢測精度;其次,從含噪聲樣本中識別出真正的異常樣本（異常暴露）,同樣是異常檢測中的一個難點。對含噪樣本進(jìn)行抑制或約束,模型會選取決策邊界附近的含噪樣本,舍棄部分遠(yuǎn)離決策邊界的含噪樣本,這會導(dǎo)致含噪樣本和異常樣本之間的界限混淆,增大異常暴露的難度。因此,平衡噪聲抑制和異常暴露對模型的影響有利于提升檢測性能。本文首先提出了基于最大熵約束的批量二次規(guī)劃（Batch Quadratic Programming,BQP）網(wǎng)絡(luò)異常檢測算法,其中BQP網(wǎng)絡(luò)由特征抽取網(wǎng)絡(luò)和QP輸出層構(gòu)成,其中特征抽取網(wǎng)絡(luò)將批次訓(xùn)練樣本映射至特征空間,輸出批次特征向量;QP輸出層構(gòu)建批次訓(xùn)練樣本的二次優(yōu)化約束,即對訓(xùn)練樣本引入支持向量數(shù)據(jù)描述（Support Vector Data Descripti... 

【文章來源】：杭州電子科技大學(xué)浙江省

【文章頁數(shù)】：71 頁

【學(xué)位級別】：碩士

【部分圖文】：

BQP網(wǎng)絡(luò)與基線方法在MNIST和CIFAR-10上的誤差線圖（AUC平均值和標(biāo)準(zhǔn)差）

杭州電子科技大學(xué)碩士學(xué)位論文36圖3.4不同混入比例下BQP網(wǎng)絡(luò)與基線方法的誤差線圖（AUC平均值和標(biāo)準(zhǔn)差）從誤差表3.2中可以看出，在不同的異常樣本混合比例下，本文提出的BQP網(wǎng)絡(luò)的檢測性能（AUC值的均值和標(biāo)準(zhǔn)差）均優(yōu)于其他對照組基線方法，尤其是在CIFAR-10數(shù)據(jù)集中，BQP網(wǎng)絡(luò)的性能提升顯著，這意味著BQP網(wǎng)絡(luò)在處理復(fù)雜的圖像樣本時效果良好。同時，從圖3.4可以看出隨著異常樣本混合比例的增加，在MNIST和CIFAR-10數(shù)據(jù)集中BQP網(wǎng)絡(luò)的檢測性能都呈現(xiàn)先上升后下降的趨勢。其原因主要是由于在BQP網(wǎng)絡(luò)中使用了SVDD二次約束，而SVDD二次約束中引入的松弛變量可以實現(xiàn)一定程度的容錯；對于含有混入異常樣本的訓(xùn)練樣本，利用最大熵?fù)p失函數(shù)處理位于超球面邊界的不確定樣本（這些樣本大多由加噪的正常樣本和混入的異常樣本組成），能夠較好地平衡不確定樣本的影響。設(shè)計訓(xùn)練集混入異常樣本情況下的對比實驗，目的在于模擬真實情況下的訓(xùn)練數(shù)據(jù)集，通過對比實驗測試出的性能指標(biāo)可以反映各個方法在不同異常樣本混入比下性能變化趨勢，通過性能變化可以驗證BQP網(wǎng)絡(luò)的抗干擾性能較好，即具有較好的魯棒性。3.3.5.3最大熵約束對比實驗根據(jù)3.3.4節(jié)中設(shè)計的實驗3，通過設(shè)置不同的理想分布來探索BQP網(wǎng)絡(luò)最大熵約束的性能。本實驗選取了五個分布作為最大熵的理想分布，分別為正態(tài)分布、均勻分布、對數(shù)正態(tài)分布、拉普拉斯分布和瑞利分布；同時本實驗設(shè)置了對照組，即不使用最大熵?fù)p失函數(shù)訓(xùn)練BQP網(wǎng)絡(luò)。在不同的理想分布下，BQP網(wǎng)絡(luò)的測試結(jié)果如下表3.3、表3.4和表3.5所示:表3.3增加最大熵約束的BQP網(wǎng)絡(luò)AUC值誤差表（MNIST數(shù)據(jù)集）數(shù)據(jù)集分布BQP+ME（最大熵）MNIST正態(tài)均勻?qū)?shù)正態(tài)拉普拉斯瑞利CIFAR-10數(shù)據(jù)集OCSVM方法KDE方法IF方法

斜昵┭?菊急榷員仁笛?訓(xùn)練前，固定三元組采樣參數(shù)異常樣本混合比和帶標(biāo)簽異常樣本種類k，設(shè)置不同的有標(biāo)簽樣本占比進(jìn)行對比實驗，本實驗設(shè)定有標(biāo)簽樣本占比為0，0.01，0.05，0.1，0.2共5個不同的值。固定參數(shù)帶標(biāo)簽異常樣本種類k設(shè)定為1（1類樣本作為正常樣本訓(xùn)練集，1類樣本作為異常樣本訓(xùn)練集，剩下8個種類的樣本作為潛在可能出現(xiàn)的異常）；無標(biāo)簽樣本中無異常樣本混入，設(shè)定取值為0。實驗中，對于不同的有標(biāo)簽樣本占比，測試了MNIST，F(xiàn)ashion-MNIST和CIFAR-10數(shù)據(jù)集下SSBQP和對照組基線方法的AUC均值和標(biāo)準(zhǔn)差，匯總于下圖4.2和表4.2、表4.3:圖4.2不同有標(biāo)簽異常樣本占比下各個方法的AUC誤差圖表4.2不同有標(biāo)簽異常樣本占比下各個方法的AUC誤差表（無監(jiān)督學(xué)習(xí)方法對照組）無監(jiān)督學(xué)習(xí)方法數(shù)據(jù)集OCSVMHybridIFHybridKDEHybridCAEDeepSVDDMNIST0F-MNIST0CIFAR-100MgLgLgMgLgOCSVM方法（無監(jiān)督學(xué)習(xí)對照組）IF方法（無監(jiān)督學(xué)習(xí)對照組）KDE方法（無監(jiān)督學(xué)習(xí)對照組）CAE方法（無監(jiān)督學(xué)習(xí)對照組）DeepSVDD方法（無監(jiān)督學(xué)習(xí)對照組）SSADRaw方法（半監(jiān)督學(xué)習(xí)對照組）SSADHybrid方法（半監(jiān)督學(xué)習(xí)對照組）SSDGM方法（半監(jiān)督學(xué)習(xí)對照組）DeepSAD方法（半監(jiān)督學(xué)習(xí)對照組）SSBQP方法（半監(jiān)督學(xué)習(xí)對照組）有標(biāo)簽樣本占比LgMNIST數(shù)據(jù)集F-MNIST數(shù)據(jù)集CIFAR-10數(shù)據(jù)集LgLgLg96.3±2.590.5±5.387.9±5.692.9±5.792.8±4.991.2±4.791.6±5.592.0±4.990.2±5.889.2±6.263.8±9.059.9±6.756.1±10.256.2±13.260.9±9.4


本文編號：3448152