基于對抗樣本的攻擊方法是機器學(xué)習(xí)算法普遍面臨的安全挑戰(zhàn)之一。以機器學(xué)習(xí)的安全性問題為出發(fā)點,介紹了當(dāng)前機器學(xué)習(xí)面臨的隱私攻擊、完整性攻擊等安全問題,歸納了目前常見對抗樣本生成方法的發(fā)展過程及各自的特點,總結(jié)了目前已有的針對對抗樣本攻擊的防御技術(shù),最后對提高機器學(xué)習(xí)算法魯棒性的方法作了進(jìn)一步的展望。 

【文章來源】：計算機應(yīng)用研究. 2020,37(11)北大核心CSCD

【文章頁數(shù)】：6 頁

【部分圖文】：

雅可比顯著圖

圖3 雅可比顯著圖然而，JSMA同樣要求模型和目標(biāo)函數(shù)的梯度可求解，而且，使用貪婪算法進(jìn)行顯著性像素點的尋找，意味著該算法實際上是限定在l0距離下的對抗樣本，導(dǎo)致無法采用其他距離算法生成對抗樣本[28]。

Deepfool[28]是針對l2距離算法優(yōu)化的非目標(biāo)性攻擊。如圖5所示，(b)為Deepfool生成的對抗樣本圖像和對應(yīng)的擾動，(c)為快速梯度符號法生成的對抗樣本圖像和對應(yīng)的擾動，可以看出Deepfool產(chǎn)生的擾動更小。該方法先假設(shè)神經(jīng)網(wǎng)絡(luò)是完全線性的，轉(zhuǎn)換為超平面將每個類別分開，從分析上推導(dǎo)出這個問題的最優(yōu)解，同時生成了與之對應(yīng)的對抗樣本。實際上，神經(jīng)網(wǎng)絡(luò)并不是線性的，初始問題需要被繼續(xù)分解，直到滿足分段線性，然后再重復(fù)這個過程[28]。最終當(dāng)分段搜索結(jié)束時，才會得到問題的最優(yōu)解，進(jìn)而生成一個真正的對抗樣本。該算法實際上是限定神經(jīng)網(wǎng)絡(luò)下的超平面問題，在非神經(jīng)網(wǎng)絡(luò)模型上的應(yīng)用相當(dāng)有限，算法的通用性較低，需要大量時間分析模型的特性。

【參考文獻(xiàn)】：
期刊論文
[1]基于粒子群優(yōu)化的對抗樣本生成算法[J]. 錢亞冠,盧紅波,紀(jì)守領(lǐng),周武杰,吳淑慧,云本勝,陶祥興,雷景生.  電子與信息學(xué)報. 2019(07)
[2]面向中文文本傾向性分類的對抗樣本生成方法[J]. 王文琦,汪潤,王麗娜,唐奔宵.  軟件學(xué)報. 2019(08)
[3]黑盒威脅模型下深度學(xué)習(xí)對抗樣本的生成[J]. 孟東宇.  電子設(shè)計工程. 2018(24)
[4]DroidGAN:基于DCGAN的Android對抗樣本生成框架[J]. 唐川,張義,楊岳湘,施江勇.  通信學(xué)報. 2018(S1)
[5]一種面向人臉活體檢測的對抗樣本生成算法[J]. 馬玉琨,毋立芳,簡萌,劉方昊,楊洲.  軟件學(xué)報. 2019(02)



本文編號：3621127