基于對抗樣本的攻擊方法是機器學習算法普遍面臨的安全挑戰(zhàn)之一。以機器學習的安全性問題為出發(fā)點,介紹了當前機器學習面臨的隱私攻擊、完整性攻擊等安全問題,歸納了目前常見對抗樣本生成方法的發(fā)展過程及各自的特點,總結了目前已有的針對對抗樣本攻擊的防御技術,最后對提高機器學習算法魯棒性的方法作了進一步的展望。 

【文章來源】：計算機應用研究. 2020,37(11)北大核心CSCD

【文章頁數(shù)】：6 頁

【部分圖文】：

雅可比顯著圖

圖3 雅可比顯著圖然而，JSMA同樣要求模型和目標函數(shù)的梯度可求解，而且，使用貪婪算法進行顯著性像素點的尋找，意味著該算法實際上是限定在l0距離下的對抗樣本，導致無法采用其他距離算法生成對抗樣本[28]。

Deepfool[28]是針對l2距離算法優(yōu)化的非目標性攻擊。如圖5所示，(b)為Deepfool生成的對抗樣本圖像和對應的擾動，(c)為快速梯度符號法生成的對抗樣本圖像和對應的擾動，可以看出Deepfool產生的擾動更小。該方法先假設神經(jīng)網(wǎng)絡是完全線性的，轉換為超平面將每個類別分開，從分析上推導出這個問題的最優(yōu)解，同時生成了與之對應的對抗樣本。實際上，神經(jīng)網(wǎng)絡并不是線性的，初始問題需要被繼續(xù)分解，直到滿足分段線性，然后再重復這個過程[28]。最終當分段搜索結束時，才會得到問題的最優(yōu)解，進而生成一個真正的對抗樣本。該算法實際上是限定神經(jīng)網(wǎng)絡下的超平面問題，在非神經(jīng)網(wǎng)絡模型上的應用相當有限，算法的通用性較低，需要大量時間分析模型的特性。

【參考文獻】：
期刊論文
[1]基于粒子群優(yōu)化的對抗樣本生成算法[J]. 錢亞冠,盧紅波,紀守領,周武杰,吳淑慧,云本勝,陶祥興,雷景生.  電子與信息學報. 2019(07)
[2]面向中文文本傾向性分類的對抗樣本生成方法[J]. 王文琦,汪潤,王麗娜,唐奔宵.  軟件學報. 2019(08)
[3]黑盒威脅模型下深度學習對抗樣本的生成[J]. 孟東宇.  電子設計工程. 2018(24)
[4]DroidGAN:基于DCGAN的Android對抗樣本生成框架[J]. 唐川,張義,楊岳湘,施江勇.  通信學報. 2018(S1)
[5]一種面向人臉活體檢測的對抗樣本生成算法[J]. 馬玉琨,毋立芳,簡萌,劉方昊,楊洲.  軟件學報. 2019(02)



本文編號：3621127