【摘要】：隨著大數(shù)據(jù)時代的到來,以及計算硬件算力的快速發(fā)展,之前沉寂幾十年的機器學習煥發(fā)了新的生命。深度學習(DL)是機器學習和人工智能研究的最新及最火趨勢之一,深度學習不論在學術(shù)界還是工業(yè)界都是當今最流行的研究趨勢。深度學習為計算機視覺(CV)和自然語言處理(NLP)還有語音以及醫(yī)療等方向帶來了革命性的進步。新的深度學習技術(shù)正在不斷誕生,超越最先進的機器學習甚至是現(xiàn)有的深度學習技術(shù)。隨著深度學習的發(fā)展,應用深度神經(jīng)網(wǎng)絡(luò)的深度學習系統(tǒng)越來越多地部署在與許多與安全相關(guān)的關(guān)鍵領(lǐng)域,包括自動駕駛汽車、人臉識別或者預測金融市場漲跌行為,這類系統(tǒng)要求深度學習網(wǎng)絡(luò)模型的安全性非常高。但令人遺憾的是,盡管深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能令人印象深刻,但由于訓練數(shù)據(jù)偏差,過度擬合和模型不足等原因,對于一些極端樣例(corner cases)中經(jīng)常會做出意外或不正確的后果,自動駕駛汽車可能會發(fā)生嚴重車禍,人臉識別錯誤會發(fā)生重大財產(chǎn)及信息損失等等。因此,對于人身、財產(chǎn)、信息、網(wǎng)絡(luò)安全都至關(guān)重要的深度學習系統(tǒng)必須像傳統(tǒng)軟件一樣,必須經(jīng)過系統(tǒng)地測試不同的極端案例,以檢測和修復任何潛在的缺陷或事與愿違的行為,這就要求我們設(shè)計的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的魯棒性非常強。這個問題已經(jīng)引起了學者的廣泛關(guān)注,TianY等人提出了 DeepXplore,首個針對深度學習系統(tǒng)的自動化白盒測試框架。DeepXplore有效地在目前最先進的數(shù)個深度學習模型上發(fā)現(xiàn)了數(shù)千個不正確的極端案例行為(比如說自動駕駛汽車撞向護欄、惡意軟件偽裝成好軟件)。該工作創(chuàng)新性地提出了神經(jīng)元覆蓋指標去查看在執(zhí)行測試套件(test suite)期間被激活的神經(jīng)元百分比,給我們提供了非常好的思路。同時該工作還有一些問題沒有解決:可允許的約束不夠靈活,所以得到的輸入只能成為用于訓練的輸入,加上一些小的改動。另外,沒有針對現(xiàn)階段應用特別多的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)做出測試。因為RNN網(wǎng)絡(luò)獨有的狀態(tài)機制,RNN的輸出與輸入之間的關(guān)系比較復雜,我們對其進行了仔細的研究,分析出了其獨特的求導機制,利用展開計算圖,使用雅可比矩陣對每一個時刻的輸入進行求導。Szegedy等人在有關(guān)敵對深度學習的研究中已經(jīng)證明,神經(jīng)網(wǎng)絡(luò)很容易被欺騙,通過對現(xiàn)有圖像添加微小干擾而精心制作的合成圖像可以欺騙最先進的深度學習系統(tǒng)。Papernot等人成功生成遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的敵對輸入序列。驗證了對抗樣例的生成同樣適用于RNN網(wǎng)絡(luò)。根據(jù)這些已有的工作,我們在工作中提出了針對RNN應用的輸入更加靈活的限制,讓簡單的修改和巨大的修改都成為可能。另外,我們同時在使用RNN的圖像識別和自然語言處理的應用中分別做了測試,達到了不錯的效果。我們將最后修改的原始輸入加入到訓練集中,繼續(xù)訓練深度學習系統(tǒng),發(fā)現(xiàn)系統(tǒng)的準確性和魯棒性均有提高。
【圖文】：

ＬＳＴＭ還普遍用于自主語音識別，２０１３年運用Ｔ１ＭＩ據(jù)庫達成１７．７％錯誤率的紀錄。作為非線性模型，ＬＳＴＭ可作為復元用于構(gòu)造更大型深度神經(jīng)網(wǎng)絡(luò)。逡逑面我們簡單介紹一下ＬＳＴＭ的結(jié)構(gòu)。逡逑ＴＭ由Ｈｏｃｈｅｒｉｔｅｒ和Ｓｃｈｍｉｄｈｕｂｅｒ提出，，其數(shù)學上的形式化表不如ｉｇｍ（Ｍ／ＸｉＸｔ邋＋邐ｆｔ邋：＝邋ｓ＼ｇｍ（Ｗｘｆｘｔ邋＋邋Ｗｈｆｈｔ＾），逡逑ｉｇｍ（Ｍ＾０ｘｔ邋＋邐ｃｔ邋：＝邋ｓｉｇｍ（Ｍ＾ｃｘｔ邋＋邋Ｗ＾ｈ＾），逡逑Ｏｃｔ－ｉ邋＋邋ｉｔ0ｃｔ，邋ｈｔ邋■■＝邋ｏｔ0ｔａｎｈ（ｃｔ）0逡逑中Ｏ代表元素相乘，ｓｉｇｍ代表ｓｉｇｍｏｉｄ函數(shù)，ｓｉｇｍ（ｚ）邋－邋１＋ｅｘｊ）（＿ｚ）°逡逑ＲＮＮ相比，ＬＳＴＭ多了一個隱藏狀態(tài)變量，稱為細胞狀態(tài)，用來據(jù)圖２－３，我們可以對ＬＳＴＭ中各單元作用進行分析：逡逑

用的第二個數(shù)據(jù)集是Ｆａｓｈｉｏｎ－ＭＮＩＳＴ１１７１。Ｆａｓｈｉｏｎ－ＭＮＩＳ寫數(shù)字集的圖像數(shù)據(jù)集。它是由Ｚａｌａｎｄｏ邋（—家德國的研究部門提供。其涵蓋了來自１０種類別的共７萬個不ｈｉｏｎ－ＭＮＩＳＴ的大小、格式和訓練集／測試集劃分與原始。６００００／１００００的訓練測試數(shù)據(jù)劃分，２８Ｘ２８的灰度圖，褲子，套衫，裙子，外套，涼鞋，汗衫，運動鞋，－２所示：逡逑
【學位授予單位】：山東大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP18;TP393.08

【相似文獻】

相關(guān)期刊論文 前10條

1 張yN;;經(jīng)合組織發(fā)布《掌握正確技能:為未來做好準備的成人學習系統(tǒng)》報告[J];世界教育信息;2019年06期

2 董澤芳;;點燃智慧校園新引擎——南京市大光路小學智慧學習系統(tǒng)的探索實踐[J];江蘇教育;2019年42期

3 姚堯;陳亮;李尚濱;;泛在學習系統(tǒng)及其關(guān)鍵技術(shù)研究[J];林區(qū)教學;2014年06期

4 曹華陽;;“互聯(lián)網(wǎng)+課堂導學”課堂學習系統(tǒng)下的初中生物教學的變革[J];中學生物學;2017年01期

5 盛群力 ,馬蘭;為學生的有效學習系統(tǒng)設(shè)計教學[J];寧夏教育;2003年12期

6 倪曉婷;張永勝;馬天宇;張家華;;基于移動互聯(lián)網(wǎng)的微學習系統(tǒng)的研究與設(shè)計[J];信息系統(tǒng)工程;2016年12期

7 劉樹聃;萬明;;構(gòu)建基于高等職業(yè)素質(zhì)教育的智慧學習系統(tǒng)[J];教育教學論壇;2017年12期

8 宋承繼;陳小健;王津;;基于移動互聯(lián)網(wǎng)在線學習系統(tǒng)的設(shè)計與實現(xiàn)[J];自動化技術(shù)與應用;2017年05期

9 陳亦欣;;基于人工智能的在線學習系統(tǒng)的研究與設(shè)計[J];江蘇科技信息;2017年20期

10 劉靜華;;在線學習系統(tǒng)在企業(yè)的應用效果探析——以電廠教育培訓為例[J];人才資源開發(fā);2017年16期

相關(guān)會議論文 前10條

1 劉偉;王陸;;分布式流媒體案例學習系統(tǒng)的設(shè)計[A];計算機與教育：應用促進學與教創(chuàng)新——全國計算機輔助教育學會第十三屆學術(shù)年會論文集[C];2008年

2 孟麥玲;崔新春;崔海亭;;英文單詞學習系統(tǒng)的設(shè)計與實現(xiàn)[A];計算機與教育：應用促進學與教創(chuàng)新——全國計算機輔助教育學會第十三屆學術(shù)年會論文集[C];2008年

3 馮海成;楊耀峰;;體育在線學習系統(tǒng)的設(shè)計與實現(xiàn)[A];第4屆全國青年體育科學學術(shù)會議論文摘要匯編[C];2005年

4 羅淳;;基于數(shù)據(jù)挖掘的個性化學習系統(tǒng)模型初探[A];計算機與教育：實踐、創(chuàng)新、未來——全國計算機輔助教育學會第十六屆學術(shù)年會論文集[C];2014年

5 何曉麗;陳小荷;洪鹿平;盧俊之;;外國人漢語虛詞輔助學習系統(tǒng)研究[A];第三屆學生計算語言學研討會論文集[C];2006年

6 段凌;;基于Lotus Domino/Notes的協(xié)作學習系統(tǒng)的設(shè)計與開發(fā)[A];計算機與教育：應用促進學與教創(chuàng)新——全國計算機輔助教育學會第十三屆學術(shù)年會論文集[C];2008年

7 尚超;;基于語料庫的面向?qū)ο缶W(wǎng)絡(luò)英語學習系統(tǒng)開發(fā)研究[A];第一屆學生計算語言學研討會論文集[C];2002年

8 鄭穎立;張曉莉;;基于多Agent技術(shù)的協(xié)作學習系統(tǒng)[A];’2004計算機應用技術(shù)交流會議論文集[C];2004年

9 徐艷青;楊卉;;基于Web Service的分布式案例學習系統(tǒng)的開發(fā)[A];計算機與教育——全國計算機輔助教育學會第十二屆學術(shù)年會論文集[C];2005年

10 劉敬光;王陸;;基于網(wǎng)絡(luò)的情境化學習系統(tǒng)的研究與實現(xiàn)[A];計算機與教育——全國計算機輔助教育學會第十二屆學術(shù)年會論文集[C];2005年

相關(guān)重要報紙文章 前10條

1 王宇霞 賽迪智庫軟件產(chǎn)業(yè)研究所;類腦智能:人工智能由“弱”向“強”的突破口[N];通信產(chǎn)業(yè)報;2017年

2 上海 張力平;非凡的認知計算[N];電子報;2017年

3 蔡立英 編譯;深度學習系統(tǒng)趨向“多才多藝”[N];文匯報;2017年

4 惠州經(jīng)濟職業(yè)技術(shù)學院 蔡賢斌;淺談會計培訓在線學習系統(tǒng)需求及設(shè)計[N];科學導報;2017年

5 任素萍;建立一個高效率的學習系統(tǒng)[N];山西日報;2002年

6 余小娟邋邱玉長;龍巖電業(yè)局“每日三問”問出成效[N];國家電網(wǎng)報;2008年

7 廣東記者站記者 秦通海 凌曲剛 鄭成桑 河北記者站記者 魏希林 施澤華;培訓形式多樣 學習系統(tǒng)深入[N];中國紀檢監(jiān)察報;2003年

8 胡立強　劉煒;湖南高速交警：全面推廣交通違法網(wǎng)絡(luò)教育學習平臺[N];人民公安報·交通安全周刊;2008年

9 記者　徐飛鵬;本市開通干部在線學習系統(tǒng)[N];北京日報;2006年

10 通訊員 毛剛;北京干部在線學習系統(tǒng)開通[N];中國人事報;2006年

相關(guān)博士學位論文 前8條

1 葉成林;基于網(wǎng)格的移動學習系統(tǒng)建模與設(shè)計研究[D];華南師范大學;2006年

2 黃辰;基于智力資源共享的企業(yè)學習系統(tǒng)研究[D];北京交通大學;2009年

3 王承軍;高并發(fā)大數(shù)據(jù)在線學習系統(tǒng)中的關(guān)鍵技術(shù)研究[D];中國地質(zhì)大學;2015年

4 黎清孝（Le-Thanh Hieu）;越南在線學習系統(tǒng)的設(shè)計、應用與安全措施研究[D];華中科技大學;2015年

5 趙建華;Web環(huán)境下智能協(xié)作學習系統(tǒng)構(gòu)建的理論與方法[D];華南師范大學;2002年

6 李妼;基于視覺聽覺語義相干性的強化學習系統(tǒng)的研究[D];太原理工大學;2012年

7 劉曉東;普適學習系統(tǒng)中的情境管理研究[D];大連理工大學;2013年

8 馬相春;基于大數(shù)據(jù)的初中數(shù)學智慧學習系統(tǒng)模型研究[D];東北師范大學;2017年

相關(guān)碩士學位論文 前10條

1 魏運清;基于RNN結(jié)構(gòu)深度學習系統(tǒng)的白盒自動化測試方法的研究[D];山東大學;2019年

2 鞏曉悅;基于個性化推薦的在線學習系統(tǒng)研究與實現(xiàn)[D];北京郵電大學;2019年

3 郭琴芳;基于知識圖譜的初中數(shù)學在線學習系統(tǒng)及應用[D];西安理工大學;2019年

4 賈晨;不同模態(tài)問題下寬度學習系統(tǒng)的研究與應用[D];太原理工大學;2019年

5 王飛飛;高職院校學生數(shù)學課程在線學習系統(tǒng)[D];華北理工大學;2018年

6 陳R汲

本文編號：2632296