在過去的十年中,深度學習技術(shù)在計算機視覺、機器翻譯和自動駕駛等各種具有挑戰(zhàn)性的任務中均取得了巨大的進展。深度神經(jīng)網(wǎng)絡（DNN）作為深度學習技術(shù)的關鍵組成部分,在其發(fā)展的過程中起著至關重要的作用,大多數(shù)主要的科技公司都將深度神經(jīng)網(wǎng)絡作為關鍵組件來構(gòu)建其人工智能產(chǎn)品和服務。雖然深度神經(jīng)網(wǎng)絡的應用極大地促進了該領域的發(fā)展,但構(gòu)建深度神經(jīng)網(wǎng)絡模型卻需要我們付出巨大的代價:大規(guī)模帶標簽的數(shù)據(jù)集、大量的計算資源以及高度專業(yè)的領域知識。因此我們認為模型所有者擁有模型的知識產(chǎn)權(quán),設計一種保護深度神經(jīng)網(wǎng)絡模型的知識產(chǎn)權(quán)并允許所有者對其版權(quán)進行外部驗證的技術(shù)至關重要。為了保護模型版權(quán),研究者們將已被廣泛用于保護多媒體知識產(chǎn)權(quán)的數(shù)字水印引入到深度學習領域。然而,這些水印與正常樣本的特征分布存在顯著差異,導致這些研究要么未能抵御逃逸攻擊,要么沒有明確處理敵手的欺詐性所有權(quán)主張。此外,他們不能在模型和所有者的身份之間建立明確的聯(lián)系。為了解決這些問題,本文提出了一種基于盲水印的深度神經(jīng)網(wǎng)絡模型知識產(chǎn)權(quán)保護框架。該框架以正常樣本和專屬標志（LOGO）作為輸入,生成關鍵樣本作為水印,再通過分配特定標簽將這些水印注入到... 

【文章來源】：山東大學山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：70 頁

【學位級別】：碩士

【部分圖文】：

圖１－丨深度學習技術(shù)無處不在??

山東大學碩士學位論文??版權(quán)保護框架。盡管，當前學術(shù)界存在許多先進的知識產(chǎn)權(quán)保護機制和框架，??但是這些方法在安全和法律層面上的應用和體現(xiàn)卻是薄弱的。換句話說，將數(shù)??字水印保護技術(shù)擴展到深度學習領域仍處于初期發(fā)展時期。??１．２研究現(xiàn)狀??圖１－２展示了當前研究工作中的水印效果。Ｕｃｈｉｄａ等人［２７］第一次提出了在??深度神經(jīng)網(wǎng)絡模型中嵌入水印的通用框架，保護經(jīng)過訓練后所獲得的模型的版??權(quán)。研宄者們首先為在模型中嵌入水印定義了需求、嵌入情況和攻擊類型。其??次，研究者們提出了使用參數(shù)正則化的方法將水印嵌入模型參數(shù)中的通用框架。??這種通用框架能夠在不會損害嵌入水印的模型的性能前提下，實現(xiàn)水印的有效??嵌入，揭示了向深度神經(jīng)網(wǎng)絡嵌入水印存在巨大的潛力。盡管這項工作是對深??度神經(jīng)網(wǎng)絡模型嵌入水印的首次嘗試，可以說是一種巨大的飛躍，但是存在一??個明顯的限制是：將水印嵌入到神經(jīng)網(wǎng)絡模型的權(quán)重當中，即是白盒方式。他??們假設模型所有者能夠直接訪問遠程可疑模型以提取所有網(wǎng)絡權(quán)重，然后通過??對所提取的網(wǎng)絡權(quán)重進行一系列的轉(zhuǎn)換和操作，來驗證最終的結(jié)果是否和預先??定義的參數(shù)一致。如果驗證結(jié)果一致，則說明遠端可疑模型屬于模型所有者。??然而這卻是不符合實際的一一模型盜取者通常把非法的深度神經(jīng)網(wǎng)絡模型部署??在遠端來提供線上服務，模型所有者只能夠發(fā)送圖像到遠端的模型來獲得模型??的預測標簽，模型所有者根本無法直接訪問到模型的內(nèi)部權(quán)重，也就是說，??Ｕｃｈｉｄａ等人提出的通用框架在實際中并不能使用，無法實現(xiàn)保護模型版權(quán)的目??標。??——ＩＦ?ＭＭ?Ｖ??（ａ）基礎?（ｂ）字符?（ｃ）圖形?＜ｄ）心形?（ｅ）數(shù)宇?（

建立明確的關聯(lián)，包括上述方法??［１］［２３］［２７】都存在這樣的問題。??主要挑戰(zhàn)：為了保持模型所有者在商業(yè)競爭中的經(jīng)濟優(yōu)勢，如何設計一種??可靠的技術(shù)來驗證部署在遠端的深度學習模型的知識產(chǎn)權(quán)所屬，己經(jīng)成為一個??迫切需要解決的問題。通過我們對數(shù)字水印在深度學習領域的初步應用的闡述，??可以發(fā)現(xiàn)當前，盡管己經(jīng)存在一些保護模型版權(quán)的方法和技術(shù)，但是這些版權(quán)??保護方法并不能很好地保護深度神經(jīng)網(wǎng)絡模型的知識產(chǎn)權(quán)。為了更好地說明需??要提出一個新型的深度神經(jīng)網(wǎng)絡模型知識產(chǎn)權(quán)保護機制，如圖１－３，本小節(jié)將對??數(shù)字水印在深度學習領域的應用所遇到的主要挑戰(zhàn)進行詳細的介紹一一逃逸攻??擊和欺詐性所有權(quán)攻擊。同時，克服這些挑戰(zhàn)也是我們這項工作的主要研究動??機。??？?＾?出售?＇??所有者??：＾?購買者??Ｊ?Ｖ???＞??１??二次出售／盜取??ｉ｜??偽造者’?盜取者??」?Ｖ?」??圖１－３安全性和合法性的威脅??模型盜取者發(fā)起的逃逸攻擊：假設存在一個模型所有者，一個模型盜取者??和一個模型購買者。兩種可能的情形可能會導致逃逸攻擊的發(fā)生：（１）模型盜??取者以某種方式盜取了模型；（２）模型購買者未經(jīng)模型所有者的許可將購買的??模型轉(zhuǎn)售給了盜取者。這兩種行為均會對模型所有者的商業(yè)利益構(gòu)成損害。如??果模型能夠被成功地嵌入水印，則模型所有者則可以通過向遠端可疑模型發(fā)送??數(shù)字水印的預測標簽查詢，如果遠端可疑模型的預測標簽以較高的準確率符合??所有者針對這些水印預先定義的特定標簽，則可說明模型所有者成功地驗證了??遠端可疑模型的所有權(quán)。??為了逃避所有者的版權(quán)驗證，模型盜取者將會嘗試構(gòu)建


本文編號：3119148