基于深度學(xué)習(xí)的鑒別性特征學(xué)習(xí)的研究
發(fā)布時間:2023-01-29 08:10
自2012年起,深度學(xué)習(xí)在計算機視覺領(lǐng)域展示出了強大的數(shù)據(jù)建模能力。深度學(xué)習(xí)對于數(shù)據(jù)的建模能力一般體現(xiàn)在對于數(shù)據(jù)的特征化表達,良好的特征化表達有利于數(shù)據(jù)精準(zhǔn)的模式分類、匹配、檢索等任務(wù),從而滿足不同的實踐應(yīng)用需求。因此,如何學(xué)習(xí)和優(yōu)化良好的深度特征表達(在本文當(dāng)中我們將具有良好特性的特征表達稱為鑒別性特征表達)是現(xiàn)代深度學(xué)習(xí)最具有挑戰(zhàn)性的前沿方向之一。在基于深度學(xué)習(xí)的鑒別性特征學(xué)習(xí)中,特征的判別性、特征的泛化性等關(guān)鍵問題與挑戰(zhàn)相互交疊,共同影響了特征的鑒別性。而特征鑒別性又受到目標(biāo)函數(shù)以及網(wǎng)絡(luò)結(jié)構(gòu)等的多重影響。鑒于此,本文將分別從目標(biāo)函數(shù)以及網(wǎng)絡(luò)結(jié)構(gòu)的角度出發(fā)來提高深度特征的鑒別性,具體地,該博士論文的主要創(chuàng)新點包括:1.針對主流目標(biāo)函數(shù)之一的softmax框架,本文提出兩種改進算法,即Virtual-Softmax與Noisy-Softmax。這兩種算法分別通過引入虛擬負(fù)類別和退火噪聲提高了深度特征的鑒別性。同時,這兩種算法的有效性在圖片分類、人臉識別數(shù)據(jù)庫中得到了驗證。2.針對主流目標(biāo)函數(shù)之一的深度度量學(xué)習(xí)框架,本文提出兩種改進算法,即分別基于圖模型和混淆學(xué)習(xí)的正則項。這兩種算法分...
【文章頁數(shù)】:138 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
ABSTRACT
符號對照表
第一章 緒論
1.1 研究背景和意義
1.1.1 理論研究價值
1.1.2 應(yīng)用研究價值
1.2 問題描述
1.2.1 目標(biāo)損失函數(shù)
1.2.2 網(wǎng)絡(luò)結(jié)構(gòu)
1.3 國內(nèi)外研究現(xiàn)狀
1.3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計
1.3.2 損失函數(shù)優(yōu)化
1.4 本文研究內(nèi)容與主要貢獻
1.5 本文的組織結(jié)構(gòu)
第二章 基于虛擬負(fù)類別的softmax算法
2.1 引言
2.2 相關(guān)工作
2.3 類別數(shù)與特征空間關(guān)系
2.4 算法提出
2.4.1 問題定義
2.4.2 算法細(xì)節(jié)
2.4.3 算法的優(yōu)化學(xué)習(xí)
2.5 算法的討論
2.5.1 耦合衰減
2.5.2 特征更新
2.5.3 判別性分析
2.6 實驗過程與結(jié)果分析
2.6.1 實驗數(shù)據(jù)
2.6.2 基準(zhǔn)算法和實驗細(xì)節(jié)
2.6.3 實驗結(jié)果
2.7 小結(jié)
第三章 基于退火噪聲擾動的softmax算法
3.1 引言
3.2 相關(guān)工作
3.3 個體飽和行為
3.4 算法提出
3.4.1 算法定義
3.4.2 算法優(yōu)化
3.5 算法討論
3.5.1 噪聲規(guī)模α的影響
3.5.2 飽和性分析
3.5.3 退火噪聲的分析
3.5.4 正則化分析
3.5.5 與其他方法的對比
3.6 實驗過程與結(jié)果分析
3.6.1 實驗數(shù)據(jù)
3.6.2 實驗細(xì)節(jié)
3.6.3 實驗結(jié)果
3.7 小結(jié)
第四章 基于圖約束的深度度量學(xué)習(xí)算法
4.1 引言
4.2 相關(guān)工作
4.3 算法提出
4.3.1 問題背景
4.3.2 圖一致性
4.3.3 圖一致的上屆表達
4.3.4 圖一致性度量學(xué)習(xí)
4.4 實驗過程與結(jié)果分析
4.4.1 實驗數(shù)據(jù)
4.4.2 實驗細(xì)節(jié)
4.4.3 消融實驗分析
4.4.4 與其他算法的結(jié)果對比
4.5 小結(jié)
第五章 基于混淆學(xué)習(xí)的深度度量學(xué)習(xí)算法
5.1 引言
5.2 相關(guān)工作
5.3 算法背景
5.4 算法提出
5.4.1 度量學(xué)習(xí)
5.4.2 能量混淆
5.4.3 多樣性混淆
5.4.4 基于混淆學(xué)習(xí)的度量學(xué)習(xí)
5.5 實驗過程與結(jié)果分析
5.5.1 實驗數(shù)據(jù)
5.5.2 實驗細(xì)節(jié)
5.5.3 算法性能對比
5.5.4 算法分析
5.6 小結(jié)
第六章 基于高階關(guān)注模塊的集成模型算法
6.1 引言
6.2 相關(guān)工作
6.3 算法細(xì)節(jié)
6.3.1 問題背景
6.3.2 高階關(guān)注模塊
6.3.3 基于混合高階關(guān)注的集成模型網(wǎng)絡(luò)
6.4 實驗細(xì)節(jié)與結(jié)果分析
6.4.1 實驗數(shù)據(jù)
6.4.2 實驗細(xì)節(jié)
6.4.3 實驗結(jié)果
6.4.4 組件分析
6.5 小結(jié)
第七章 總結(jié)與展望
7.1 本文總結(jié)
7.2 未來展望
參考文獻
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄
本文編號:3732659
【文章頁數(shù)】:138 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
ABSTRACT
符號對照表
第一章 緒論
1.1 研究背景和意義
1.1.1 理論研究價值
1.1.2 應(yīng)用研究價值
1.2 問題描述
1.2.1 目標(biāo)損失函數(shù)
1.2.2 網(wǎng)絡(luò)結(jié)構(gòu)
1.3 國內(nèi)外研究現(xiàn)狀
1.3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計
1.3.2 損失函數(shù)優(yōu)化
1.4 本文研究內(nèi)容與主要貢獻
1.5 本文的組織結(jié)構(gòu)
第二章 基于虛擬負(fù)類別的softmax算法
2.1 引言
2.2 相關(guān)工作
2.3 類別數(shù)與特征空間關(guān)系
2.4 算法提出
2.4.1 問題定義
2.4.2 算法細(xì)節(jié)
2.4.3 算法的優(yōu)化學(xué)習(xí)
2.5 算法的討論
2.5.1 耦合衰減
2.5.2 特征更新
2.5.3 判別性分析
2.6 實驗過程與結(jié)果分析
2.6.1 實驗數(shù)據(jù)
2.6.2 基準(zhǔn)算法和實驗細(xì)節(jié)
2.6.3 實驗結(jié)果
2.7 小結(jié)
第三章 基于退火噪聲擾動的softmax算法
3.1 引言
3.2 相關(guān)工作
3.3 個體飽和行為
3.4 算法提出
3.4.1 算法定義
3.4.2 算法優(yōu)化
3.5 算法討論
3.5.1 噪聲規(guī)模α的影響
3.5.2 飽和性分析
3.5.3 退火噪聲的分析
3.5.4 正則化分析
3.5.5 與其他方法的對比
3.6 實驗過程與結(jié)果分析
3.6.1 實驗數(shù)據(jù)
3.6.2 實驗細(xì)節(jié)
3.6.3 實驗結(jié)果
3.7 小結(jié)
第四章 基于圖約束的深度度量學(xué)習(xí)算法
4.1 引言
4.2 相關(guān)工作
4.3 算法提出
4.3.1 問題背景
4.3.2 圖一致性
4.3.3 圖一致的上屆表達
4.3.4 圖一致性度量學(xué)習(xí)
4.4 實驗過程與結(jié)果分析
4.4.1 實驗數(shù)據(jù)
4.4.2 實驗細(xì)節(jié)
4.4.3 消融實驗分析
4.4.4 與其他算法的結(jié)果對比
4.5 小結(jié)
第五章 基于混淆學(xué)習(xí)的深度度量學(xué)習(xí)算法
5.1 引言
5.2 相關(guān)工作
5.3 算法背景
5.4 算法提出
5.4.1 度量學(xué)習(xí)
5.4.2 能量混淆
5.4.3 多樣性混淆
5.4.4 基于混淆學(xué)習(xí)的度量學(xué)習(xí)
5.5 實驗過程與結(jié)果分析
5.5.1 實驗數(shù)據(jù)
5.5.2 實驗細(xì)節(jié)
5.5.3 算法性能對比
5.5.4 算法分析
5.6 小結(jié)
第六章 基于高階關(guān)注模塊的集成模型算法
6.1 引言
6.2 相關(guān)工作
6.3 算法細(xì)節(jié)
6.3.1 問題背景
6.3.2 高階關(guān)注模塊
6.3.3 基于混合高階關(guān)注的集成模型網(wǎng)絡(luò)
6.4 實驗細(xì)節(jié)與結(jié)果分析
6.4.1 實驗數(shù)據(jù)
6.4.2 實驗細(xì)節(jié)
6.4.3 實驗結(jié)果
6.4.4 組件分析
6.5 小結(jié)
第七章 總結(jié)與展望
7.1 本文總結(jié)
7.2 未來展望
參考文獻
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄
本文編號:3732659
本文鏈接:http://sikaile.net/shoufeilunwen/xxkjbs/3732659.html
最近更新
教材專著