距離度量學(xué)習(xí)(度量學(xué)習(xí)),是最常用的機(jī)器學(xué)習(xí)算法之一,它廣泛應(yīng)用于對象識(shí)別,人臉驗(yàn)證和圖像檢索等問題。常用的度量學(xué)習(xí)算法通常是學(xué)習(xí)一個(gè)映射函數(shù)將數(shù)據(jù)投影到一個(gè)新的度量空間,使其具有某些希望的性質(zhì),如:希望屬于同類或語義相關(guān)性較強(qiáng)的圖像在新的度量空間中距離更接近,而不同類及語義相關(guān)性較弱的圖像之間相互遠(yuǎn)離。盡管度量學(xué)習(xí)在大量應(yīng)用問題上取得了成功,但是現(xiàn)有工作大多基于“數(shù)據(jù)標(biāo)號(hào)干凈”這一假設(shè)展開。然而在現(xiàn)實(shí)場景特別是使用互聯(lián)網(wǎng)獲取數(shù)據(jù)時(shí),會(huì)遇到很多標(biāo)注錯(cuò)誤的數(shù)據(jù)。當(dāng)數(shù)據(jù)中包含一定量標(biāo)號(hào)噪聲時(shí),度量學(xué)習(xí)通常會(huì)受到嚴(yán)重影響:首先是訓(xùn)練難度增加,優(yōu)化過程需要更多步迭代甚至難以收斂。其次,它會(huì)誤導(dǎo)訓(xùn)練過程,使得非同類樣本被拉近,而同類樣本被拉遠(yuǎn),最終導(dǎo)致模型精度嚴(yán)重下降。本文工作聚焦于設(shè)計(jì)魯棒于標(biāo)號(hào)噪聲的度量學(xué)習(xí),以解決現(xiàn)實(shí)的應(yīng)用問題;具體地,本文的主要貢獻(xiàn)和創(chuàng)新點(diǎn)總結(jié)如下:(1)針對標(biāo)號(hào)帶噪數(shù)據(jù)提出了一種有效的數(shù)據(jù)預(yù)處理方法,包括一種無監(jiān)督的特征提取網(wǎng)絡(luò)C-SVDDNet和一種基于神經(jīng)網(wǎng)絡(luò)的標(biāo)號(hào)去噪算法LDAE。(2)提出了一種基于隱變量的魯棒于標(biāo)號(hào)噪聲的度量學(xué)習(xí),在建模中將帶噪標(biāo)號(hào)當(dāng)作觀測變量...

【文章頁數(shù)】：111 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 距離度量學(xué)習(xí)簡介
    1.2 度量學(xué)習(xí)相關(guān)工作
    1.3 標(biāo)號(hào)噪聲下的機(jī)器學(xué)習(xí)
    1.4 本文的主要研究工作和組織結(jié)構(gòu)
第二章 標(biāo)號(hào)帶噪數(shù)據(jù)的預(yù)處理
    2.1 引言
    2.2 無監(jiān)督特征提取
        2.2.1 相關(guān)工作
        2.2.2 C-SVDD編碼
        2.2.3 K-means編碼與C-SVDD編碼對比
        2.2.4 C-SVDDNet
        2.2.5 多尺度特征表示
        2.2.6 實(shí)驗(yàn)分析
            2.2.6.1 STL-10數(shù)據(jù)庫實(shí)驗(yàn)
            2.2.6.2 MNIST數(shù)據(jù)庫實(shí)驗(yàn)
            2.2.6.3 圖像檢索數(shù)據(jù)庫實(shí)驗(yàn)
    2.3 標(biāo)號(hào)去噪處理
        2.3.1 自編碼器相關(guān)工作
        2.3.2 標(biāo)號(hào)去噪自編碼器
        2.3.3 實(shí)驗(yàn)結(jié)果
            2.3.3.1 模擬數(shù)據(jù)實(shí)驗(yàn)
            2.3.3.2 真實(shí)數(shù)據(jù)集上的分類實(shí)驗(yàn)
    2.4 本章小結(jié)
第三章 基于隱變量模型的魯棒于標(biāo)號(hào)噪聲的度量學(xué)習(xí)
    3.1 引言
    3.2 相關(guān)背景
        3.2.1 標(biāo)號(hào)噪聲的分布假設(shè)
        3.2.2 NCA模型
    3.3 魯棒于標(biāo)號(hào)噪聲的NCA模型
        3.3.1 建模
        3.3.2 優(yōu)化
            3.3.2.1 估計(jì)距離度量參數(shù)
            3.3.2.2 估計(jì)標(biāo)號(hào)噪聲參數(shù)
    3.4 實(shí)驗(yàn)分析
        3.4.1 實(shí)現(xiàn)細(xì)節(jié)
        3.4.2 標(biāo)號(hào)噪聲對距離度量學(xué)習(xí)的影響
            3.4.2.1 可視化訓(xùn)練過程
            3.4.2.2 UCI數(shù)據(jù)集上模擬標(biāo)號(hào)噪聲的實(shí)驗(yàn)結(jié)果
        3.4.3 真實(shí)標(biāo)號(hào)噪聲場景的實(shí)驗(yàn)
    3.5 本章小結(jié)
第四章 貝葉斯NCA模型
    4.1 引言
    4.2 樣本對約束的貝葉斯度量學(xué)習(xí)BML
    4.3 貝葉斯NCA模型
        4.3.1 譜近似
        4.3.2 局部變分貝葉斯推斷
        4.3.3 預(yù)測與分類
    4.4 算法分析
        4.4.1 自適應(yīng)的樣本選擇
        4.4.2 魯棒性與效率
    4.5 實(shí)驗(yàn)與分析
        4.5.1 實(shí)驗(yàn)設(shè)置
        4.5.2 小樣本數(shù)據(jù)的實(shí)驗(yàn)結(jié)果
        4.5.3 隨機(jī)標(biāo)號(hào)噪聲數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果
        4.5.4 困難分類場景下的性能
        4.5.5 大數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果
        4.5.6 分析與討論
            4.5.6.1 魯棒性與過擬合
            4.5.6.2 幾種不同訓(xùn)練方法的對比
            4.5.6.3 正則化的影響
            4.5.6.4 比較BNCA與高斯過程
    4.6 本章小結(jié)
第五章 貝葉斯大間隔度量學(xué)習(xí)
    5.1 引言
    5.2 大間隔度量學(xué)習(xí)
    5.3 貝葉斯LMNN
        5.3.1 建模
        5.3.2 標(biāo)準(zhǔn)變分貝葉斯訓(xùn)練
        5.3.3 隨機(jī)變分法
        5.3.4 預(yù)測
    5.4 理論分析
        5.4.1 貝葉斯LMNN算法對標(biāo)號(hào)噪聲的魯棒性
        5.4.2 標(biāo)號(hào)噪聲下的泛化性誤差
        5.4.3 標(biāo)號(hào)噪聲下的樣本復(fù)雜度
        5.4.4 總結(jié)
    5.5 LMNN算法的其它變體
        5.5.1 加權(quán)LMNN算法
        5.5.2 基于采樣訓(xùn)練的貝葉斯LMNN算法
    5.6 實(shí)現(xiàn)細(xì)節(jié)
        5.6.1 參數(shù)修整
        5.6.2 參數(shù)選擇與初始化
    5.7 證明與推導(dǎo)
        5.7.1 拉普拉斯分布L(x|0,σ)的高斯逼近
        5.7.2 標(biāo)準(zhǔn)變分法的優(yōu)化過程
        5.7.3 引理1的證明
        5.7.4 引理2的證明
        5.7.5 定理1的證明
        5.7.6 定理2的證明
        5.7.7 定理3的證明
    5.8 實(shí)驗(yàn)與分析
        5.8.1 實(shí)驗(yàn)設(shè)置
        5.8.2 隨機(jī)標(biāo)號(hào)噪聲下的手寫數(shù)字識(shí)別
        5.8.3 模擬標(biāo)號(hào)噪聲下的自然圖像識(shí)別
        5.8.4 真實(shí)標(biāo)號(hào)噪聲下的大型人臉圖像檢索問題
        5.8.5 分析與討論
            5.8.5.1 定義1的驗(yàn)證
            5.8.5.2 學(xué)習(xí)曲線
            5.8.5.3 訓(xùn)練集大小的影響
            5.8.5.4 數(shù)據(jù)維度的影響
            5.8.5.5 先驗(yàn)分布的影響
            5.8.5.6 低標(biāo)號(hào)噪聲比例下的性能變化
    5.9 本章小結(jié)
第六章 結(jié)束語
    6.1 本文工作總結(jié)
    6.2 進(jìn)一步研究工作
參考文獻(xiàn)
致謝
在學(xué)期間的研究成果及發(fā)表的學(xué)術(shù)論文



本文編號(hào)：3811513