邏輯回歸是多標簽分類以及排名任務(wù)中最常用的損失形式,但邏輯回歸下的Sigmoid交叉熵損失函數(shù)受類別不平衡的影響極其嚴重。這種不平衡主要來自兩方面,一是單個類別正例樣本與負例樣本比例的不均衡,二是各個類別之間樣本數(shù)量上的巨大差別。這篇文章首先指出了這兩種不平衡能通過對分類器輸入隨機生成的噪聲樣本來量化,即使噪聲樣本不能提供任何有助于分類的信息,分類器對噪聲樣本給出的預(yù)測值在各個類之間仍然有顯著且穩(wěn)定的差異。這篇文章認為這些不依賴樣本信息的預(yù)測差異反映了分類器的推斷傾向,并足以作為在類別不平衡學(xué)習中校正分類器的依據(jù)。傳統(tǒng)的類別不平衡學(xué)習主要面臨兩個問題,一是對類別不平衡影響最終預(yù)測的深層機制只有定性討論,缺乏定量分析;二是沒有度量模型受類別不平衡影響程度的定量指標。以上兩點導(dǎo)致對類別不平衡問題的解決方案大多停留在啟發(fā)式的加權(quán)策略上,缺乏系統(tǒng)的理論依據(jù)。這篇文章以圖片多標簽分類為基準任務(wù),詳細地討論了多標簽分類任務(wù)下類別不平衡問題的成因,揭示了類別不平衡與推斷傾向之間的聯(lián)系,并提出了用于定量測量推斷傾向的噪聲統(tǒng)計方案,并在此基礎(chǔ)上提出兩項Sigmoid交叉熵的改進方案,期望極值平移(ES)...

【文章頁數(shù)】：55 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 課題研究背景
    1.2 課題研究的目的和意義
    1.3 國內(nèi)外研究現(xiàn)狀
    1.4 論文主要研究內(nèi)容
    1.5 論文組織結(jié)構(gòu)
2 相關(guān)技術(shù)
    2.1 基于深度學(xué)習的圖片特征提取
    2.2 多類與多標簽分類
    2.3 類別不平衡學(xué)習與難例挖掘
    2.4 本章小結(jié)
3 噪聲統(tǒng)計方案
    3.1 推斷傾向與樣本預(yù)測
    3.2 噪聲統(tǒng)計
    3.3 即時噪聲統(tǒng)計
    3.4 本章小結(jié)
4 基于噪聲統(tǒng)計的交叉熵改進方法
    4.1 交叉熵損失的期望極值點
    4.2 期望極值平移
    4.3 噪聲樣本約束
    4.4 本章小節(jié)
5 實驗與結(jié)果分析
    5.1 實驗介紹
    5.2 結(jié)果分析
    5.3 超參數(shù)敏感性分析
    5.4 本章小結(jié)
6 總結(jié)與展望
    6.1 論文工作總結(jié)
    6.2 進一步研究方向
致謝
參考文獻
附錄1 攻讀碩士學(xué)位期間研究成果



本文編號：3866830