多標(biāo)記學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域中一種重要的學(xué)習(xí)范式,在過去幾年的發(fā)展中,多標(biāo)記學(xué)習(xí)算法被廣泛應(yīng)用到諸多多標(biāo)記對象的學(xué)習(xí)場景中。隨著多標(biāo)記學(xué)習(xí)領(lǐng)域的不斷發(fā)展,在標(biāo)準(zhǔn)多標(biāo)記學(xué)習(xí)任務(wù)中算法的性能日益成熟,同時,機器學(xué)習(xí)算法對動態(tài)開放環(huán)境的適應(yīng)性對機器學(xué)習(xí)領(lǐng)域的發(fā)展提出了新的挑戰(zhàn)。傳統(tǒng)多標(biāo)記學(xué)習(xí)算法假設(shè)標(biāo)記空間在訓(xùn)練階段與預(yù)測階段一致,而現(xiàn)實世界動態(tài)開放的環(huán)境可能會打破這一假設(shè),因此對動態(tài)開放環(huán)境中的多標(biāo)記學(xué)習(xí)進(jìn)行研究,針對出現(xiàn)未見的新類別標(biāo)記的情形提出適應(yīng)性算法十分有必要。多標(biāo)記圖片是一類重要的多標(biāo)記學(xué)習(xí)對象,多標(biāo)記圖片分類任務(wù)是目前具有挑戰(zhàn)性的研究課題,其在互聯(lián)網(wǎng)領(lǐng)域和安防監(jiān)控場景的視頻任務(wù)中應(yīng)用前景廣闊。同時近些年來卷積神經(jīng)網(wǎng)絡(luò)（CNN）技術(shù)的發(fā)展極大的促進(jìn)了圖片識別領(lǐng)域的發(fā)展,并且基于大規(guī)模訓(xùn)練集預(yù)訓(xùn)練的模型能夠遷移到其他相關(guān)的學(xué)習(xí)任務(wù)中。因此結(jié)合卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對多標(biāo)記圖片分類任務(wù)中可能遇到的新類別標(biāo)記學(xué)習(xí)問題展開研究具有重要的理論價值和應(yīng)用價值。本文將圍繞動態(tài)開放環(huán)境下的多標(biāo)記圖片分類任務(wù),設(shè)計算法解決新類別標(biāo)記出現(xiàn)的問題。本文提出新類別標(biāo)記學(xué)習(xí)算法MULNLC:（1）首先使用經(jīng)過預(yù)訓(xùn)練... 

【文章來源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：62 頁

【學(xué)位級別】：碩士

【部分圖文】：

多標(biāo)記對象示例

東南大學(xué)碩士學(xué)位論文2或?qū)⑵漕A(yù)測為相近的cat標(biāo)記。這種在預(yù)測階段和訓(xùn)練階段標(biāo)記空間不一致的問題屬于增量學(xué)習(xí)[49]中的類別增量學(xué)習(xí)，類別增量學(xué)習(xí)所解決的問題是在學(xué)習(xí)系統(tǒng)訓(xùn)練好之后，后續(xù)出現(xiàn)的示例帶有未見的新類別。這方面的代表性工作包括LACU框架[20]和MUENL算法[21]，前者是針對單示例單標(biāo)記學(xué)習(xí)場景提出的算法，后者是多標(biāo)記學(xué)習(xí)場景下基于異常值檢測的思路提出的（其基于集成樹的異常值檢測算法不適合高維的圖片數(shù)據(jù)），它們均不適合多標(biāo)記圖片分類任務(wù)下的新類別標(biāo)記學(xué)習(xí)問題。多標(biāo)記圖片分類任務(wù)是目前具有挑戰(zhàn)性的研究課題，其在互聯(lián)網(wǎng)領(lǐng)域和安防監(jiān)控場景的視頻任務(wù)中應(yīng)用前景廣闊，因此對多標(biāo)記圖片分類任務(wù)中可能遇到的新類別標(biāo)記學(xué)習(xí)問題展開研究具有重要的理論價值和應(yīng)用價值。本文將圍繞動態(tài)開放環(huán)境下的多標(biāo)記圖片分類任務(wù)，設(shè)計算法解決新類別標(biāo)記出現(xiàn)的問題。本文提出的MULNLC算法首先使用經(jīng)過預(yù)訓(xùn)練和微調(diào)的卷積神經(jīng)網(wǎng)絡(luò)模型作為多標(biāo)記圖片的特征提取器，基于初始訓(xùn)練集學(xué)習(xí)分類模型以及新類別標(biāo)記檢測模型；然后在可能包含新類別標(biāo)記的批數(shù)據(jù)中，使用雙階段檢測模塊在未知標(biāo)記的批數(shù)據(jù)中檢測包含新類別標(biāo)記的數(shù)據(jù)示例，并對于檢測到的新類別標(biāo)記數(shù)據(jù)使用卷積網(wǎng)絡(luò)模型加以擴充，豐富后續(xù)學(xué)習(xí)模型的訓(xùn)練樣本；最后，基于新類別標(biāo)記數(shù)據(jù)和已知標(biāo)記數(shù)據(jù)更新分類模型和新類別標(biāo)記檢測模型。在常用的多標(biāo)記圖片數(shù)據(jù)集上的實驗結(jié)果表明了算法的有效性，同時，本文基于提出的MULNLC算法開發(fā)了適用于實際應(yīng)用場景的“新類別標(biāo)記圖片標(biāo)注系統(tǒng)”。圖1-2訓(xùn)練集和測試集標(biāo)記空間不一致性的示例

啾穡?３?此之外，Zhu[20]等提出一種在多標(biāo)記學(xué)習(xí)場景下的新類別標(biāo)記發(fā)現(xiàn)問題的解決框架，它假設(shè)新類別標(biāo)記在時間上以一定的順序出現(xiàn)，即在相同一段時間若有新類別標(biāo)記出現(xiàn)，則假定是同一類新類別標(biāo)記，然后在下一時間段中，出現(xiàn)的是另一類相同的新類別標(biāo)記。論文引入異常值檢測思路來判別一個示例是否帶有新類別標(biāo)記；如果帶有新類別標(biāo)記，則將這個示例放到緩存中，等到新類別標(biāo)記在緩存中擁有足夠的數(shù)據(jù)量，利用緩存中的新類別標(biāo)記的示例構(gòu)建該標(biāo)記的分類器，更新已知標(biāo)記的分類器。此外，在多標(biāo)記多示例分類任務(wù)中（參見圖1-3），數(shù)據(jù)以“包”的形式組織，每一個“包”中含有多個單示例，這些單示例各自帶有的標(biāo)記構(gòu)成了“包”的標(biāo)記。多標(biāo)記多示例學(xué)習(xí)的目的就是在上述的數(shù)據(jù)對象上，學(xué)習(xí)從輸入到輸出的映射。該類問題和多標(biāo)記學(xué)習(xí)以及單示例單標(biāo)記學(xué)習(xí)的差異性在于“包”層次上具有多個標(biāo)記，“包”內(nèi)部的示例具有各自的單標(biāo)記�；谙嗤瑯�(biāo)記的示例在特征空間中的距離更近且每個標(biāo)記有原型簇中心的假設(shè)，Zhu[22]提出一種迭代優(yōu)化的模型解決此類任務(wù)中新類別標(biāo)記發(fā)現(xiàn)的問題。對以往的新類別標(biāo)記學(xué)習(xí)相關(guān)方法進(jìn)行總結(jié)和學(xué)習(xí)，能夠?qū)δ壳霸搯栴}的基本解決思路的初步把握，并且前期的工作也是后續(xù)該領(lǐng)域進(jìn)一步發(fā)展的重要推動因素。圖1-3多示例多標(biāo)記學(xué)習(xí)示意圖[59]


本文編號：3306866