近年來(lái),計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和機(jī)器翻譯領(lǐng)域深度學(xué)習(xí)技術(shù)取得了極大的成功,其中表示學(xué)習(xí)領(lǐng)域研究的不斷進(jìn)步起到了很大的作用。表示學(xué)習(xí)在文本表示、語(yǔ)音等領(lǐng)域貢獻(xiàn)極大。學(xué)習(xí)數(shù)據(jù)的表示,這使得在構(gòu)建分類器或其他預(yù)測(cè)器時(shí)更容易提取有用的信息。良好的數(shù)據(jù)表示對(duì)于深度學(xué)習(xí)算法性能的提升有巨大的意義。而最近幾年,有監(jiān)督的深度學(xué)習(xí)研究一直占據(jù)著主流,研究者們主要圍繞著有監(jiān)督深度學(xué)習(xí)領(lǐng)域開(kāi)展研究。有監(jiān)督信息對(duì)于深度學(xué)習(xí)模型效果的提升是非常顯著的,半監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)方不如有監(jiān)督學(xué)習(xí)方法發(fā)展那么快,但是隨著時(shí)代的發(fā)展和數(shù)據(jù)規(guī)模的急速增長(zhǎng),想要獲取海量數(shù)據(jù)的標(biāo)簽信息變得越來(lái)越困難,使用少量帶標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練的半監(jiān)督學(xué)習(xí)方法以及無(wú)監(jiān)督學(xué)習(xí)方法變得越來(lái)越重要。在近年,在無(wú)監(jiān)督表示學(xué)習(xí)領(lǐng)域深度生成模型的研究取得了廣泛的成功,例如變分自動(dòng)編碼器,變分自動(dòng)編碼器已成為無(wú)監(jiān)督學(xué)習(xí)復(fù)雜分布的最流行方法之一。變分自動(dòng)編碼器建立在神經(jīng)網(wǎng)絡(luò)之上,并且可以使用隨機(jī)梯度下降方法進(jìn)行訓(xùn)練。本文在變分自動(dòng)編碼器的框架下提出了一種半監(jiān)督分類方法。在隱空間引入多個(gè)高斯先驗(yàn),將不同類別的數(shù)據(jù)隱編碼匹配到不同的高斯分布上,并且在隱空間利用學(xué)生T分布... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：56 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

簡(jiǎn)單的自動(dòng)編碼器人們總是可以嘗試獲得更多的標(biāo)簽數(shù)據(jù)，但這是非常昂貴的，要付出很高的代價(jià)

如圖2-1 所示。自動(dòng)編碼器和多層感知機(jī)之間的主要區(qū)別在于前者的輸出層具有與其輸入層相同的神經(jīng)元個(gè)數(shù)，而后者的輸出層神經(jīng)元個(gè)數(shù)是感知器應(yīng)該能夠分類的類的數(shù)量。此外，自動(dòng)編碼器屬于無(wú)監(jiān)督學(xué)習(xí)算法，因?yàn)樗鼘W(xué)習(xí)能夠?qū)W習(xí)到?jīng)]有標(biāo)簽數(shù)據(jù)的低維表示而多層感知機(jī)需要標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練得到分類結(jié)果。圖 2-1 自動(dòng)編碼器自動(dòng)編碼器中最重要的部分是它的隱藏層。隱藏層學(xué)習(xí)如何將數(shù)據(jù)進(jìn)行編碼，而輸出層學(xué)習(xí)如何將編碼進(jìn)行解碼還原原始數(shù)據(jù)。由于自動(dòng)編碼器的常見(jiàn)應(yīng)用是降維，也就是在訓(xùn)練結(jié)束之后輸出層通常被丟棄，自動(dòng)編碼器常被用于

圖 2-2 稀疏自動(dòng)編碼器我們可以在損失函數(shù)中加入稀疏性約束。由于我們希望隱藏層中的元都是不活動(dòng)的，因此我們可以計(jì)算隱藏層的平均的激活值并強(qiáng)制。如果閾值很低，那么神經(jīng)元將調(diào)整它們的參數(shù)來(lái)遵守這個(gè)約束。 2-3 所示計(jì)算出每個(gè)隱藏層神經(jīng)元的平均激活值。(2)11( )Nj iixN并且我們?cè)O(shè)置一個(gè)稀疏度參數(shù) 并初始化讓其接近于 0，如果越接稀疏度就越高。見(jiàn)公式 2-4，我們利用 KL 散度計(jì)算 和 之間的計(jì)算 K 次保證稀疏約束的能力。1( || )KKLjD 我們把約束放進(jìn)目標(biāo)函數(shù)中并對(duì)模型進(jìn)行訓(xùn)練，那么在最小化目標(biāo)優(yōu)化過(guò)程中，隱藏層的神經(jīng)元激活輸出值就會(huì)變得越來(lái)越接近于設(shè)


本文編號(hào)：3582599