由于深層結(jié)構(gòu)具有對(duì)數(shù)據(jù)的良好表征能力,近年來它被廣泛的應(yīng)用于眾多領(lǐng)域。屬性是被用來描述數(shù)據(jù)的一種特殊數(shù)據(jù)類型,目前也被成功用于提升很多任務(wù)的性能。然而,將屬性引入深層結(jié)構(gòu)是復(fù)雜而且具有挑戰(zhàn)的,因?yàn)樯顚咏Y(jié)構(gòu)中的不同層表征著不同抽象層次的特征,而屬性本身天然地表征著數(shù)據(jù)的不同抽象層次。這樣一來,就要求我們必須通過仔細(xì)考察屬性和深層結(jié)構(gòu)層次之間的關(guān)系將二者適應(yīng)性的進(jìn)行聯(lián)合建模。以往的研究工作通常不考慮二者的抽象層次,只是將屬性作為與原始數(shù)據(jù)特征一樣的數(shù)據(jù)直接引入到深層結(jié)構(gòu)中,與之不同的是,本文的工作通過考察二者抽象概念層次間的關(guān)系,合理地將屬性連接到深層結(jié)構(gòu)的對(duì)應(yīng)層次上,從而能夠更好的利用屬性中蘊(yùn)含的信息,具體工作如下:1.本文提出了一種能夠?qū)傩詳?shù)據(jù)自動(dòng)連接至深層網(wǎng)絡(luò)中合適層次的基于能量的模型。該模型能夠?qū)傩詳?shù)據(jù)和深層網(wǎng)絡(luò)進(jìn)行統(tǒng)一建模,并通過引入一個(gè)可學(xué)習(xí)的開關(guān)矩陣來控制屬性數(shù)據(jù)連接至合適的網(wǎng)絡(luò)層次�；谠摶A(chǔ)模型,還提出了兩種擴(kuò)展模型,其中一種是將卷積操作直接綜合到模型的能量函數(shù)中,另一種是將卷積神經(jīng)網(wǎng)絡(luò)中間層的輸出作為該基礎(chǔ)模型的輸入,從而將兩個(gè)模型堆疊起來得到新的模型。2.本文提出... 

【文章來源】：清華大學(xué)北京市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：59 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

深度學(xué)習(xí)概覽

深度學(xué)習(xí)是近些年機(jī)器學(xué)習(xí)領(lǐng)域的一大突破,相比于傳統(tǒng)機(jī)器學(xué)習(xí)中的淺層模型,深度學(xué)習(xí)的模型一般由多個(gè)數(shù)據(jù)處理層疊加組成,它能夠從原始數(shù)據(jù)中學(xué)習(xí)得到多層次的抽象表征[20]。深度學(xué)習(xí)發(fā)展至今,已經(jīng)演化出眾多模型,它們已經(jīng)被成功地應(yīng)用于語音識(shí)別、物體識(shí)別、物體檢測(cè)以及很多其它領(lǐng)域,例如醫(yī)藥和地理。深度學(xué)習(xí)的一大核心就是反向傳播算法[21],這一算法能夠根據(jù)模型的預(yù)期輸出與實(shí)際輸出之間的差別,逐層調(diào)整網(wǎng)絡(luò)中的參數(shù),從而使得網(wǎng)絡(luò)能夠更好地表征數(shù)據(jù),最終更好地完成目標(biāo)任務(wù)。目前,從模型的角度來看,深度學(xué)習(xí)主要分為判別模型和生成模型(如圖2.2所示),其中判別模型可分為深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)三大類;生成模型可以分為基于能量的模型、變分自動(dòng)編碼器(Variational Auto Encoder,VAE)和生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Net,GAN)三大類。本小節(jié)將對(duì)深度學(xué)習(xí)中的這些主要模型進(jìn)行歸納概述,并簡(jiǎn)單介紹其應(yīng)用方向。圖2.2深度學(xué)習(xí)概覽

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是專門用于處理序列數(shù)據(jù)的,它的基本構(gòu)成如圖2.3所示,在時(shí)刻t,該網(wǎng)絡(luò)接受來自訓(xùn)練數(shù)據(jù)的xt和網(wǎng)絡(luò)的隱藏層狀態(tài)ht-1,產(chǎn)生t時(shí)刻新的隱藏層狀態(tài)ht。不同RNN的區(qū)別主要在如何產(chǎn)生每個(gè)時(shí)刻的輸出和隱藏層狀態(tài),而總體的網(wǎng)絡(luò)結(jié)構(gòu)基本不會(huì)發(fā)生變化。長短期記憶[28](Long Short-Term Memory,LSTM)和開關(guān)循環(huán)單元(Gated Recurrent Unit,GRU)是兩種常用的通過開關(guān)機(jī)制控制信息在RNN內(nèi)部流動(dòng)的方式�；贚STM或GRU可以構(gòu)建更加復(fù)雜的編碼解碼器(Encoder-Decoder)模型,它可以將一個(gè)序列數(shù)據(jù)通過編碼器編碼,再經(jīng)過解碼器解碼形成新的序列數(shù)據(jù),常用于機(jī)器翻譯領(lǐng)域。帶注意力機(jī)制的編碼解碼器(Attention Encoder-Decoder)能夠在解碼的過程中通過注意力機(jī)制只關(guān)注對(duì)當(dāng)前時(shí)刻最有用的信息,該模型也常被用于機(jī)器翻譯。2.1.2 生成模型


本文編號(hào)：3540982