隨著互聯(lián)網(wǎng)的飛速發(fā)展,每天都會產(chǎn)生大量社會多媒體數(shù)據(jù)。這些社會多媒體數(shù)據(jù)中包含大量的關(guān)系信息,它們被廣泛用于推薦系統(tǒng)、專家發(fā)現(xiàn)等重要的應(yīng)用以挖掘有價值的信息。網(wǎng)絡(luò)（數(shù)據(jù)結(jié)構(gòu)）被廣泛用于建模社會多媒體數(shù)據(jù)中的關(guān)系信息,網(wǎng)絡(luò)結(jié)構(gòu)的社會多媒體數(shù)據(jù)又被稱為社會多媒體網(wǎng)絡(luò)。近幾年來,隨著深度學(xué)習(xí)等機(jī)器學(xué)習(xí)技術(shù)的發(fā)展,涌現(xiàn)出大量面向社會多媒體網(wǎng)絡(luò)的應(yīng)用。實現(xiàn)這些應(yīng)用所需要解決的基礎(chǔ)問題之一,是如何有效地學(xué)習(xí)網(wǎng)絡(luò)中節(jié)點的低維特征表示,以更好地捕捉網(wǎng)絡(luò)節(jié)點隱含的語義信息。許多社會多媒體網(wǎng)絡(luò)應(yīng)用依賴于網(wǎng)絡(luò)節(jié)點表示所提供的語義,且可以得益于更好的網(wǎng)絡(luò)節(jié)點表示。然而,真實世界中社會多媒體網(wǎng)絡(luò)的結(jié)構(gòu)具有異構(gòu)性和稀疏性,網(wǎng)絡(luò)節(jié)點也可能會關(guān)聯(lián)多種模態(tài)的內(nèi)容數(shù)據(jù)。因此,社會多媒體網(wǎng)絡(luò)表示學(xué)習(xí)是一項具有挑戰(zhàn)性的任務(wù)。本文研究社會多媒體網(wǎng)絡(luò)表示學(xué)習(xí)方法及其應(yīng)用,并設(shè)計了面向具體任務(wù)的模型。本文主要工作如下:（1）針對社會多媒體網(wǎng)絡(luò)數(shù)據(jù)的異構(gòu)性、稀疏性和多模態(tài)性,提出一種基于注意力協(xié)同的多模態(tài)異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)模型A2CMHNE。模型使用元路徑捕捉異構(gòu)多模態(tài)網(wǎng)絡(luò)中隱藏的結(jié)構(gòu)信息和多模態(tài)內(nèi)容信息,并分別學(xué)習(xí)基于結(jié)構(gòu)信息和內(nèi)容... 

【文章來源】：合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校

【文章頁數(shù)】：88 頁

【學(xué)位級別】：博士

【部分圖文】：

社會多媒體網(wǎng)絡(luò)示例

合肥工業(yè)大學(xué)博士學(xué)位論文4重要的研究意義。（2）社會多媒體網(wǎng)絡(luò)表示學(xué)習(xí)為多模態(tài)內(nèi)容表示學(xué)習(xí)引入了新的思路�，F(xiàn)有的社會多媒體網(wǎng)絡(luò)表示學(xué)習(xí)方法主要針對社會元素（如用戶、標(biāo)簽等）進(jìn)行網(wǎng)絡(luò)建模，網(wǎng)絡(luò)的構(gòu)建主要依賴于這些元素之間顯式的社會關(guān)系（如好友關(guān)系等）。社會多媒體場景中包含大量的多模態(tài)內(nèi)容數(shù)據(jù)，這些內(nèi)容數(shù)據(jù)之間包含著許多隱式的關(guān)系信息，這些關(guān)系信息對捕捉多模態(tài)內(nèi)容的語義具有寶貴的價值。與社會元素之間顯式關(guān)系不同，原始數(shù)據(jù)中一般不包含對隱式關(guān)系的描述，一般我們需要通過額外的方法（如統(tǒng)計等）來建模多模態(tài)內(nèi)容數(shù)據(jù)之間包含的隱式關(guān)系。另外，由于下游機(jī)器學(xué)習(xí)模型的復(fù)雜性，如何設(shè)計合理的網(wǎng)絡(luò)表示學(xué)習(xí)方法以學(xué)習(xí)適合下游應(yīng)用的多模態(tài)內(nèi)容表示也是問題的重點之一。因此，在社會多媒體場景中利用網(wǎng)絡(luò)表示學(xué)習(xí)來解決多模態(tài)內(nèi)容的表示學(xué)習(xí)問題具有重要的研究意義。1.2研究內(nèi)容圖1.2研究內(nèi)容Fig1.2ResearchFramework.如圖1.2所示，針對社會多媒體網(wǎng)絡(luò)所面臨的稀疏性、異構(gòu)性和多模態(tài)性，我們研究了社會多媒體異構(gòu)多模態(tài)網(wǎng)絡(luò)表示學(xué)習(xí)方法。另外，針對網(wǎng)絡(luò)表示學(xué)習(xí)在具體社會多媒體場景（多模態(tài)社區(qū)問答）中面臨的問題，我們提出了面向多模態(tài)社區(qū)問答匹配的異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法和基于網(wǎng)絡(luò)表示學(xué)習(xí)的多模態(tài)社區(qū)問答內(nèi)容層次語義匹配方法。1.2.1社會多媒體異構(gòu)多模態(tài)網(wǎng)絡(luò)表示學(xué)習(xí)針對社會多媒體網(wǎng)絡(luò)數(shù)據(jù)的異構(gòu)性、稀疏性和多模態(tài)性，提出一種基于注意力協(xié)同的多模態(tài)異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)模型A2CMHNE。（1）為了解決網(wǎng)絡(luò)的異構(gòu)性，

合肥工業(yè)大學(xué)博士學(xué)位論文16圖3.1A2CMHNE的總體框架圖Fig.3.1TheOverallFrameworkofA2CMHNE.3.3.3基于異構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)的節(jié)點表示學(xué)習(xí)方法我們設(shè)計了一種基于元路徑的方法來應(yīng)對網(wǎng)絡(luò)的異構(gòu)性，以捕捉結(jié)構(gòu)中的隱式信息。首先我們先給出元路徑和元路徑鄰節(jié)點的定義。元路徑：元路徑是由邊連接的節(jié)點序列，其中每個節(jié)點的類型由預(yù)定義的元路徑模式?jīng)Q定。正式地說，一個長度為的元路徑mp的可以被表示為一個節(jié)點序列1→2→...→，路徑中相鄰的節(jié)點在網(wǎng)絡(luò)中也相鄰，另外每個節(jié)點的類型由元路徑模式mps指定。元路徑模式可以被表示為1→2→...→，其中規(guī)定了元路徑中第i個節(jié)點的類型。以圖3.2為例，元路徑模式DADM(Document-Author-Document-Media)約束了路徑中4個節(jié)點的類型必須為“文檔節(jié)點→作者節(jié)點→文檔節(jié)點→媒體節(jié)點”。元路徑鄰節(jié)點：給定一個被元路徑模式mps約束的元路徑1→2→...→，我們定義路徑的尾節(jié)點為頭結(jié)點1在元路徑模式mps下的元路徑鄰節(jié)點。元路徑可以捕捉元路徑鄰節(jié)點之間的隱式關(guān)系信息。元路徑可以有效地捕捉異構(gòu)網(wǎng)絡(luò)中隱式的關(guān)系信息。例如在圖3.2中，Doc1節(jié)點是Doc2節(jié)點在元路徑模式DAD（文檔-作者-文檔）下的元路徑鄰節(jié)點，它可以捕捉文檔之間的共同作者關(guān)系。因此，如圖3.2所示，我們在元路徑鄰節(jié)點之間構(gòu)建虛擬的邊（虛線表示的邊），以表示它們之間的隱式關(guān)系。顯然，這些元路徑之間虛擬的邊可以豐富異構(gòu)網(wǎng)絡(luò)中節(jié)點的關(guān)系信息。對于不同的任務(wù)，我


本文編號：3062221