信息級聯(lián)預(yù)測(Information Cascade Prediction)是社交網(wǎng)絡(luò)分析領(lǐng)域的一個研究熱點,其通過信息級聯(lián)的擴散序列與拓撲圖來學習在線社交媒體中信息的傳播模式。當前的信息級聯(lián)預(yù)測模型大多以循環(huán)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),僅考慮信息級聯(lián)的時序結(jié)構(gòu)信息或者序列內(nèi)部的空間結(jié)構(gòu)信息,無法學習序列之間的拓撲關(guān)系。而現(xiàn)有的級聯(lián)圖結(jié)構(gòu)學習方法無法為節(jié)點的鄰居分配不同的權(quán)重,導(dǎo)致節(jié)點之間的關(guān)聯(lián)性學習較差。針對上述問題,文中提出了基于節(jié)點表示的信息級聯(lián)采樣方法,將信息級聯(lián)建模為節(jié)點表示而非序列表示。隨后提出一種基于分層注意力的信息級聯(lián)預(yù)測(Information Cascade Prediction with Hierarchical Attention,ICPHA)模型。該模型首先通過結(jié)合了自注意力機制的循環(huán)神經(jīng)網(wǎng)絡(luò)來學習節(jié)點序列的時序結(jié)構(gòu)信息;然后通過多頭注意力機制學習節(jié)點表示之間的空間結(jié)構(gòu)信息;最后通過分層的注意力網(wǎng)絡(luò)對信息級聯(lián)的結(jié)構(gòu)信息進行聯(lián)合建模。所提模型在Twitter,Memes,Digg這3種數(shù)據(jù)集上達到了領(lǐng)先的預(yù)測效果,并且具有良好的泛化能力。

【文章頁數(shù)】：9 頁

【部分圖文】：

圖4圖注意力機制示意圖

hi′=σ(∑j∈NiαijWhj)?????????(14)本文的信息級聯(lián)預(yù)測模型采用多頭圖注意力網(wǎng)絡(luò)進行節(jié)點的特征學習。設(shè)置K個獨立的注意力機制執(zhí)行上述共享權(quán)重W的線性映射,最后將K個特征向量進行拼接,得到節(jié)點ui的多頭特征表示hi′(K):

圖1基于節(jié)點表示的信息級聯(lián)采樣方法示意圖

如圖1(a)所示,對級聯(lián)序列{d,e,f,g,h,i}進行基于節(jié)點的信息級聯(lián)采樣,假設(shè)序列的給定采樣長度為5,則分別以級聯(lián)序列中的每個節(jié)點為末尾節(jié)點生成6條子序列,之后對每一條子序列進行長度為5的逆序一階游走采樣(若無前一個節(jié)點,則直接停止采樣)。如圖1(b)所示,基于節(jié)點的信息....

圖2ICPHA模型框架示意圖

得到圖中每個節(jié)點的特征表示后,訓練一個多層感知器進行特征學習,最后通過softmax函數(shù)輸出最終的預(yù)測結(jié)果。4.1模型構(gòu)建

圖3自注意力循環(huán)神經(jīng)網(wǎng)絡(luò)層

u～i=∑kαkαhk?????????(11)4.1.3圖注意力網(wǎng)絡(luò)層

本文編號：3924683