由于信息爆炸式增長(zhǎng),推薦系統(tǒng)作為解決信息過(guò)載問(wèn)題的技術(shù)應(yīng)運(yùn)而生,在有效挖掘用戶潛在興趣的同時(shí),也為企業(yè)帶來(lái)巨大的商業(yè)價(jià)值。與受限于評(píng)分?jǐn)?shù)據(jù)稀疏等問(wèn)題的傳統(tǒng)推薦模型不同,基于評(píng)論的推薦模型額外考慮了有價(jià)值的用戶評(píng)論信息,因而近年來(lái)受到了各界的廣泛關(guān)注。然而,現(xiàn)有方法大多僅在詞粒度提取評(píng)論的語(yǔ)義特征,未考慮到人類通常按照詞、句子、評(píng)論的層次遞進(jìn)理解語(yǔ)義;忽略了評(píng)論中包含大量與評(píng)分預(yù)測(cè)任務(wù)無(wú)關(guān)的噪聲數(shù)據(jù);忽略了用戶偏好會(huì)隨時(shí)間變化的客觀事實(shí),無(wú)法捕獲用戶潛在的偏好轉(zhuǎn)變。因此,現(xiàn)有方法難以全面、準(zhǔn)確地挖掘出用戶的偏好。為了解決上述問(wèn)題,本文提出一個(gè)動(dòng)態(tài)多粒度注意網(wǎng)絡(luò)推薦模型。具體而言,該模型模擬人類的理解順序,遵循詞粒度、句子粒度、評(píng)論粒度的順序逐級(jí)遞進(jìn)學(xué)習(xí)用戶和物品評(píng)論的語(yǔ)義特征。其中,模型在各粒度語(yǔ)義特征構(gòu)建中分別融入了注意力機(jī)制以學(xué)習(xí)詞、句子和評(píng)論的重要性。進(jìn)而,以重要性為依據(jù),對(duì)多粒度特征進(jìn)行逐級(jí)加權(quán)求和,得出用戶/物品的特征,有效過(guò)濾掉評(píng)論中的噪聲數(shù)據(jù)。隨后,將用戶特征按時(shí)序輸入門控循環(huán)單元,以建模動(dòng)態(tài)的用戶特征。最終,將物品特征和動(dòng)態(tài)用戶特征輸入因子分解機(jī)中,對(duì)特征間的高階關(guān)系建模... 

【文章來(lái)源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：73 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

為D-Attn的模型結(jié)構(gòu)

第二章評(píng)論感知推薦模型的基本理論和方法13以及評(píng)論中重要的詞，提取其語(yǔ)義特征用以表示用戶/物品。圖2-2D-Attn模型結(jié)構(gòu)示意圖總而言之，主流的評(píng)論感知推薦模型遵從以下核心原理：先分別利用用戶、物品評(píng)論學(xué)習(xí)用戶、物品表示，然后通過(guò)內(nèi)積、因子分解機(jī)等方式對(duì)用戶和物品特征之間的交互進(jìn)行建模并預(yù)測(cè)評(píng)分。最新的研究工作大多基于上述核心原理，探索如何降低評(píng)論中噪音數(shù)據(jù)對(duì)預(yù)測(cè)性能帶來(lái)的影響，學(xué)習(xí)更優(yōu)質(zhì)的用戶和物品表示，以進(jìn)一步提升模型性能。2.2注意力機(jī)制注意力機(jī)制作為近幾年自然語(yǔ)言處理領(lǐng)域的璀璨新星，以其計(jì)算簡(jiǎn)單且有針對(duì)性地聚焦重點(diǎn)信息的特點(diǎn)，賦予了自然語(yǔ)言處理領(lǐng)域模型更強(qiáng)的學(xué)習(xí)能力。注意力這個(gè)詞本來(lái)是屬于人類才有的動(dòng)作，例如人們?cè)诳匆粡垐D片的時(shí)候，除了從整體把握一幅圖片之外，也會(huì)更加注意圖片的某個(gè)局部信息，例如局部桌子的位置、商品的種類等等。也就是說(shuō)，注意力機(jī)制模仿了生物觀察行為的內(nèi)部過(guò)程，即一種將內(nèi)部經(jīng)驗(yàn)和外部感覺(jué)對(duì)齊從而增加部分區(qū)域的觀察精細(xì)度的機(jī)制。通過(guò)注意力機(jī)制，可以對(duì)關(guān)鍵的部分分配較多的注意力，而對(duì)非關(guān)鍵的部分分配較少的注意力，從而改善模型效果。

華南理工大學(xué)碩士學(xué)位論文14注意力機(jī)制最初是在神經(jīng)機(jī)器翻譯領(lǐng)域被提出的，因?yàn)樵缙诘姆g模型在解碼器中給原始句子中的每個(gè)單詞都賦予相同權(quán)重，導(dǎo)致單詞沒(méi)有足夠區(qū)分度，從而損害了模型性能。所以文獻(xiàn)[49]提出在解碼的時(shí)候，利用注意力機(jī)制對(duì)所有編碼層的隱向量進(jìn)行加權(quán)組合，從而使得模型在生成當(dāng)前時(shí)刻翻譯結(jié)果的時(shí)候，能夠聚焦于原語(yǔ)句中的某些單詞的目的。為方便理解注意力機(jī)制的原理，圖2-3展示了機(jī)器翻譯模型如何結(jié)合注意力機(jī)制，在給定源句子1,...,Txx時(shí)翻譯第t個(gè)目標(biāo)詞ty�？傮w上看，該機(jī)器翻譯模型由編碼器和解碼器組成，編碼器負(fù)責(zé)將包括T個(gè)詞的輸入序列1,...,Txx編碼成一個(gè)語(yǔ)義向量tc，解碼器負(fù)責(zé)將語(yǔ)義向量tc進(jìn)行解碼翻譯到目標(biāo)語(yǔ)言序列。其中，編碼器基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)，先計(jì)算前向隱藏狀態(tài)ihPa和后向隱藏狀態(tài)ihDb，后將二者拼接得到隱藏層向量ih，其中i=1,...,T。解碼器先計(jì)算目標(biāo)詞的隱藏狀態(tài)()11,,tttts=fsyc，再由此計(jì)算出ty。圖2-3基于注意力機(jī)制的機(jī)器翻譯模型示意圖在編碼過(guò)程中，如果未使用注意力機(jī)制，模型將直接把編碼器的隱藏層向量1,...,Thh的均值作為包含待翻譯文本的上下文信息的語(yǔ)義向量tc輸入解碼器。但是，如果使用注意力機(jī)制，模型則如圖2-3所示，通過(guò)公式（2-2）計(jì)算得到語(yǔ)義向量tc。,1Tttjjjcah==(2-2)


本文編號(hào)：3539185