信息時(shí)代的互聯(lián)網(wǎng)和多媒體技術(shù)蓬勃發(fā)展,在線視頻數(shù)量及用戶數(shù)量日益劇增,信息過載成為一個(gè)亟待解決的問題。視頻推薦系統(tǒng)作為緩解信息過載的有效手段,它使得用戶可以從海量的視頻中快速獲取到自己感興趣的視頻,節(jié)省搜索視頻資源的時(shí)間。同時(shí),視頻服務(wù)平臺(tái)可以通過推薦系統(tǒng)提取用戶的興趣,對(duì)用戶進(jìn)行個(gè)性化精準(zhǔn)推薦,提升用戶粘性和體驗(yàn)感。因此,推薦系統(tǒng)是用戶和平臺(tái)雙贏的橋梁�；诖吮尘芭c意義,本文對(duì)視頻推薦系統(tǒng)展開研究,提出兩個(gè)基于注意力機(jī)制的推薦算法。1)基于注意力機(jī)制的電影推薦算法ADeepFM。該算法在DeepFM（Factorization Machine based Neural Network）的基礎(chǔ)上引進(jìn)注意力機(jī)制,自適應(yīng)地學(xué)習(xí)二階組合特征的輸出權(quán)重,解決無效的二階組合特征可能帶來噪聲并對(duì)模型性能造成不利影響的問題。在計(jì)算注意力時(shí),將二階組合特征向量和目標(biāo)電影向量均等切分成若干份向量,構(gòu)成若干個(gè)不同的隱語義空間,以此計(jì)算注意力權(quán)重,細(xì)粒度地學(xué)習(xí)組合特征向量和目標(biāo)電影向量關(guān)系,改善向量元素間的權(quán)重平滑問題。最后通過該算法預(yù)測(cè)目標(biāo)電影的評(píng)分,產(chǎn)生推薦。離線實(shí)驗(yàn)分析表明,ADeepFM克服了Dee... 

【文章來源】：深圳大學(xué)廣東省

【文章頁數(shù)】：67 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

通過用戶行為記錄生成用戶行為向量（引用文獻(xiàn)[30]）

基于注意力機(jī)制的視頻推薦研究223.4ADeepFM模型3.4.1ADeepFM模型結(jié)構(gòu)與原理本文設(shè)計(jì)的ADeepFM如圖3-2所示，ADeepFM模型的主體結(jié)構(gòu)由FM模塊、DNN模塊和注意力機(jī)制模塊構(gòu)成，結(jié)構(gòu)自底向上包含：（1）稀疏特征數(shù)據(jù)輸入層；（2）嵌入層；（3）模型層；（4）注意力機(jī)制層；（4）輸出層。圖3-2ADeepFM模型框架（1）稀疏特征數(shù)據(jù)輸入層。通常推薦領(lǐng)域的原始數(shù)據(jù)都存在數(shù)據(jù)稀疏的問題，例如用戶ID、物品ID等，這些特征通常會(huì)先經(jīng)過one-hot編碼，使每個(gè)用戶、每個(gè)物品都用獨(dú)一無二向量表征，但此時(shí)這些向量是極度稀疏的，且向量的長度一般都會(huì)很長。這些因素導(dǎo)致這些編碼后的特征無法直接輸入模型中訓(xùn)練，且會(huì)導(dǎo)致模型參數(shù)過多，難以收斂等問題。（2）嵌入層。針對(duì)（1）中存在的問題，在將數(shù)據(jù)輸入模型之前，需將編碼后的特征向量經(jīng)過映射矩陣變換成稠密連續(xù)且長度合適的向量，緩解數(shù)據(jù)的稀疏性帶來的問題。嵌入層實(shí)際上是一個(gè)初始化的矩陣，映射過程實(shí)質(zhì)上是一種矩陣乘法如圖3-3所示，等號(hào)左邊由one-hot編碼后的稀疏向量和嵌入層初始化的矩陣兩部分組成。稀疏向量和嵌入層矩陣相乘，變成一個(gè)矩陣下標(biāo)選擇，而初始化的矩陣會(huì)在訓(xùn)練過程中不斷更新，所以相乘的結(jié)果是不斷更新的。

基于注意力機(jī)制的視頻推薦研究23圖3-3嵌入層矩陣乘法（3）模型層。2.3.3小節(jié)中詳細(xì)介紹了FM模型，這里不再贅述。在DNN模型中，用(0)表示所有特征在嵌入層的表達(dá)的集合，如公式(3-1)所示。DNN模型的輸出如公式(3-2)所示。(0)=[1,2,3,](31)=((+1)()+(+1))(32)其中，表示第個(gè)特征的嵌入層表達(dá)，一共有個(gè)特征。(+1)和(+1)表示網(wǎng)絡(luò)隱含層第+1層的權(quán)重和偏置，表示激活函數(shù)，表示DNN模型的輸出。（4）注意力機(jī)制層。該模塊使得FM模型能夠進(jìn)一步在二階組合特征中做細(xì)致的挑選，降低對(duì)預(yù)測(cè)任務(wù)沒有貢獻(xiàn)的二階組合特征的權(quán)重，并增大對(duì)預(yù)測(cè)任務(wù)有貢獻(xiàn)的二階組合特征的權(quán)重。記FM模型的輸出經(jīng)過注意力模塊最后的輸出為。該模塊如何產(chǎn)生將在下一小節(jié)細(xì)致展開論述。（5）輸出層。輸出模塊融合FM模型的自適應(yīng)權(quán)重輸出和DNN模型的輸出，如公式(3-3)所示。=((,))(33)其中，表示輸出層的激活函數(shù)，可針對(duì)不同的預(yù)測(cè)任務(wù)挑選合適的激活函數(shù)。3.4.2注意力機(jī)制模型與目標(biāo)函數(shù)如圖3-4所示，注意機(jī)制模型有兩個(gè)輸入端，分別是FM模型輸出的二階組合特征向量和目標(biāo)電影的向量。在該步驟使用注意力機(jī)制目的是為了進(jìn)一步挖掘二階組合特征向量中哪一部分的向量更有助于對(duì)目標(biāo)電影評(píng)分的預(yù)測(cè)。不同于公式(2-2)直接計(jì)算二階組合特征的內(nèi)積，在輸入注意力模型之前只是先計(jì)算二階組合特征的元素積，這樣做的目的一方面是讓每個(gè)二階組合特征與目標(biāo)視頻的嵌入層表示保持同樣的維度大小，方便后續(xù)計(jì)算注意力權(quán)重；另一方面是為了更細(xì)粒度的刻畫注意力機(jī)制的輸出權(quán)重。通常，基于注意力機(jī)制模型的輸出可以描述為A=∑=0，表示輸入向量經(jīng)過注意力機(jī)制模型后學(xué)習(xí)到的權(quán)重，向量長度為。由此可以看出向量中

【參考文獻(xiàn)】：
期刊論文
[1]MN-HDRM:長短興趣多神經(jīng)網(wǎng)絡(luò)混合動(dòng)態(tài)推薦模型[J]. 馮永,張備,強(qiáng)保華,張逸揚(yáng),尚家興.  計(jì)算機(jī)學(xué)報(bào). 2019(01)
[2]跨媒體分析與推理:研究進(jìn)展與發(fā)展方向（英文）[J]. Yu-xin PENG,Wen-wu ZHU,Yao ZHAO,Chang-sheng XU,Qing-ming HUANG,Han-qing LU,Qing-hua ZHENG,Tie-jun HUANG,Wen GAO.  Frontiers of Information Technology & Electronic Engineering. 2017(01)
[3]基于位置社交網(wǎng)絡(luò)的上下文感知的興趣點(diǎn)推薦[J]. 任星怡,宋美娜,宋俊德.  計(jì)算機(jī)學(xué)報(bào). 2017(04)
[4]基于DNN算法的移動(dòng)視頻推薦策略[J]. 陳亮,汪景福,王娜,李霞.  計(jì)算機(jī)學(xué)報(bào). 2016(08)
[5]考慮項(xiàng)目屬性的協(xié)同過濾推薦模型[J]. 楊興耀,于炯,吐爾根·依布拉音,錢育蓉,孫華.  計(jì)算機(jī)應(yīng)用. 2013(11)
[6]推薦系統(tǒng)評(píng)價(jià)指標(biāo)綜述[J]. 朱郁筱,呂琳媛.  電子科技大學(xué)學(xué)報(bào). 2012(02)
[7]基于社會(huì)網(wǎng)絡(luò)信息流模型的協(xié)同過濾算法[J]. 萬里,廖建新,王純.  吉林大學(xué)學(xué)報(bào)(工學(xué)版). 2011(01)

碩士論文
[1]基于深度神經(jīng)網(wǎng)絡(luò)的視頻個(gè)性化推薦系統(tǒng)研究[D]. 高睿.深圳大學(xué) 2017



本文編號(hào)：3451038