注意力機(jī)制是近些年來深度學(xué)習(xí)領(lǐng)域逐漸興起的一種技術(shù),由于能有效提高深度模型精度以及可解釋性,注意力機(jī)制方成型便被迅速應(yīng)用到各種不同的任務(wù)中。而隨著近年來深度學(xué)習(xí)模型在推薦系統(tǒng)領(lǐng)域的逐漸普及,注意力機(jī)制也開始在推薦系統(tǒng)領(lǐng)域得到越來越多的關(guān)注。盡管如此,注意力機(jī)制在推薦系統(tǒng)中的相關(guān)研究仍處于起步狀態(tài),還有大量的能夠應(yīng)用注意力機(jī)制的場景未被探索�；诖�,本文擬對推薦系統(tǒng)中注意力機(jī)制的應(yīng)用進(jìn)行研究,對傳統(tǒng)域感知分解機(jī)與注意力機(jī)制的結(jié)合進(jìn)行探討和嘗試。具體地,本文主要研究工作如下:1)本文基于傳統(tǒng)的域感知分解機(jī)提出了神經(jīng)域感知分解機(jī)。域感知分解機(jī)是一種被廣泛應(yīng)用于推薦系統(tǒng)的機(jī)器學(xué)習(xí)算法,可以用于評分預(yù)測、點(diǎn)擊率預(yù)估等任務(wù)。本文嘗試將域感知分解機(jī)轉(zhuǎn)化為多層神經(jīng)網(wǎng)絡(luò),并對其進(jìn)行改進(jìn),提出神經(jīng)域感知分解機(jī)。實(shí)驗(yàn)結(jié)果表明本文提出的神經(jīng)域感知分解機(jī)精度超過實(shí)驗(yàn)中的大部分對比模型。同時(shí)該模型也為后續(xù)注意力機(jī)制的研究提供了基礎(chǔ)。2)本文提出了基于層級注意力機(jī)制的域感知分解機(jī)。神經(jīng)域感知分解機(jī)中包含的特征、域和二階交互等概念,具有清晰的層級關(guān)系,本文使用層級注意力機(jī)制對該關(guān)系進(jìn)行建模,提升神經(jīng)域感知分解機(jī)的表現(xiàn)... 

【文章來源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究動(dòng)態(tài)
        1.2.1 注意力機(jī)制研究動(dòng)態(tài)
        1.2.2 推薦系統(tǒng)研究動(dòng)態(tài)
        1.2.3 推薦系統(tǒng)中的注意力機(jī)制研究動(dòng)態(tài)
    1.3 本文主要工作和貢獻(xiàn)
    1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)理論基礎(chǔ)和背景知識(shí)
    2.1 推薦系統(tǒng)簡述
        2.1.1 系統(tǒng)架構(gòu)
        2.1.2 開放問題
    2.2 推薦系統(tǒng)常用模型
        2.2.1 因子分解機(jī)
        2.2.2 域感知分解機(jī)
        2.2.3 深度模型
    2.3 注意力機(jī)制簡述
        2.3.1 平凡注意力
        2.3.2 協(xié)同注意力與層級注意力
    2.4 本章小結(jié)
第三章 基于層級注意力和域感知分解機(jī)的個(gè)性化推薦
    3.1 研究動(dòng)機(jī)
    3.2 問題定義
    3.3 基于層級注意力和域感知分解機(jī)的推薦算法
        3.3.1 基礎(chǔ)模型
        3.3.2 神經(jīng)域感知分解機(jī)
        3.3.3 基于層級注意力的神經(jīng)域感知分解機(jī)
    3.4 在線性能優(yōu)化
        3.4.1 通用方法
        3.4.2 本文模型在線性能優(yōu)化
    3.5 本章小結(jié)
第四章 實(shí)驗(yàn)結(jié)果與分析
    4.1 基線模型
    4.2 數(shù)據(jù)集
        4.2.1 概述及預(yù)處理
        4.2.2 數(shù)據(jù)分析
    4.3 實(shí)驗(yàn)環(huán)境與設(shè)置
        4.3.1 實(shí)驗(yàn)環(huán)境
        4.3.2 模型設(shè)置
        4.3.3 評估指標(biāo)
    4.4 實(shí)驗(yàn)結(jié)果與分析
        4.4.1 回歸任務(wù)
        4.4.2 分類任務(wù)
        4.4.3 性能對比實(shí)驗(yàn)
        4.4.4 在線性能優(yōu)化實(shí)驗(yàn)
        4.4.5 參數(shù)敏感性實(shí)驗(yàn)
    4.5 本章小結(jié)
總結(jié)與展望
    本文工作總結(jié)
    未來工作展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的研究成果
致謝
附件


【參考文獻(xiàn)】：
期刊論文
[1]融合卷積神經(jīng)網(wǎng)絡(luò)與層次化注意力網(wǎng)絡(luò)的中文文本情感傾向性分析[J]. 程艷,葉子銘,王明文,張強(qiáng),張光河.  中文信息學(xué)報(bào). 2019(01)
[2]基于深度學(xué)習(xí)的推薦系統(tǒng)研究綜述[J]. 黃立威,江碧濤,呂守業(yè),劉艷博,李德毅.  計(jì)算機(jī)學(xué)報(bào). 2018(07)
[3]面向隱式反饋的推薦系統(tǒng)研究現(xiàn)狀與趨勢[J]. 陸藝,曹健.  計(jì)算機(jī)科學(xué). 2016(04)
[4]深度學(xué)習(xí)研究綜述[J]. 尹寶才,王文通,王立春.  北京工業(yè)大學(xué)學(xué)報(bào). 2015(01)



本文編號：3022845