信息檢索領(lǐng)域中的點(diǎn)擊率預(yù)測(cè)和個(gè)性化推薦問(wèn)題中存在大量多字段分類數(shù)據(jù)。這類型的數(shù)據(jù)主要呈現(xiàn)以下特征:有多個(gè)不同字段,且每個(gè)字段與其他字段間沒(méi)有明確依賴關(guān)系。與圖像和語(yǔ)音的連續(xù)數(shù)據(jù)不同,這類數(shù)據(jù)在處理之后通常具有高維稀疏性,且不同字段的特征之間存在組合關(guān)系。如何提取這種復(fù)雜的組合特征對(duì)于提升廣告點(diǎn)擊率預(yù)測(cè)與推薦系統(tǒng)的性能至關(guān)重要。傳統(tǒng)的機(jī)器學(xué)習(xí)方法在處理這類問(wèn)題時(shí)依賴繁瑣且復(fù)雜的人工設(shè)計(jì)組合特征。深度學(xué)習(xí)憑借強(qiáng)大的表示學(xué)習(xí)能力,擅長(zhǎng)學(xué)習(xí)高維數(shù)據(jù)中的復(fù)雜關(guān)系,可以用端到端的方式更好地提取高質(zhì)量的特征。本文研究基于點(diǎn)擊率預(yù)測(cè)的深度學(xué)習(xí)模型,并對(duì)其進(jìn)行改進(jìn),設(shè)計(jì)了一種基于注意力機(jī)制的因子分解機(jī)模型和殘差網(wǎng)絡(luò)并行的網(wǎng)絡(luò)結(jié)構(gòu),并在公開(kāi)數(shù)據(jù)集上進(jìn)行了驗(yàn)證。主要研究?jī)?nèi)容如下:（1）對(duì)寬深度模型Wide＆Deep及其變體進(jìn)行研究及仿真。研究發(fā)現(xiàn)其核心思想都是通過(guò)融合線性模型和深度模型分別提取低階和高階的組合特征。通過(guò)實(shí)驗(yàn),得出了這類模型目前存在的不足,為后續(xù)模型的優(yōu)化提供研究思路。（2）為進(jìn)一步提高寬深度模型對(duì)復(fù)雜組合特征提取的能力,本文設(shè)計(jì)并實(shí)現(xiàn)了因子分解機(jī)與殘差網(wǎng)絡(luò)并行的模型結(jié)構(gòu)FM＆ResNet。模... 

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 點(diǎn)擊率預(yù)測(cè)問(wèn)題面臨的挑戰(zhàn)
        1.2.1 多字段分類數(shù)據(jù)的特點(diǎn)
        1.2.2 點(diǎn)擊率預(yù)測(cè)問(wèn)題的挑戰(zhàn)
    1.3 國(guó)內(nèi)外研究現(xiàn)狀
        1.3.1 基于機(jī)器學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)算法研究現(xiàn)狀
        1.3.2 基于深度學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)算法研究現(xiàn)狀
    1.4 主要的研究?jī)?nèi)容
    1.5 本文結(jié)構(gòu)安排
第二章 關(guān)鍵技術(shù)基礎(chǔ)
    2.1 點(diǎn)擊率預(yù)測(cè)問(wèn)題建模
    2.2 特征工程
        2.2.1 數(shù)據(jù)預(yù)處理
        2.2.2 特征值處理
        2.2.3 組合特征
    2.3 深度學(xué)習(xí)相關(guān)技術(shù)介紹
        2.3.1 深度學(xué)習(xí)基本思想
        2.3.2 反向傳播算法
        2.3.3 激活函數(shù)
        2.3.4 批標(biāo)準(zhǔn)化
        2.3.5 Dropout
    2.4 本章小結(jié)
第三章 基于深度學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)算法研究
    3.1 基于公開(kāi)數(shù)據(jù)集的實(shí)驗(yàn)設(shè)置
        3.1.1 公開(kāi)數(shù)據(jù)集介紹
        3.1.2 數(shù)據(jù)預(yù)處理
        3.1.3 模型評(píng)價(jià)指標(biāo)
    3.2 點(diǎn)擊率預(yù)測(cè)問(wèn)題的深度學(xué)習(xí)模型研究
        3.2.1 Wide&Deep模型
        3.2.2 DeepFM模型
        3.2.3 Deep & Cross模型
        3.2.4 模型實(shí)驗(yàn)結(jié)果
    3.3 模型對(duì)比分析
    3.4 本章小結(jié)
第四章 基于注意力機(jī)制的FM & ResNet模型研究
    4.1 改進(jìn)模型的思想
        4.1.1 深度學(xué)習(xí)中的注意力機(jī)制
        4.1.2 殘差網(wǎng)絡(luò)
        4.1.3 基于注意力機(jī)制的FM&ResNet模型
    4.2 模型結(jié)構(gòu)設(shè)計(jì)
        4.2.1 嵌入層表示
        4.2.2 因子分解機(jī)部分
        4.2.3 殘差網(wǎng)絡(luò)部分
        4.2.4 模型聯(lián)合訓(xùn)練
    4.3 實(shí)驗(yàn)結(jié)果及分析
        4.3.1 基準(zhǔn)模型
        4.3.2 性能對(duì)比
        4.3.3 超參數(shù)調(diào)優(yōu)
    4.4 本章小結(jié)
第五章 基于注意力機(jī)制的FM & ResNet模型的應(yīng)用
    5.1 基于FM&ResNet模型的短視頻點(diǎn)擊率預(yù)測(cè)
        5.1.1 問(wèn)題描述
        5.1.2 實(shí)驗(yàn)環(huán)境
        5.1.3 短視頻數(shù)據(jù)集介紹
    5.2 短視頻數(shù)據(jù)集的特征工程
        5.2.1 數(shù)據(jù)預(yù)處理
        5.2.2 特征工程
    5.3 應(yīng)用結(jié)果分析
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 本文工作總結(jié)
    6.2 未來(lái)工作展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間取得的研究成果



本文編號(hào)：3677037