大數(shù)據(jù)時(shí)代下,挖掘并利用海量用戶數(shù)據(jù)實(shí)現(xiàn)更加精準(zhǔn)和個(gè)性化的廣告推薦和投放,已成為業(yè)界研究的熱點(diǎn)。點(diǎn)擊率預(yù)估是廣告投放和推薦中的關(guān)鍵環(huán)節(jié),直接影響著業(yè)務(wù)收入和用戶體驗(yàn),具有極其重要的商業(yè)價(jià)值。用戶行為序列中隱含的用戶偏好信息對(duì)點(diǎn)擊率預(yù)估有著重要影響,當(dāng)前針對(duì)點(diǎn)擊率預(yù)估的研究多從建模特征低階和高階交互關(guān)系的角度出發(fā)設(shè)計(jì)模型,難以充分挖掘和利用用戶歷史行為序列中隱含的用戶偏好信息。本文回顧和總結(jié)了前人在點(diǎn)擊率預(yù)估問(wèn)題上研究和探索的成果,并在此基礎(chǔ)上,從建模用戶偏好的角度出發(fā),提出基于用戶偏好網(wǎng)絡(luò)的點(diǎn)擊率預(yù)估模型,包括基于用戶長(zhǎng)短期偏好的點(diǎn)擊率預(yù)估模型和融合用戶漂移偏好的點(diǎn)擊率預(yù)估模型,在兩個(gè)模型中的主要研究工作包括:（1）針對(duì)用戶偏好多樣多維、局部激活的特點(diǎn),提出一種挖掘用戶長(zhǎng)短期偏好的偏好提取網(wǎng)絡(luò)。根據(jù)用戶偏好的多樣性將偏好劃分為短期偏好和長(zhǎng)期偏好,設(shè)計(jì)長(zhǎng)短期偏好提取網(wǎng)絡(luò),基于用戶歷史行為序列同時(shí)學(xué)習(xí)用戶短期偏好信息與長(zhǎng)期偏好信息,并采用多頭注意力機(jī)制刻畫用戶長(zhǎng)短期偏好在不同子空間下細(xì)粒度、多維度的偏好特征。（2）針對(duì)真實(shí)場(chǎng)景中存在的用戶偏好漂移問(wèn)題,提出一種基于PAGRU單元的偏好漂移網(wǎng)... 

【文章來(lái)源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：71 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

LSTM結(jié)構(gòu)圖

華南理工大學(xué)碩士學(xué)位論文120時(shí)，候選隱狀態(tài)會(huì)被強(qiáng)迫完全忽略上一時(shí)刻計(jì)算的隱狀態(tài)的影響，其生成變成完全由當(dāng)前時(shí)刻GRU單元的輸入所決定，猶如剛接收一個(gè)變長(zhǎng)輸入序列的開始符合。這一設(shè)計(jì)使得GRU單元具有了遺忘能力，能使GRU當(dāng)前時(shí)刻候選隱狀態(tài)的生成中可以丟棄不相關(guān)的信息，有效增強(qiáng)了GRU單元的特征學(xué)習(xí)和表示能力。另一方面，更新門有力控制著上一時(shí)刻隱狀態(tài)對(duì)當(dāng)前時(shí)刻隱狀態(tài)生成的影響程度，決定了保留多少數(shù)量的來(lái)自上一時(shí)刻隱狀態(tài)的信息。這一結(jié)構(gòu)設(shè)計(jì)與LSTM網(wǎng)絡(luò)結(jié)構(gòu)中的記憶細(xì)胞相似，使得GRU單元擁有記憶能力，能夠記憶長(zhǎng)期信息，加強(qiáng)了GRU單元對(duì)長(zhǎng)期依賴關(guān)系的建模。由于GRU中每一個(gè)時(shí)間步長(zhǎng)對(duì)應(yīng)隱狀態(tài)其生成都享有各自的重置和更新門，每一個(gè)時(shí)間步長(zhǎng)的隱狀態(tài)便可以借此建模捕獲多個(gè)時(shí)空尺度下長(zhǎng)短期依賴，當(dāng)隱狀態(tài)學(xué)習(xí)捕獲長(zhǎng)序依賴特征時(shí)，GRU單元趨向于有較多活躍的更新門，而當(dāng)隱狀態(tài)學(xué)習(xí)捕獲短序依賴特征時(shí)，GRU單元趨向于擁有頻繁活躍的重置門。GRU單元的詳細(xì)結(jié)構(gòu)如圖2-3所示。圖2-3GRU結(jié)構(gòu)圖GRU是替代LSTM的另一種選擇，雖然構(gòu)的合理性同樣難以驗(yàn)證。分析傳統(tǒng)RNN、LSTM、GRU的數(shù)學(xué)描述和結(jié)構(gòu)設(shè)計(jì)容易發(fā)現(xiàn)，傳統(tǒng)RNN總是簡(jiǎn)單的采用一個(gè)由當(dāng)前時(shí)刻輸入和上一時(shí)刻隱狀態(tài)計(jì)算得到的新值完全替換舊的隱狀態(tài)，而LSTM和GRU則選擇在激活或抑制上一時(shí)刻的隱狀態(tài)的基礎(chǔ)上以添加的方式加入由當(dāng)前時(shí)刻輸入和上一時(shí)刻隱狀態(tài)計(jì)算得到的新值。這種添加方式的結(jié)構(gòu)設(shè)計(jì)有兩個(gè)優(yōu)點(diǎn)，一方面，它使得

華南理工大學(xué)碩士學(xué)位論文30圖3-4各對(duì)比模型在亞馬遜圖書數(shù)據(jù)集上的AUC圖3-5各對(duì)比模型在亞馬遜電子數(shù)據(jù)集上的AUC影響。從用戶偏好學(xué)習(xí)角度出發(fā)設(shè)計(jì)的DIN、DIEN和本章提出的LSTPN，展現(xiàn)出了更強(qiáng)的學(xué)習(xí)能力。DIN從激活和CTR預(yù)估商品相關(guān)的用戶偏好出發(fā)進(jìn)行設(shè)計(jì)，DIEN更進(jìn)

【參考文獻(xiàn)】：
期刊論文
[1]面向展示廣告的點(diǎn)擊率預(yù)測(cè)模型綜述[J]. 劉夢(mèng)娟,曾貴川,岳威,仇笠舟,王加昌.  計(jì)算機(jī)科學(xué). 2019(07)
[2]注意力機(jī)制在深度學(xué)習(xí)中的研究進(jìn)展[J]. 朱張莉,饒?jiān)?吳淵,祁江楠,張鈺.  中文信息學(xué)報(bào). 2019(06)
[3]基于融合結(jié)構(gòu)的在線廣告點(diǎn)擊率預(yù)測(cè)模型[J]. 劉夢(mèng)娟,曾貴川,岳威,劉瑤,秦志光.  計(jì)算機(jī)學(xué)報(bào). 2019(07)
[4]基于FTRL優(yōu)化算法的廣告點(diǎn)擊率預(yù)測(cè)模型研究[J]. 厙向陽(yáng),王邵鵬.  計(jì)算機(jī)工程與應(yīng)用. 2019(14)
[5]結(jié)合注意力與卷積神經(jīng)網(wǎng)絡(luò)的中文摘要研究[J]. 周才東,曾碧卿,王盛玉,商齊.  計(jì)算機(jī)工程與應(yīng)用. 2019(08)
[6]基于對(duì)抗訓(xùn)練策略的語(yǔ)言模型數(shù)據(jù)增強(qiáng)技術(shù)[J]. 張一珂,張鵬遠(yuǎn),顏永紅.  自動(dòng)化學(xué)報(bào). 2018(05)
[7]FM集成模型在廣告點(diǎn)擊率預(yù)估中的應(yīng)用[J]. 潘博,張青川,于重重,謝小蘭.  計(jì)算機(jī)應(yīng)用與軟件. 2018(01)
[8]基于偽數(shù)據(jù)的機(jī)器翻譯質(zhì)量估計(jì)模型的訓(xùn)練[J]. 吳煥欽,張紅陽(yáng),李靜梅,朱俊國(guó),楊沐昀,李生.  北京大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[9]全卷積網(wǎng)絡(luò)結(jié)合改進(jìn)的條件隨機(jī)場(chǎng)-循環(huán)神經(jīng)網(wǎng)絡(luò)用于SAR圖像場(chǎng)景分類[J]. 湯浩,何楚.  計(jì)算機(jī)應(yīng)用. 2016(12)
[10]面向運(yùn)動(dòng)目標(biāo)檢測(cè)的粒子濾波視覺(jué)注意力模型[J]. 劉龍,樊波陽(yáng),劉金星,楊樂(lè)超.  電子學(xué)報(bào). 2016(09)

博士論文
[1]智能語(yǔ)音交互中的用戶意圖理解與反饋生成研究[D]. 寧義雙.清華大學(xué) 2017

碩士論文
[1]一種基于深度偏好網(wǎng)絡(luò)的點(diǎn)擊率預(yù)估模型的設(shè)計(jì)與評(píng)價(jià)[D]. 王學(xué)斌.北京大學(xué) 2019
[2]基于深度神經(jīng)網(wǎng)絡(luò)的點(diǎn)擊率預(yù)估模型[D]. 邱威.華南理工大學(xué) 2019
[3]基于RF、XGBoost和FFM集成的CTR預(yù)估[D]. 王雪萍.浙江大學(xué) 2018
[4]一種基于邏輯回歸模型的搜索廣告點(diǎn)擊率預(yù)估方法的研究[D]. 王兵.浙江大學(xué) 2013



本文編號(hào)：3576924