廣告點擊事件的準(zhǔn)確預(yù)測是實時競價算法中的重要因素之一,關(guān)系著廣告主的成本與收益。當(dāng)前在線廣告的業(yè)務(wù)場景下,數(shù)據(jù)規(guī)模巨大且具有高維、非線性、稀疏性等特點,如何高效地設(shè)計算法以減少迭代是優(yōu)化算法中要考慮的關(guān)鍵因素。同時,深度學(xué)習(xí)也為大規(guī)模非線性特征的學(xué)習(xí)及預(yù)測提供了有效手段。針對上述問題,本文將主要分為兩部分來開展對廣告點擊預(yù)測算法的研究工作。（1）在研究FTRL（Follow-the-regularized-Leader）優(yōu)化算法的基礎(chǔ)上,提出了基于FTRL優(yōu)化算法的因子分解機模型。在特征提取階段,使用基于梯度提升決策樹算法的特征提取代替了人工特征提取。FTRL算法在梯度下降算法的基礎(chǔ)上進行改進,加入了混合正則項防止過擬合,在保持梯度下降類算法高精確度的同時提高了稀疏性。因子分解機可以更好地學(xué)習(xí)到互異特征分量之間的關(guān)系,比傳統(tǒng)邏輯回歸更有效。實驗結(jié)果顯示,改進后的算法有效地提高了廣告點擊事件的預(yù)測準(zhǔn)確率。（2）針對人工特征提取費時費力、淺層模型無法充分考慮到數(shù)據(jù)之間的非線性關(guān)系等問題,提出一種基于 CNN（Convolutional Neural Networks）-LSTM（Long ... 

【文章來源】：西安科技大學(xué)陜西省

【文章頁數(shù)】：53 頁

【學(xué)位級別】：碩士

【部分圖文】：

RTB廣告生態(tài)系統(tǒng)工作流程

告的業(yè)務(wù)場景下，線性模型沒有充分考慮到數(shù)據(jù)高維、些問題，引入了基于梯度提升決策樹算法的特征提取方e-regularized-Leader)優(yōu)化算法的因子分解機模型。FTR之間存在的非線性關(guān)系，使不同參數(shù)可以自適應(yīng)不同學(xué)模型，防止過擬合。實驗驗證：基于 FTRL 優(yōu)化算法的精確度�；惴ㄔ� FTL(Follow-the-Leader)算法的的基礎(chǔ)上加入了正則項損失函數(shù)之和，且使模型得到的解更稀疏、更平滑。F切算法(Forward-Backward Splitting, FOBOS)與正則al Averaging, RDA)，有效地提高了模型的精度。其與梯S 算法、RDA 算法的關(guān)系如圖 3.1 所示。

偏置；cw 、cu 、cb 表示細胞狀態(tài)的權(quán)值參數(shù)和偏置；ow 、ou 、ob 表示遺忘門的權(quán)數(shù)和偏置。.2 算法設(shè)計.2.1 基本思想CNN-LSTM 混合神經(jīng)網(wǎng)絡(luò)分為三層結(jié)構(gòu)。第一層：將原始特征去重、去除長尾數(shù)據(jù)后進行獨熱向量編碼，使其映射到 k 維中，k 為編碼后的向量維度，最后取其不為 0 的索引值作為新特征。例如，獨熱向碼為[0,0,1,0,1,0]，不為 0 的索引值為第 2 位與第 4 位，則新特征為[2,4]。第二層：將新特征輸入卷積神經(jīng)網(wǎng)絡(luò)，設(shè)置若干卷積層和池化層，并加入 Drop隨機選擇隱藏層的部分節(jié)點，防止過擬合。通過卷積核滑動和權(quán)值共享獲得局部感中特征間的關(guān)系，提取高影響力的特征。第三層：將 CNN 的輸出作為 LSTM 神經(jīng)網(wǎng)絡(luò)的輸入，使用分層的 LSTM 進行分到預(yù)測值，如圖 4.8 所示。

【參考文獻】：
期刊論文
[1]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 周飛燕,金林鵬,董軍.  計算機學(xué)報. 2017(06)
[2]互聯(lián)網(wǎng)廣告點擊率預(yù)估模型中特征提取方法的研究與實現(xiàn)[J]. 田嫦麗,張珣,潘博,楊超,許彥茹.  計算機應(yīng)用研究. 2017(02)
[3]基于特征學(xué)習(xí)的廣告點擊率預(yù)估技術(shù)研究[J]. 張志強,周永,謝曉芹,潘海為.  計算機學(xué)報. 2016(04)
[4]深度學(xué)習(xí)的昨天、今天和明天[J]. 余凱,賈磊,陳雨強,徐偉.  計算機研究與發(fā)展. 2013(09)
[5]廣告點擊率估算技術(shù)綜述[J]. 紀(jì)文迪,王曉玲,周傲英.  華東師范大學(xué)學(xué)報(自然科學(xué)版). 2013(03)
[6]RTB:廣告購買錢規(guī)則[J]. 朱珊.  成功營銷. 2013(02)
[7]深度學(xué)習(xí)研究綜述[J]. 孫志軍,薛磊,許陽明,王正.  計算機應(yīng)用研究. 2012(08)
[8]計算廣告:以數(shù)據(jù)為核心的Web綜合應(yīng)用[J]. 周傲英,周敏奇,宮學(xué)慶.  計算機學(xué)報. 2011(10)

碩士論文
[1]基于遞歸神經(jīng)網(wǎng)絡(luò)的廣告點擊率預(yù)估[D]. 余仕敏.浙江理工大學(xué) 2016
[2]基于深度學(xué)習(xí)的搜索廣告點擊率預(yù)測方法研究[D]. 李思琴.哈爾濱工業(yè)大學(xué) 2015
[3]在線廣告DSP平臺實時競價算法的研究與實現(xiàn)[D]. 韓靜（Jim Han）.上海交通大學(xué) 2015



本文編號：3511414