【摘要】：隨著機(jī)器學(xué)習(xí)在計(jì)算廣告領(lǐng)域中為互聯(lián)網(wǎng)企業(yè)帶來越來越多的收入,近年來關(guān)于廣告點(diǎn)擊率預(yù)估問題的研究也隨之不斷地深入,尤其是類目型特征的處理,在近年來獲得非常高的關(guān)注度。對于此問題,業(yè)界的解決方案以基于業(yè)務(wù)理解的人工特征組合為主,輔以邏輯回歸等模型,需要耗費(fèi)大量的人工精力,而在學(xué)術(shù)研究中則更多對基于特征組合的深度學(xué)習(xí)模型進(jìn)行研究,但仍舊存在模型可解釋性較差,在大規(guī)模數(shù)據(jù)集中調(diào)參難度較高等問題。本文從數(shù)據(jù)挖掘競賽中基于業(yè)務(wù)理解進(jìn)行特征組合構(gòu)造的方法出發(fā),總結(jié)常見的特征組合構(gòu)造方式,提出一套較為完備的自動化特征組合構(gòu)造框架AutoFeature,同時(shí)為了進(jìn)一步優(yōu)化特征組合構(gòu)造的效率,本文提出一種基于矩陣分解的啟發(fā)式特征組合搜索框架MF-AutoFeature,并將其應(yīng)用于百萬級用戶量與千萬級樣本量的數(shù)據(jù)集中。實(shí)驗(yàn)表明,無論是與經(jīng)典的因子分解機(jī)及其變體相比還是與近年來的基于特征組合的深度學(xué)習(xí)模型相比,該框架在與梯度提升樹級聯(lián)之后都能具備相對優(yōu)異的預(yù)測能力,同時(shí)該框架構(gòu)造的特征依舊能保持較好的可解釋性,并且在特征組合構(gòu)造的過程中無需進(jìn)行人工調(diào)參。除此之外,本文還優(yōu)化了近年熱門的基于特征組合的深度學(xué)習(xí)模型,主要工作如下:本文基于深度因子分解機(jī)模型DeepFM,分別將注意力機(jī)制和神經(jīng)網(wǎng)絡(luò)加入到DeepFM的因子分解機(jī)部分,提出基于注意力機(jī)制的深度因子分解機(jī)模型DeepAFM和深度神經(jīng)因子分解機(jī)模型DeepNFM。實(shí)驗(yàn)表明,在百萬級用戶量,千萬級樣本量的數(shù)據(jù)集中,DeepAFM和DeepNFM的預(yù)測精度從總體上均優(yōu)于深度因子分解機(jī)等模型。本文還嘗試將序列信息融入因子分解機(jī),提出循環(huán)神經(jīng)因子分解機(jī)RFM以及深度循環(huán)神經(jīng)因子分解機(jī)DeepRFM,將循環(huán)神經(jīng)網(wǎng)絡(luò)加入到基于特征組合的深度學(xué)習(xí)模型中,使得在進(jìn)行序列信息建模的同時(shí)能夠進(jìn)行自動特征組合。實(shí)驗(yàn)表明,RFM和DeepRFM對于歷史記錄較為豐富的用戶的點(diǎn)擊率預(yù)估效果顯著優(yōu)于因子分解機(jī)和深度因子分解機(jī)。
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP181;F713.8
【圖文】：

華南理工大學(xué)工程碩士學(xué)位論文分鐘級統(tǒng)計(jì)時(shí)級統(tǒng)計(jì)天級統(tǒng)計(jì)用戶點(diǎn)擊次數(shù)用戶觸發(fā)廣告展示次數(shù)圖 5-4 異常用戶分析方法除了這兩個(gè)角度的觀察以外，本文還針對這兩個(gè)角度下的三個(gè)不同時(shí)間粒度的用戶行為次數(shù)進(jìn)行統(tǒng)計(jì)，表明用戶在不同時(shí)間粒度下的行為發(fā)生情況。

圖 5-4 異常用戶分析方法除了這兩個(gè)角度的觀察以外，本文還針對這兩個(gè)角度下的三個(gè)不同時(shí)間粒度的用戶行為次數(shù)進(jìn)行統(tǒng)計(jì)，表明用戶在不同時(shí)間粒度下的行為發(fā)生情況。圖 5-5 一天內(nèi)單個(gè)用戶觸發(fā)廣告展示的次數(shù)以及點(diǎn)擊次數(shù)如圖 5-5 所示為一天內(nèi)單個(gè)用戶觸發(fā)廣告展示次數(shù)（圖左）以及點(diǎn)擊次數(shù)（圖右）的雙對數(shù)條形圖。橫軸為一天內(nèi)單個(gè)用戶觸發(fā)廣告展示次數(shù)或點(diǎn)擊次數(shù)取對數(shù)，縱軸為用戶數(shù)取對數(shù)，與此類似的還有小時(shí)級的統(tǒng)計(jì)如圖 5-6，分鐘級的統(tǒng)計(jì)如圖 5-7 所示。

圖 5-7 一分鐘內(nèi)單個(gè)用戶觸發(fā)廣告展示的次數(shù)以及點(diǎn)擊次數(shù)通過式 5-2 可知圖 5-5 到圖 5-7 中的整體形狀應(yīng)該可以通過直線進(jìn)行擬合。整個(gè)擬合過程如圖 5-8、5-9 和 5-10 所示，其橫縱坐標(biāo)與圖 5-5 到圖 5-7 相同。圖 5-8 一天內(nèi)單個(gè)用戶觸發(fā)廣告展示的次數(shù)以及點(diǎn)擊次數(shù)擬合情況其中“Original-R2”表示對圖 5-5 到圖 5-7 直接進(jìn)行線性擬合的決定系數(shù)，表明線性擬

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 李思琴;林磊;孫承杰;;基于卷積神經(jīng)網(wǎng)絡(luò)的搜索廣告點(diǎn)擊率預(yù)測[J];智能計(jì)算機(jī)與應(yīng)用;2015年05期

2 施夢圜;顧津吉;;基于平衡采樣的輕量級廣告點(diǎn)擊率預(yù)估方法[J];計(jì)算機(jī)應(yīng)用研究;2014年01期

相關(guān)碩士學(xué)位論文 前8條

1 胡平伍;移動廣告點(diǎn)擊率預(yù)測方法的研究與實(shí)現(xiàn)[D];東南大學(xué);2017年

2 鄧麗芳;搜索廣告點(diǎn)擊率預(yù)測中的冷啟動問題研究[D];哈爾濱工業(yè)大學(xué);2016年

3 董書超;基于邏輯回歸模型的廣告點(diǎn)擊率預(yù)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2016年

4 王志威;圖片廣告點(diǎn)擊率預(yù)測方法的研究及改進(jìn)[D];哈爾濱工業(yè)大學(xué);2015年

5 王朝祿;基于貝葉斯網(wǎng)的廣告點(diǎn)擊率預(yù)測方法及實(shí)現(xiàn)[D];云南大學(xué);2013年

6 司向輝;個(gè)性化廣告點(diǎn)擊率預(yù)測的研究和實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

7 王兵;一種基于邏輯回歸模型的搜索廣告點(diǎn)擊率預(yù)估方法的研究[D];浙江大學(xué);2013年

8 劉唐;基于多類別特征的在線廣告點(diǎn)擊率預(yù)測研究[D];北京郵電大學(xué);2013年

本文編號：2781720