大數(shù)據(jù)時(shí)代,我們生活中的方方面面都出現(xiàn)了信息過載的問題。用戶從大量的信息中尋找對自己感興趣的信息也隨之變得困難;而對于信息生產(chǎn)者而言,讓自己生產(chǎn)的信息在眾多信息中脫穎而出也變得越來越難。推薦系統(tǒng)就是在這樣的前提下產(chǎn)生的。推薦系統(tǒng)的主要目的是把合適的信息推薦給合適的人。對于用戶而言,推薦系統(tǒng)能將用戶感興趣的內(nèi)容推送給用戶。對于商家而言,推薦系統(tǒng)可以給用戶提供個(gè)性化服務(wù),提高收入。在推薦系統(tǒng)中,點(diǎn)擊率預(yù)估是非常重要的一個(gè)環(huán)節(jié),判斷一個(gè)商品是否進(jìn)行推薦需要根據(jù)點(diǎn)擊率預(yù)估的點(diǎn)擊率來進(jìn)行。論文主要研究基于深度神經(jīng)網(wǎng)絡(luò)的點(diǎn)擊率預(yù)估模型的問題,聚焦當(dāng)前火熱和前沿的深度學(xué)習(xí)技術(shù)。論文針對當(dāng)前存在的深度點(diǎn)擊率預(yù)估模型,從低維特征的表達(dá)和組合特征的表達(dá)為切入點(diǎn),對當(dāng)前存在的深度點(diǎn)擊率預(yù)估模型在低維特征表達(dá)與組合特征表達(dá)這兩個(gè)層面做了改進(jìn)工作,主要進(jìn)行了將FFM中“域”思想引入深度點(diǎn)擊率預(yù)估模型和將注意力機(jī)制引入深度點(diǎn)擊率預(yù)估模型的兩方面工作。本文的主要工作和創(chuàng)新點(diǎn)包括:1.提出了一種基于FFM深度神經(jīng)網(wǎng)絡(luò)的點(diǎn)擊率預(yù)估模型。該方法的主要思想是通過將FFM模型中“域”的思想引入到深度點(diǎn)擊率預(yù)估模型中,通過“域... 

【文章來源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【部分圖文】：

“DisplayAdvertisingChallenge”比賽數(shù)據(jù)集預(yù)處理流程圖

圖 3-2 “Click-Through Rate Prediction”比賽數(shù)據(jù)集預(yù)處理流程圖3.3 基于 FFM 深度神經(jīng)網(wǎng)絡(luò)的點(diǎn)擊率預(yù)估模型3.3.1 深度點(diǎn)擊率預(yù)估模型簡介近幾年來隨著深度學(xué)習(xí)在圖像領(lǐng)域，自然語言處理領(lǐng)域和語音識別領(lǐng)域取得了非常重大的進(jìn)展。眾多研究者也把在這些領(lǐng)域成熟的方法引入到點(diǎn)擊率預(yù)估領(lǐng)域，并且取得了不錯(cuò)的效果。下面本文就針對幾個(gè)效果比較突出，特點(diǎn)比較鮮明的深度點(diǎn)擊率預(yù)估模型做一個(gè)詳細(xì)的介紹（1） Deep&Cross Network 模型Deep&Cross Network 模型又被稱為 DCN 模型， 一個(gè)完整的 DCN 模型由嵌入和堆積層、交叉網(wǎng)絡(luò)層、深度網(wǎng)絡(luò)層、組合層四部分組成，其中嵌入和堆積層的功能是輸入連續(xù)和離散的數(shù)據(jù)，并把它們拼接成一個(gè)向量，提供給后續(xù)的網(wǎng)絡(luò)使用，交叉網(wǎng)絡(luò)層和

圖 3-3 Deep&Cross Network 模型結(jié)構(gòu)圖[21]嵌入與堆疊層由嵌入與堆疊兩部分組成，其中嵌入部分就是我們通常所說的embedding 層，使用 embedding 層的原因主要是在實(shí)際的應(yīng)用中，點(diǎn)擊率模型輸入的特征向量通常是維度很大的，比如在電商購物中，商品 ID 這個(gè)特征的維度就是很大的，有多少個(gè)商品，特征的維度就是多少維。但是如果直接把這么高維度的特征直接輸入到點(diǎn)擊率模型中，不僅會大大增加模型的復(fù)雜度，還會造成過擬合的情況，所以為了減少輸入模型的維度，就會采用在自然語言處理領(lǐng)域應(yīng)用很廣的 embedding 的方法，embedding 的轉(zhuǎn)化過程如下所示：embed , i embed ,i iX W X（3-先來看下什么是全連接層，顧名思義，全連接層與前一層的神經(jīng)元進(jìn)行全連接操作，將前一層的輸出特征都綜合起來，從全局角度對提取到的特征進(jìn)行加權(quán)組合。全連接層一般出現(xiàn)在 CNN 的最后幾層，其所需要訓(xùn)練的參數(shù)也是最多的。由于其參數(shù)過多可能造

【參考文獻(xiàn)】：
期刊論文
[1]基于注意力機(jī)制的答案選擇方法研究[J]. 熊雪,劉秉權(quán),吳翔虎.  智能計(jì)算機(jī)與應(yīng)用. 2018(06)
[2]基于注意力LSTM和多任務(wù)學(xué)習(xí)的遠(yuǎn)場語音識別[J]. 張宇,張鵬遠(yuǎn),顏永紅.  清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(03)
[3]基于多注意力卷積神經(jīng)網(wǎng)絡(luò)的特定目標(biāo)情感分析[J]. 梁斌,劉全,徐進(jìn),周倩,章鵬.  計(jì)算機(jī)研究與發(fā)展. 2017(08)
[4]AdaBoost算法研究進(jìn)展與展望[J]. 曹瑩,苗啟廣,劉家辰,高琳.  自動化學(xué)報(bào). 2013(06)
[5]計(jì)算廣告:以數(shù)據(jù)為核心的Web綜合應(yīng)用[J]. 周傲英,周敏奇,宮學(xué)慶.  計(jì)算機(jī)學(xué)報(bào). 2011(10)
[6]基于視覺顯著性特征的快速場景配準(zhǔn)方法[J]. 陳碩,吳成東,陳東岳.  中國圖象圖形學(xué)報(bào). 2011(07)
[7]基于視覺注意力機(jī)制的圖像檢索研究[J]. 梁曄,劉宏哲.  北京聯(lián)合大學(xué)學(xué)報(bào)(自然科學(xué)版). 2010(01)

碩士論文
[1]基于混合模型的推薦系統(tǒng)的研究[D]. 石寧.華北電力大學(xué) 2015
[2]基于注意力機(jī)制的圖像顯著區(qū)域提取算法分析與比較[D]. 李敏學(xué).北京交通大學(xué) 2011



本文編號：3589576