【摘要】：在移動(dòng)APP廣告轉(zhuǎn)化率預(yù)估場(chǎng)景中,用戶交互產(chǎn)生了大量數(shù)據(jù),廣告轉(zhuǎn)化率預(yù)估面臨數(shù)據(jù)高維稀疏、特征間高度交互和用戶興趣模型難以構(gòu)建等挑戰(zhàn)。如何利用大量的高維異構(gòu)數(shù)據(jù),自動(dòng)獲取特征之間的交互關(guān)系,并通過采集到的用戶行為序列數(shù)據(jù)構(gòu)建用戶興趣偏好模型,是實(shí)現(xiàn)轉(zhuǎn)化率準(zhǔn)確預(yù)估的關(guān)鍵,近年來蓬勃發(fā)展的深度學(xué)習(xí)為上述問題的解決提供了可行途徑。鑒于此,本文研究基于改進(jìn)深度學(xué)習(xí)的移動(dòng)APP廣告轉(zhuǎn)化率預(yù)估(簡(jiǎn)稱轉(zhuǎn)化率預(yù)估),主要內(nèi)容如下:(1)基于改進(jìn)WideDeep自動(dòng)特征交互關(guān)系抽取的轉(zhuǎn)化率預(yù)估:針對(duì)轉(zhuǎn)化率預(yù)估問題特征高維稀疏、特征間高度交互等特點(diǎn),提出了融合域因子分解機(jī)(Field-aware Factorized Machine,FFM)和深度卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)WideDeep模型,以有效獲取高維度稀疏特征的低階和高階交互關(guān)系,實(shí)現(xiàn)特征自動(dòng)高效組合,提高移動(dòng)APP廣告轉(zhuǎn)化率預(yù)估精度。針對(duì)稀疏數(shù)據(jù)的嵌入,提出了基于寬度模塊FFM挖掘低階特征交互關(guān)系的特征組合算法;然后,根據(jù)FFM所提取隱特征向量,進(jìn)一步給出了基于深度模塊多層卷積神經(jīng)網(wǎng)絡(luò)提取高階交互關(guān)系的特征提取策略;最后,將寬度和深度模塊分別獲取的特征組合用于轉(zhuǎn)化率預(yù)估。所提算法在騰訊移動(dòng)APP廣告轉(zhuǎn)化率預(yù)估中的應(yīng)用表明了該方法在提高預(yù)估精度上的有效性。(2)融合注意力機(jī)制深度學(xué)習(xí)用戶多行為動(dòng)態(tài)演化的轉(zhuǎn)化率預(yù)估:轉(zhuǎn)化率與用戶興趣偏好密切相關(guān),而用戶興趣偏好往往通過其行為特征體現(xiàn),鑒于此,本部分研究基于用戶行為特征的轉(zhuǎn)化率預(yù)估,考慮用戶興趣模型和行為模型的動(dòng)態(tài)演化性,提出融合注意力機(jī)制的深度學(xué)習(xí)策略,獲取用戶行為動(dòng)態(tài)演化特征,進(jìn)而構(gòu)建基于該特征的轉(zhuǎn)化率預(yù)估模型。首先,構(gòu)建基于GRU和注意力機(jī)制的用戶單個(gè)行為序列模型,將提取出的用戶行為嵌入表示作為用戶行為的動(dòng)態(tài)變化特征;然后,利用自注意力(Self-attention)對(duì)用戶的多行為動(dòng)態(tài)演化進(jìn)行建模;最后融合所提取的用戶多行為序列向量作為用戶的行為特征,構(gòu)建移動(dòng)APP廣告轉(zhuǎn)化率預(yù)估模型。實(shí)驗(yàn)結(jié)果表明所提取的用戶行為序列特征能有效改善轉(zhuǎn)化率預(yù)估效果。(3)基于交互特征和用戶多行為動(dòng)態(tài)演化集成的轉(zhuǎn)化率預(yù)估:基于研究?jī)?nèi)容(1)和(2),提出融合交互特征和用戶行為序列特征的轉(zhuǎn)化率預(yù)估方法。首先,對(duì)機(jī)器學(xué)習(xí)中模型集成策略及收益進(jìn)行分析;然后,給出交互特征和用戶多行為動(dòng)態(tài)演化特征集成的移動(dòng)廣告轉(zhuǎn)化率預(yù)估框架;最后,給出基于加權(quán)平均和Stacking機(jī)制的集成算法,通過在騰訊移動(dòng)APP廣告轉(zhuǎn)化率預(yù)估的應(yīng)用實(shí)驗(yàn),表明了所提集成方法的有效性。
【學(xué)位授予單位】：中國(guó)礦業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP311.56;TP181
【圖文】：

圖 4-3 下載行為不同融合權(quán)重得到的實(shí)驗(yàn)結(jié)果ure 4-3 Experimental results obtained by different download behavior fusion weights上圖中可以得到當(dāng)用戶的下載行為的融合權(quán)重為 0.6，用戶點(diǎn)擊行為為 0.4 時(shí)，得到了最好的實(shí)驗(yàn)結(jié)果。但是這種手動(dòng)設(shè)置參數(shù)對(duì)用戶行為的方式在實(shí)際中存在參數(shù)調(diào)節(jié)工作量巨大的問題，并且當(dāng)有多個(gè)行為，手工融合的難度更是成倍的增加。這種行為信息的融合方式也只是融合，沒有考慮多個(gè)行為之間的相互影響，只是考慮了行為對(duì)最終結(jié)權(quán)重。本章的方案旨在能夠?qū)τ脩舳鄠�(gè)行為之間的相互影響進(jìn)行建模一個(gè)用戶行為特征的融合表達(dá)。因?yàn)樽宰⒁饬C(jī)制可以建模多個(gè)元素相互影響，所以采用自注意力機(jī)制（Self-attention）建模用戶行為之響。于用戶多行為向量的融合方式也可以采用直接將兩個(gè)特征向量進(jìn)行拼。然后將拼接后的行為特征向量和廣告特征，上下文特征等再次嵌入作為多層神經(jīng)網(wǎng)絡(luò)的輸入，來進(jìn)行廣告轉(zhuǎn)化率的預(yù)估。在這種情況下上的準(zhǔn)確率為 0.742，其效果遜色于用戶行為特征加權(quán)融合的策略。進(jìn)

圖 4-4 不同融合策略下得到的實(shí)驗(yàn)結(jié)果Figure 4-4 Experimental results obtained under different fusion strategies4.4.4 轉(zhuǎn)化率預(yù)估的對(duì)比實(shí)驗(yàn)結(jié)果為了驗(yàn)證本章所提出模型對(duì)廣告轉(zhuǎn)化率預(yù)估的有效性，分別在沒有進(jìn)行行為序列建模，如下實(shí)驗(yàn)組①②③④，以及進(jìn)行了用戶行為序列建模的對(duì)照組，如實(shí)驗(yàn)組⑤⑥，進(jìn)行對(duì)照實(shí)驗(yàn)。首先對(duì)選取的實(shí)驗(yàn)對(duì)照模型進(jìn)行簡(jiǎn)要介紹：① BaseModel：基礎(chǔ)對(duì)照模型的嵌入操作和多層神經(jīng)網(wǎng)絡(luò)的設(shè)置和本章的模型采用一樣的參數(shù)。② Wide&Deep[18]：Wide&Deep 模型是由兩部分組成，其深度部分和基礎(chǔ)模型的設(shè)置是一樣的，其 Wide 部分是一個(gè)線性模型，該部分輸入的是手工自動(dòng)交叉得到的特征。③ DIN[80]：DIN 使用了注意力機(jī)制去激活相關(guān)的行為來獲取用戶對(duì)于不同廣告的興趣的自適應(yīng)表達(dá)。④ Two layer GRU Attention：使用了雙層 GRU 和注意力機(jī)制去提取用戶單行為序列的信息。

DINTwo layer GRUDIEN本章方法0.7190.7380.7410.7520.7520.7680.7750.7910.5730.5600.5560.543由表 4-2 可知，在預(yù)測(cè)精度、AUC 以及 Logloss 三個(gè)性能指標(biāo)方面都優(yōu)于所比較的算法。并且與阿里 2018 年提出的 DIEN 算法比較，在本章使用的數(shù)據(jù)上本章所提方法的實(shí)驗(yàn)結(jié)果也是有約 1.1%的提升效果，這也充分說明本模型考慮用戶多種行為之間的相互影響，對(duì)于準(zhǔn)確的建模行為模型是有效果的。相比較于沒有進(jìn)行考慮用戶行為時(shí)序建模的模型，如 Wide&Deep、DIN 模型，模型的精度分別有 4%和 3.3%的提升效果，說明考慮用戶的時(shí)序行為能夠建模更精準(zhǔn)的用戶興趣模型。4.4.5 可視化用戶行為序列的提取GRU 單元中的隱含層狀態(tài)可以反映出用戶興趣的進(jìn)化過程。因此可以通過可視化隱含層的狀態(tài)來發(fā)現(xiàn)不同的目標(biāo)廣告對(duì)于用戶興趣進(jìn)化的影響。因此可以通過對(duì)用戶點(diǎn)擊行為序列進(jìn)行可視化來形象化表示這種影響作用。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李佳;;手機(jī)輸入無法撤回 增強(qiáng)APP拯救你[J];計(jì)算機(jī)與網(wǎng)絡(luò);2018年23期

2 沈楊;朱雅;;青年“拼團(tuán)”消費(fèi)群體生成邏輯及其調(diào)適——以社交購(gòu)物APP拼多多為研究個(gè)例[J];山西經(jīng)濟(jì)管理干部學(xué)院學(xué)報(bào);2018年04期

3 李新;劉霖媛;;大學(xué)生對(duì)“微校園”APP的需求現(xiàn)狀分析[J];產(chǎn)業(yè)與科技論壇;2019年03期

4 陳永光;劉業(yè)亮;;高校移動(dòng)圖書館APP現(xiàn)狀及優(yōu)化研究[J];河南圖書館學(xué)刊;2018年12期

5 陳圓;;App在高校黨建工作中的應(yīng)用初探——以福建農(nóng)林大學(xué)金山學(xué)院為例[J];黑河學(xué)院學(xué)報(bào);2018年12期

6 趙家玉;;智慧圖書館APP的設(shè)計(jì)與實(shí)現(xiàn)研究[J];電子世界;2019年06期

7 陳卓;;高校移動(dòng)圖書館APP現(xiàn)狀及優(yōu)化研究[J];智庫(kù)時(shí)代;2019年17期

8 賈慧;;基于APP技術(shù)的智慧旅游研究和應(yīng)用闡述[J];開封教育學(xué)院學(xué)報(bào);2019年03期

9 汪衛(wèi)平;;“智慧校園”環(huán)境下校園APP項(xiàng)目的研究與實(shí)踐[J];信息與電腦(理論版);2019年08期

10 李進(jìn)才;;等車望眼欲穿 高德新出的實(shí)時(shí)公交APP[J];計(jì)算機(jī)與網(wǎng)絡(luò);2019年07期

相關(guān)會(huì)議論文 前10條

1 薛陽光;黃平;;APP+網(wǎng)球場(chǎng)館運(yùn)營(yíng)現(xiàn)狀分析——廣州市網(wǎng)球場(chǎng)館運(yùn)營(yíng)為例[A];2017年全國(guó)競(jìng)技體育科學(xué)論文報(bào)告會(huì)論文摘要匯編[C];2017年

2 陳鳳林;;體育英語APP開發(fā)可行性研究[A];2016年第十二屆全國(guó)體育信息科技學(xué)術(shù)大會(huì)論文摘要匯編（體育外語教學(xué)研究）[C];2016年

3 潘炎;;大數(shù)據(jù)時(shí)代下體育類APP的數(shù)據(jù)可視化研究[A];2016年第十二屆全國(guó)體育信息科技學(xué)術(shù)大會(huì)論文摘要匯編（數(shù)字體育研究）[C];2016年

4 梁益同;周月華;高偉;李蘭;;暴雨洪澇災(zāi)情采集App設(shè)計(jì)與應(yīng)用[A];第32屆中國(guó)氣象學(xué)會(huì)年會(huì)S7 水文氣象預(yù)報(bào)最新理論方法及應(yīng)用研究[C];2015年

5 梁良;姚志剛;朱華;黃瀾;秦川;;中藥Ⅰ號(hào)方對(duì)阿爾茨海默病轉(zhuǎn)基因模型小鼠APP代謝的影響[A];第十屆中國(guó)實(shí)驗(yàn)動(dòng)物科學(xué)年會(huì)論文集[C];2012年

6 張瑜;張德平;周政懋;;聚磷酸銨(APP)的改性研究進(jìn)展[A];2006全國(guó)阻燃學(xué)術(shù)年會(huì)論文集[C];2006年

7 譚翼;邵珠寶;陳力;王玉忠;;一種新型改性APP對(duì)環(huán)氧樹脂的固化及阻燃研究[A];2013年全國(guó)高分子學(xué)術(shù)論文報(bào)告會(huì)論文摘要集——主題M：阻燃高分子[C];2013年

8 張建華;許興;曲晴;杜昀徽;;智慧校園移動(dòng)APP建設(shè)規(guī)劃初探[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十二次學(xué)術(shù)年會(huì)論文集[C];2014年

9 陳蓓;馬萬經(jīng);;基于APP的電動(dòng)汽車分時(shí)租賃激勵(lì)調(diào)度系統(tǒng)研究[A];第十一屆中國(guó)智能交通年會(huì)大會(huì)論文集[C];2016年

10 梁文娟;金文鑫;;中國(guó)電影博物館App建設(shè)探索[A];博物館的數(shù)字化之路[C];2015年

相關(guān)重要報(bào)紙文章 前10條

1 曉燕;APP須后臺(tái)實(shí)名前臺(tái)自愿[N];通信產(chǎn)業(yè)報(bào);2016年

2 衢州市圖書館 王其旗;打造讓人民滿意幸福的衢州文旅APP[N];衢州日?qǐng)?bào);2019年

3 張麗;手機(jī)里的APP離環(huán)保有多遠(yuǎn)[N];汕尾日?qǐng)?bào);2019年

4 瞿德瑩;手機(jī)賺錢類App亂象亟須整治[N];人民政協(xié)報(bào);2019年

5 本報(bào)記者 郭慧 實(shí)習(xí)生 李宇鑫;校園APP該“瘦身”了[N];山西日?qǐng)?bào);2019年

6 本報(bào)記者 趙碧;高校APP泛濫 學(xué)生指尖亟待“減負(fù)”[N];中國(guó)產(chǎn)經(jīng)新聞;2019年

7 中國(guó)青年報(bào)·中國(guó)青年網(wǎng)記者 洪克非;40萬臺(tái)手機(jī)上的App之爭(zhēng)[N];中國(guó)青年報(bào);2019年

8 記者 張漫子;一家銀行17個(gè)! APP泛濫成手機(jī)“不能承受之重”[N];經(jīng)濟(jì)參考報(bào);2019年

9 何勇;銀行手機(jī)App該瘦身了[N];中國(guó)市場(chǎng)監(jiān)管報(bào);2019年

10 青蛙公司（FROG）;為什么一個(gè)App能值一座小型油田？[N];經(jīng)濟(jì)觀察報(bào);2014年

相關(guān)博士學(xué)位論文 前10條

1 黃道超;酒精影響APP代謝途徑誘導(dǎo)神經(jīng)性病變的機(jī)制研究[D];重慶醫(yī)科大學(xué);2017年

2 鄭玲玲;氯喹對(duì)阿爾茨海默癥中APP代謝分子機(jī)制研究[D];重慶醫(yī)科大學(xué);2016年

3 朱正禹;G-CSF誘導(dǎo)APP轉(zhuǎn)基因小鼠神經(jīng)再生及對(duì)認(rèn)知功能改善作用的研究[D];山東大學(xué);2011年

4 金學(xué)成;品牌手機(jī)App體驗(yàn)對(duì)品牌溝通效果影響的實(shí)證研究[D];對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué);2014年

5 薛衛(wèi)國(guó);電針對(duì)APP轉(zhuǎn)基因鼠腦Aβ水平及腦微血管病變影響的研究[D];北京中醫(yī)藥大學(xué);2010年

6 王萍;血管內(nèi)皮生長(zhǎng)因子改善APP轉(zhuǎn)基因小鼠認(rèn)知功能的作用及機(jī)制研究[D];山東大學(xué);2011年

7 謝興巧;Mint2以“打開—閉合”構(gòu)象變化來調(diào)節(jié)APP的代謝[D];南開大學(xué);2013年

8 潘洪玉;淀粉樣蛋白β不是影響APP小鼠中成體海馬神經(jīng)發(fā)生的主要因子[D];浙江大學(xué);2016年

9 王春麗;AML1/ETO陽性白血病APP基因的臨床意義、生物學(xué)功能及其作用機(jī)制研究[D];南方醫(yī)科大學(xué);2015年

10 何選麗;外源性硫化氫對(duì)APP/PS1雙轉(zhuǎn)基因小鼠APP代謝途徑的影響與機(jī)制研究[D];重慶醫(yī)科大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 劉小雪;短視頻APP中的廣告應(yīng)用研究[D];中原工學(xué)院;2019年

2 李瑞鈺;抖音APP用戶滿意度影響因素研究[D];中原工學(xué)院;2019年

3 張?jiān)迄i;博物館APP的應(yīng)用價(jià)值研究[D];山東大學(xué);2019年

4 王思佳;新聞APP的信息傳播溯源技術(shù)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

5 王巍;公眾運(yùn)用新聞APP參與社會(huì)治理研究[D];寧波大學(xué);2018年

6 劉釗;基于手機(jī)APP的公安出入境管理信息化建設(shè)研究[D];中國(guó)人民公安大學(xué);2019年

7 王晨陽;網(wǎng)絡(luò)短視頻APP的問題及發(fā)展策略研究[D];山東師范大學(xué);2019年

8 聶鑫;基于改進(jìn)深度學(xué)習(xí)的移動(dòng)APP廣告轉(zhuǎn)化率預(yù)估[D];中國(guó)礦業(yè)大學(xué);2019年

9 李琦;對(duì)外漢語漢字學(xué)習(xí)APP對(duì)比研究[D];河北師范大學(xué);2019年

10 王瑩娟;九零后健身類app用戶的使用與滿足數(shù)據(jù)的統(tǒng)計(jì)分析[D];云南大學(xué);2017年

本文編號(hào)：2796868