【摘要】：隨著程序化購買的模式日漸清晰與需求日益增大,需求方平臺(DSP Demand-Side-Platform)發(fā)展非常迅速,近年來市場規(guī)模每年已達數(shù)百億元,廣告點擊率預(yù)測作為需求方平臺的核心技術(shù)之一,對提升需求方平臺的競爭力起著關(guān)鍵作用。本文立足于DSP廣告點擊率預(yù)測的具體場景和需求,通過查閱大量相關(guān)文獻,對點擊率預(yù)測模型進行了深入分析,研究了谷歌、微軟、臉書等大公司在廣告點擊率預(yù)測問題上采用的方案,重點參考了臉書提出的梯度提升決策樹組合邏輯回歸的模型~([1]),把邏輯回歸替換為基于特征列的因子分解,得到一個新的預(yù)測模型:梯度提升決策樹和基于特征列的因子分解的組合模型。通過梯度提升決策樹對連續(xù)特征及選擇性對部分原始特征進行轉(zhuǎn)化生成新特征,很好地進行了特征組合并且避免過度擬合,而基于特征列的因子分解模型通過分解成多維空間,使模型的精確度更高。其次在龐大特征空間的問題上,針對單個特征采用卡方檢驗進行特征選擇,以過濾一些對訓(xùn)練沒有幫助的特征,從而降低特征空間以及提高訓(xùn)練數(shù)據(jù)的質(zhì)量;同時使用散列技巧對卡方特征選擇的結(jié)果進行降維,以達到一個在具體實現(xiàn)中可接受的量級。本文同時基于計算框架Spark對這一模型進行了實現(xiàn),把整個實現(xiàn)過程分為4部分:梯度提升決策樹部分對連續(xù)特征和部分類屬特征進行特征組合生成新特征;基于特征列的因子分解預(yù)處理一階段對連續(xù)特征進行壓縮處理;而預(yù)處理階段二實現(xiàn)卡方特征選擇及散列技巧;最后將前3部分的特征合并對基于特征列的因子分解模型進行訓(xùn)練。大部分算法的實現(xiàn)都是基于Spark MLlib庫,如梯度提升決策樹、卡方特征等;而基于特征列的因子分解的算法實現(xiàn)借助于第三方擴展庫。最后通過實驗和其它幾種常用模型的對比,論證了本文模型的有效性。
【圖文】：

第一章 緒論究背景著互聯(lián)網(wǎng)的發(fā)展，，互聯(lián)網(wǎng)廣告發(fā)展非常迅速，市場規(guī)模已達數(shù)千億，美國市場 2006 年廣告規(guī)模是 169 億美元，而 2016 年增長到 725 億長 329%[2]；中國在 2012 年以前，互聯(lián)網(wǎng)廣告市場還未成熟，主要斷，2012 年年度互聯(lián)網(wǎng)廣告規(guī)模約 773 億元，到 2016 年增長為5 年時間增長約 275.5%[3]，圖 1-1 為中國近 5 年的廣告規(guī)模增長絡(luò)廣告市場發(fā)展成熟，國內(nèi)未來幾年增速趨于平穩(wěn)，預(yù)計 2019 年破 6000 億元。說明互聯(lián)網(wǎng)廣告市場規(guī)模巨大，而且還在不斷擴大

學(xué)工程碩士學(xué)位論文 ，為媒體提供一個實時拍賣的平臺；DSP 服務(wù)于廣告主，為廣、出價、廣告管理等功能。其主要思想是：DSP 通過分析評估告的價值，制定合適的出價，贏得流量的展示；ADX 接受不擇勝出的廣告進行展示。實時競價過程如圖 1-2：媒體網(wǎng)站的ADX 主要工作是流量拍賣，而 DSP 承載著廣告定向、流量價算控制、廣告顯示頻次等重要工作，因此 DSP 成為廣告行業(yè)司作為互聯(lián)網(wǎng)廣告公司，也是在當(dāng)時搭建起了自己的 DSP。多的發(fā)展，已經(jīng)平穩(wěn)下來，目前主流 DSP 的典型代表有品友 DSP，還有依附媒體的騰訊智匯通、新浪扶翼、Google 的 D Bid Manager）。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：F713.8;O212.1

【相似文獻】

相關(guān)期刊論文 前10條

1 王強;羅揚靜;林桂先;;基于DSP的簡易頻率計設(shè)計[J];玉林師范學(xué)院學(xué)報;2019年02期

2 秦曉未;;DSP技術(shù)在雷達信號處理中的應(yīng)用探究[J];信息記錄材料;2019年10期

3 張攀;滿緒民;田浩;;基于DSP的多功能自動旋轉(zhuǎn)門設(shè)計[J];黑龍江科技信息;2016年35期

4 宋勁松;楊凱;;基于DSP和FPGA的數(shù)字信號處理系統(tǒng)設(shè)計[J];蘭州文理學(xué)院學(xué)報(自然科學(xué)版);2017年01期

5 鄒侃平;伍川輝;;基于DSP的動車組車內(nèi)噪聲主動控制系統(tǒng)設(shè)計[J];鐵道科學(xué)與工程學(xué)報;2016年11期

6 梁磊;;基于DSP的遠程視頻監(jiān)控系統(tǒng)研究[J];無線互聯(lián)科技;2016年24期

7 劉金龍;;基于FPGA和DSP的視頻處理系統(tǒng)分析[J];無線互聯(lián)科技;2016年24期

8 李濤;楊成忠;;基于DSP的電動助力自行車控制系統(tǒng)設(shè)計[J];信息與電腦(理論版);2016年21期

9 凌曄華;;DSP直流電機調(diào)速系統(tǒng)研究[J];現(xiàn)代制造技術(shù)與裝備;2016年12期

10 林獻坤;余雙;陶晨;;基于DSP的電動執(zhí)行機構(gòu)相序檢測及缺相保護方法[J];測控技術(shù);2017年02期

相關(guān)會議論文 前10條

1 馬利東;厲偉;;基于DSP的絕緣子泄漏電流的在線監(jiān)測系統(tǒng)設(shè)計[A];第十四屆沈陽科學(xué)學(xué)術(shù)年會論文集（理工農(nóng)醫(yī)）[C];2017年

2 吳蕾;劉江峰;趙小林;;基于DSP電壓互感器現(xiàn)場測試儀的設(shè)計與應(yīng)用[A];ABB杯第三屆全國自動化系統(tǒng)工程師論文大賽論文集[C];2008年

3 施禮;桂俊杰;;基于DSP技術(shù)的烤煙分級智能識別研究[A];中國煙草學(xué)會2011年學(xué)術(shù)年會優(yōu)秀論文匯編[C];2011年

4 馬曙光;胡紹民;徐攀;徐曉峰;;基于DSP的抖動偏頻激光陀螺抖動控制器[A];第九屆全國物理力學(xué)學(xué)術(shù)會議論文集[C];2009年

5 吳紅飛;胡海兵;邢巖;;一種基于半實物仿真的DSP控制逆變器的實驗方法[A];第6屆全國高等學(xué)校電氣工程及其自動化專業(yè)教學(xué)改革研討會論文集（下冊）[C];2009年

6 丁麗晶;李明偉;;采用DSP技術(shù)實現(xiàn)的超聲波多普勒流量計[A];第十屆全國信號處理學(xué)術(shù)年會（CCSP-2001）論文集[C];2001年

7 譚劍;葛臨東;;全數(shù)字接收機中的關(guān)鍵技術(shù)及其DSP實現(xiàn)[A];第九屆全國信號處理學(xué)術(shù)年會（CCSP-99）論文集[C];1999年

8 吳蒙;;DSP促進現(xiàn)代通信技術(shù)的發(fā)展[A];第十屆全國信號處理學(xué)術(shù)年會（CCSP-2001）論文集[C];2001年

9 趙鑫;解梅;;基于DSP的虹膜識別系統(tǒng)[A];第七屆全國信息獲取與處理學(xué)術(shù)會議論文集[C];2009年

10 王東;張莉;;基于DSP的超級電容器串聯(lián)均壓控制系統(tǒng)的研究[A];第六屆全國信息獲取與處理學(xué)術(shù)會議論文集（3）[C];2008年

相關(guān)重要報紙文章 前4條

1 ;德州儀器為TD-SCDMA基站提供DSP[N];人民郵電;2003年

2 廣州 秦福忠;一套實用的高保真DSP分頻的2.1音響系統(tǒng)方案(二)[N];電子報;2019年

3 廣州 秦福忠;一套實用的高保真DSP分頻的2.1音響系統(tǒng)方案(一)[N];電子報;2019年

4 廣州 秦福忠;超值低價的音響發(fā)燒利器——DSP001 DSP數(shù)字功放(上)[N];電子報;2016年

相關(guān)博士學(xué)位論文 前10條

1 卞斌;基于DSP平臺的磁懸浮軸承數(shù)字控制系統(tǒng)[D];山東大學(xué);2012年

2 張玉強;基于DSP的色散介質(zhì)FDTD算法及相關(guān)問題研究[D];西安電子科技大學(xué);2009年

3 趙丹培;頻域下的目標(biāo)跟蹤方法及其在DSP中的實現(xiàn)[D];中國科學(xué)院研究生院（長春光學(xué)精密機械與物理研究所）;2006年

4 任坤;DSP編譯器關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

5 孫科林;基于多核DSP的實時圖像處理平臺研究[D];電子科技大學(xué);2012年

6 張兵;基于DSP的液壓振動臺功率譜復(fù)現(xiàn)研究[D];哈爾濱工業(yè)大學(xué);2013年

7 汪東;異構(gòu)多核DSP數(shù)據(jù)流前瞻關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

8 張曉飛;基于DSP的紅外焦平面陣列非均勻性校正技術(shù)研究[D];重慶大學(xué);2002年

9 陳杰男;基于概率計算的無線通信DSP系統(tǒng)高效VLSI實現(xiàn)技術(shù)研究[D];電子科技大學(xué);2014年

10 許志遠;霧天降質(zhì)圖像增強方法研究及DSP實現(xiàn)[D];大連海事大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 賀鵬程;一種DSP廣告點擊率預(yù)測的研究與實現(xiàn)[D];上海交通大學(xué);2018年

2 何雙宗;基于多核DSP的可重構(gòu)數(shù)字信號處理系統(tǒng)設(shè)計與實現(xiàn)[D];天津工業(yè)大學(xué);2019年

3 李明召;基于DSP的數(shù)字式逆變電源的研究[D];河北科技大學(xué);2019年

4 萬方鵬;直接序列擴頻信號檢測與參數(shù)估計及DSP實現(xiàn)[D];哈爾濱工程大學(xué);2019年

5 徐舒;基于DSP的戰(zhàn)場聲目標(biāo)實時識別與定位技術(shù)研究與實現(xiàn)[D];安徽工業(yè)大學(xué);2018年

6 楊熙;基于C#和DSP的核能譜模擬方法研究[D];成都理工大學(xué);2018年

7 汪廣;基于DSP的永磁無刷直流電機矢量控制系統(tǒng)的研究[D];湖南大學(xué);2018年

8 閆文華;基于DSP的大功率三相有源功率因數(shù)校正系統(tǒng)的設(shè)計[D];蘭州交通大學(xué);2018年

9 魏民;基于多核DSP的MUSIC算法研究與實現(xiàn)[D];哈爾濱工程大學(xué);2018年

10 胡曉磊;多核DSP調(diào)試代理與高速仿真器的設(shè)計與實現(xiàn)[D];北京化工大學(xué);2018年

本文編號：2700066