【摘要】：互聯(lián)網(wǎng)大數(shù)據(jù)時代,廣告投入方和廣告展示商會根據(jù)廣告點(diǎn)擊率作出競拍決策,因此CTR預(yù)測的準(zhǔn)確性對公司有很高的商業(yè)價值。機(jī)器學(xué)習(xí)在預(yù)測廣告點(diǎn)擊率方面起核心作用,CTR預(yù)估模型的研究具有實(shí)際商業(yè)應(yīng)用價值以及理論研究價值。CTR預(yù)估中常用的模型是邏輯回歸,但是在廣告問題方面,首先數(shù)據(jù)維度高,數(shù)據(jù)量非常大,并且特征之間存在相關(guān)信息。以前,實(shí)際應(yīng)用中需要快速處理數(shù)據(jù)并進(jìn)行特征選擇,很大程度需要依靠人工經(jīng)驗(yàn),花費(fèi)精力的同時不一定能帶來好的效果。另一方面,特征之間存在一些關(guān)聯(lián)信息,增加有效信息能提高預(yù)測的準(zhǔn)確性。因此如何快速自動發(fā)現(xiàn)有效特征及構(gòu)建有效特征組合是CTR預(yù)估的關(guān)鍵問題。本文在現(xiàn)有常用GBDT構(gòu)建特征組合并通過LR進(jìn)行預(yù)測的回歸模型基礎(chǔ)上,將可并行化的XGBoost算法代替?zhèn)鹘y(tǒng)GBDT,并加入特征之間的相關(guān)信息,用〈wi,fj',fi〉xixj表示特征二階交叉信息,即構(gòu)建了 FFM模型,添加到sigmoid函數(shù)得到預(yù)測概率值。本文還研究了集成學(xué)習(xí)的方式和有效性,將FFM模型的預(yù)測值作為新特征和已有特征一起輸入RF模型和XGBoost模型學(xué)習(xí),由此建立了 XGBoost+FFM,FFM+RF,FFM+XGBoost的集成學(xué)習(xí)模型。在實(shí)證方面,主要使用logloss評估指標(biāo),與先前模型作對比,從準(zhǔn)確性、運(yùn)算速度、穩(wěn)定性分析所建模型的優(yōu)點(diǎn)。本文模型的主要優(yōu)點(diǎn)有三個。第一,本文考慮了特征之間的相關(guān)信息,考慮廣告數(shù)據(jù)的稀疏性,引入因子分解的方式構(gòu)建FFM模型,相比傳統(tǒng)的LR模型,FFM模型有更好的非線性擬合能力。第二,XGBoost的近似直方圖算法實(shí)現(xiàn)了提升法的并行計(jì)算,比之前的GBDT的運(yùn)算速度明顯加快,并且準(zhǔn)確性也高。第三,集成學(xué)習(xí)的方式大大提升了模型的泛化能力,且準(zhǔn)確性有一定保證。
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：C81
【圖文】：

一起輸入ＲＦ模型和ＸＧＢｏｏｓｔ模型學(xué)習(xí)，并且通過ＸＧＢｏｏｓｔ模型構(gòu)造新特征組合，和原逡逑始特征一起作為ＦＦＭ的輸入，由此建立了邋ＸＧＢｏｏｓｔ＋ＦＦＭ，邋ＦＦＭ＋ＲＦ，ＦＦＭ＋ＸＧＢｏｏｓｔ的逡逑集成學(xué)習(xí)模型。主要的模型結(jié)構(gòu)如下圖１－１所示：逡逑４逡逑

圖３－１：邋Ｂａｇｇｉｎｇ學(xué)習(xí)流程示意圖逡逑述，給出Ｂａｇｇｉｎｇ的學(xué)習(xí)算法（以回歸問題為例）：逡逑ｉｔｈｍ邋３－３：邋Ｂａｇｇｉｎｇ算法（以回歸問題為例）逡逑訓(xùn)練集￡＞邋＝邋｛（力，％）私１，參數(shù)８，基學(xué)習(xí)算法逡逑基學(xué)習(xí)器的組合結(jié)果逡逑樣得到Ｂ個Ｂｏｏｔｓｔｒａｐ訓(xùn)練集丨Ｄ＾＝１逡逑ｒ邋ｂ邋＝邋１，２，邋．．．，Ｂ邋ｄｏ：逡逑用Ｂｏｏｓｔｒａｐ訓(xùn)練集Ｚ）ｂ得到基學(xué)習(xí)器（ｘ）逡逑ｄＦｏｒ逡逑合ｂ個學(xué)習(xí)器得到最終模型＝逡逑驗(yàn)證明Ｂａｇｇｉｎｇ通常比單學(xué)習(xí)器的效果會有很大提升，雖然效果通ｎｇ，但是Ｂａｇｇｉｎｇ中的各個基學(xué)習(xí)器可以獨(dú)立進(jìn)行，簡單適合并行計(jì)算，

邐Ｔ２（ｘ）逡逑（Ｓ邋八－ｅ２，邐—２＞）逡逑一＼邐＝逡逑＼（＝口：一咖」逡逑圖３－１：邋Ｂａｇｇｉｎｇ學(xué)習(xí)流程示意圖逡逑綜上所述，給出Ｂａｇｇｉｎｇ的學(xué)習(xí)算法（以回歸問題為例）：逡逑Ａｌｇｏｒｉｔｈｍ邋３－３：邋Ｂａｇｇｉｎｇ算法（以回歸問題為例）逡逑輸入：訓(xùn)練集￡＞邋＝邋｛（力，％）私１，參數(shù)８，基學(xué)習(xí)算法逡逑輸出：基學(xué)習(xí)器的組合結(jié)果逡逑１．

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐繼偉;楊云;;集成學(xué)習(xí)方法:研究綜述[J];云南大學(xué)學(xué)報(自然科學(xué)版);2018年06期

2 武玉英;嚴(yán)勇;蔣國瑞;;基于動態(tài)選擇性集成學(xué)習(xí)的供應(yīng)鏈產(chǎn)銷協(xié)商優(yōu)化策略[J];計(jì)算機(jī)工程;2017年05期

3 張滄生;崔麗娟;楊剛;倪志宏;;集成學(xué)習(xí)算法的比較研究[J];河北大學(xué)學(xué)報(自然科學(xué)版);2007年05期

4 郭福亮;周鋼;;集成學(xué)習(xí)中預(yù)測精度的影響因素分析[J];兵工自動化;2019年01期

5 米碩;孫瑞彬;李欣;明曉;;集成學(xué)習(xí)在文本分類問題中的應(yīng)用[J];中國新通信;2018年09期

6 李曄;劉勝利;張兆林;;基于漂移檢測和集成學(xué)習(xí)的木馬檢測模型[J];信息工程大學(xué)學(xué)報;2017年06期

7 徐桂云;陳躍;張曉光;劉云楷;;基于選擇性集成學(xué)習(xí)的焊接缺陷識別研究[J];中國礦業(yè)大學(xué)學(xué)報;2011年06期

8 張春霞;張講社;;選擇性集成學(xué)習(xí)算法綜述[J];計(jì)算機(jī)學(xué)報;2011年08期

9 饒峰;;核機(jī)器集成學(xué)習(xí)算法的誤差分析[J];重慶文理學(xué)院學(xué)報(自然科學(xué)版);2010年04期

10 史雙睿;;異質(zhì)集成學(xué)習(xí)器在鳶尾花卉分類中的應(yīng)用[J];電子制作;2019年02期

相關(guān)會議論文 前10條

1 關(guān)鵬洲;王夢毫;李倩;;基于集成學(xué)習(xí)和深度學(xué)習(xí)的短期降雨預(yù)測模型[A];2017年（第五屆）全國大學(xué)生統(tǒng)計(jì)建模大賽獲獎?wù)撐倪x[C];2017年

2 杜方鍵;楊宏暉;;K均值聚類優(yōu)化集成學(xué)習(xí)[A];2011'中國西部聲學(xué)學(xué)術(shù)交流會論文集[C];2011年

3 倪志偉;張琛;倪麗萍;;基于螢火蟲群優(yōu)化算法的選擇性集成霾天氣預(yù)報方法[A];中國系統(tǒng)工程學(xué)會第十八屆學(xué)術(shù)年會論文集——A12系統(tǒng)科學(xué)與系統(tǒng)工程理論在各個領(lǐng)域中的應(yīng)用研究[C];2014年

4 李燁;蔡云澤;許曉鳴;;基于支持向量機(jī)集成的故障診斷[A];第16屆中國過程控制學(xué)術(shù)年會暨第4屆全國故障診斷與安全性學(xué)術(shù)會議論文集[C];2005年

5 吳龍飛;孫浩;計(jì)科峰;;基于集成映射的半監(jiān)督圖像分類方法[A];第八屆全國信號和智能信息處理與應(yīng)用學(xué)術(shù)會議會刊[C];2014年

6 邱誠;倪子偉;陳珂;蘇旋;鄒權(quán);;基于聚類方法的基分類器選擇策略研究[A];第29屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

7 張紅梅;;基于粗糙集特征約簡的SVM集成入侵檢測模型[A];2009中國控制與決策會議論文集（3）[C];2009年

8 程麗麗;張健沛;楊靜;馬駿;;一種提高支持向量機(jī)集成差異性的學(xué)習(xí)方法[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（一）[C];2008年

9 劉錕;邢延;蔡延光;;一種針對交互式學(xué)習(xí)系統(tǒng)日志數(shù)據(jù)的輕型化挖掘方法[A];2011年中國智能自動化學(xué)術(shù)會議論文集（第一分冊）[C];2011年

10 劉伍穎;王挺;;一種多過濾器集成學(xué)習(xí)垃圾郵件過濾方法[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

相關(guān)重要報紙文章 前1條

1 本報記者 張曄;人腦比電腦更重要[N];科技日報;2008年

相關(guān)博士學(xué)位論文 前10條

1 李艷秋;基于集成學(xué)習(xí)的人臉識別研究[D];合肥工業(yè)大學(xué);2018年

2 趙鶴;面向高維大數(shù)據(jù)的子空間集成學(xué)習(xí)方法研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院);2017年

3 劉天羽;基于特征選擇技術(shù)的集成學(xué)習(xí)方法及其應(yīng)用研究[D];上海大學(xué);2007年

4 侯勇;特征提取與集成學(xué)習(xí)算法的研究及應(yīng)用[D];北京科技大學(xué);2015年

5 孫永宣;集成學(xué)習(xí)下的圖像分析關(guān)鍵問題研究[D];合肥工業(yè)大學(xué);2013年

6 尹華;面向高維和不平衡數(shù)據(jù)分類的集成學(xué)習(xí)研究[D];武漢大學(xué);2012年

7 阿里木·賽買提(Alim.Samat);基于集成學(xué)習(xí)的全極化SAR圖像分類研究[D];南京大學(xué);2015年

8 劉沖;模擬電路故障診斷AdaBoost集成學(xué)習(xí)方法研究[D];大連海事大學(xué);2011年

9 鈕冰;基于集成學(xué)習(xí)算法的若干生物信息學(xué)問題研究[D];上海大學(xué);2009年

10 程麗麗;支持向量機(jī)集成學(xué)習(xí)算法研究[D];哈爾濱工程大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 王雪萍;基于RF、XGBoost和FFM集成的CTR預(yù)估[D];浙江大學(xué);2018年

2 宋佳智;基于集成學(xué)習(xí)的膜蛋白金屬離子結(jié)合位點(diǎn)預(yù)測[D];東北師范大學(xué);2018年

3 趙振賀;基于集成學(xué)習(xí)思想的礦產(chǎn)資源預(yù)測模型研究[D];吉林大學(xué);2018年

4 趙帥;基于集成學(xué)習(xí)的高斯過程回歸軟測量建模方法研究[D];江南大學(xué);2018年

5 鄭旭曼;基于集成學(xué)習(xí)的O_3濃度逐小時預(yù)測模型研究[D];華東師范大學(xué);2018年

6 劉毅;基于集成學(xué)習(xí)算法的冠心病早期篩查方法研究[D];山東大學(xué);2018年

7 李鵬鵬;基于集成學(xué)習(xí)的文本分類方法研究[D];西安工業(yè)大學(xué);2018年

8 王軍;具有概念漂移的數(shù)據(jù)流分類研究[D];安徽工程大學(xué);2018年

9 王茹雪;基于集成學(xué)習(xí)的不平衡數(shù)據(jù)分類算法的研究[D];吉林大學(xué);2018年

10 劉文森;基于集成學(xué)習(xí)的短文本分類問題研究[D];國防科學(xué)技術(shù)大學(xué);2016年

本文編號：2788726