本文關鍵詞：廣告點擊率預估的深層神經(jīng)網(wǎng)絡模型研究

  更多相關文章： 廣告點擊率 機器學習 非線性 深層神經(jīng)網(wǎng)絡 邏輯回歸

【摘要】：隨著現(xiàn)代科技的飛速發(fā)展,互聯(lián)網(wǎng)廣告投放也在全球普及。點擊率(Click-Through-Rate, CTR)預估是互聯(lián)網(wǎng)廣告投放的核心問題,通過使用機器學習方法,充分利用廣告系統(tǒng)日志中的數(shù)據(jù)進行預測,計算出用戶對候選廣告點擊概率的大小,從中選出被用戶點擊的概率較大的廣告展示給用戶。邏輯回歸模型是常用的機器學習方法之一,但是邏輯回歸是一個線性模型,不能學習到數(shù)據(jù)中的非線性特征信息,而且邏輯回歸模型參數(shù)較多,容易造成過擬合的問題,這給廣告點擊率預估問題帶來了困難。 本文在充分調(diào)研點擊率預估問題常用機器學習模型的前提下,將深層神經(jīng)網(wǎng)絡模型應用于廣告點擊率預告問題中,據(jù)我調(diào)研文獻之后所知學術界當前的研究還沒有涉及到這種方法。本文主要做了以下幾個工作： (1)對實驗數(shù)據(jù)進行了分析與處理,針對數(shù)值連續(xù)型特征進行離散化,針對類別型特征直接使用One-hot Encoding進行特征編碼。 (2)用Python編程實現(xiàn)邏輯回歸模型的代碼模塊,并使用該模型進行廣告點擊率預估問題的實驗,實驗結果作為基準與深層神經(jīng)網(wǎng)絡模型的結果對比。 (3)調(diào)研深層神經(jīng)網(wǎng)絡模型,用深層神經(jīng)網(wǎng)絡模型為廣告點擊率預估問題建模。針對神經(jīng)網(wǎng)絡模型進行特征設計,并分別選取了Sigmoid與Relu兩種激活函數(shù)進行實驗。本文實驗基于開源機器學習平臺Petuum中的深層神經(jīng)網(wǎng)絡模塊,使用的數(shù)據(jù)來自于廣告公司Cretio的實際數(shù)據(jù)。
【關鍵詞】：廣告點擊率 機器學習 非線性 深層神經(jīng)網(wǎng)絡 邏輯回歸
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP183
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-17
• 1.1 研究背景9-11
• 1.2 研究現(xiàn)狀11-13
• 1.3 研究內(nèi)容和意義13-15
• 1.3.1 研究內(nèi)容13-14
• 1.3.2 研究意義14-15
• 1.4 論文章節(jié)安排15-17
• 第二章 廣告點擊率預估問題及相關技術17-29
• 2.1 計算廣告學介紹17-20
• 2.1.1 展示廣告系統(tǒng)組成17-18
• 2.1.2 廣告競價機制與投放方式18-20
• 2.1.3 AUC 指標20
• 2.2 機器學習方法20-25
• 2.2.1 淺層機器學習模型20-24
• 2.2.2 深層神經(jīng)網(wǎng)絡模型24-25
• 2.3 梯度優(yōu)化算法25-27
• 2.3.1 基于一階梯度優(yōu)化算法25-26
• 2.3.2 基于二階梯度擬牛頓優(yōu)化算法26-27
• 2.4 Petuum計算平臺27-28
• 2.5 本章小結28-29
• 第三章 基于深層神經(jīng)網(wǎng)絡的點擊率預估模型29-43
• 3.1 廣告點擊率預估問題29-30
• 3.2 邏輯回歸淺層模型30-33
• 3.2.1 模型輸入及輸出30-32
• 3.2.2 目標函數(shù)及求解算法32-33
• 3.3 深層神經(jīng)網(wǎng)絡模型33-41
• 3.3.1 模型輸入及輸出33-34
• 3.3.2 目標函數(shù)及求解算法34-37
• 3.3.3 模型激活函數(shù)分析37-39
• 3.3.4 權值初始化39-41
• 3.4 本章小結41-43
• 第四章 點擊率預估實驗設計43-53
• 4.1 數(shù)據(jù)集及特征分析43-46
• 4.2 邏輯回歸實驗設計46-49
• 4.2.1 特征設計46-48
• 4.2.2 模型訓練48-49
• 4.3 深層神經(jīng)網(wǎng)絡實驗設計49-51
• 4.3.1 特征設計49-50
• 4.3.2 模型訓練50-51
• 4.4 本章小結51-53
• 第五章 實驗結果分析53-59
• 5.1 運行環(huán)境與開發(fā)語言53
• 5.2 評估指標53-54
• 5.3 實驗結果及分析54-58
• 5.3.1 邏輯回歸模型試驗結果54-55
• 5.3.2 深層神經(jīng)網(wǎng)絡實驗結果55-58
• 5.4 本章小結58-59
• 第六章 總結與展望59-61
• 6.1 文章總結59
• 6.2 工作展望59-61
• 6.2.1 樣本不均衡問題59-60
• 6.2.2 新廣告的問題60
• 6.2.3 激活函數(shù)選擇60-61
• 參考文獻61-65
• 致謝65-67
• 攻讀碩士學位期間主要的研究成果67

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 蔡坤琪;;基于相關鑒別分析和隨機森林的人臉識別方法[J];安徽電子信息職業(yè)技術學院學報;2012年01期

2 李飛;高小榕;高上凱;;基于隨機森林算法的高維腦電特征優(yōu)選[J];北京生物醫(yī)學工程;2007年04期

3 陳建新;西廣成;王偉;趙慧輝;陳靜;;數(shù)據(jù)挖掘分類算法在冠心病臨床應用的比較[J];北京生物醫(yī)學工程;2008年03期

4 熊文;王樅;;改進粒子群與支持向量機混合的特征變換[J];北京郵電大學學報;2009年06期

5 蔡金錠;鄢仁武;;基于小波分析與隨機森林算法的電力電子電路故障診斷[J];電力科學與技術學報;2011年02期

6 胥海威;何寬;;改進隨機決策樹群算法在監(jiān)督分類中的應用[J];地理與地理信息科學;2010年06期

7 張郴;張捷;;中國入境旅游需求預測的神經(jīng)網(wǎng)絡集成模型研究[J];地理科學;2011年10期

8 馬昕;郭靜;孫嘯;;蛋白質中RNA-結合殘基預測的隨機森林模型[J];東南大學學報(自然科學版);2012年01期

9 胡鋒;邢潔清;;一種基于小波變換與隨機森林的人臉識別方法[J];電腦知識與技術;2011年16期

10 葉圣永;王曉茹;劉志剛;錢清泉;;電力系統(tǒng)暫態(tài)穩(wěn)定評估組合模型的比較[J];電網(wǎng)技術;2008年23期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 賈少春;胡秀珍;;A Method of Predicting theβ-hairpin Motifs in Proteins[A];第四屆全國生物信息學與系統(tǒng)生物學學術大會論文集[C];2010年

2 李勝朋;王洪禮;馮劍豐;;基于不連續(xù)回歸樹的最大李雅譜諾夫指數(shù)計算方法[A];第九屆全國振動理論及應用學術會議論文集[C];2007年

3 謝程利;王金橋;盧漢清;;核森林及其在目標檢測中的應用[A];第六屆和諧人機環(huán)境聯(lián)合學術會議（HHME2010)、第19屆全國多媒體學術會議（NCMT2010）、第6屆全國人機交互學術會議（CHCI2010）、第5屆全國普適計算學術會議（PCC2010）論文集[C];2010年

4 張紅梅;;基于粗糙集特征約簡的SVM集成入侵檢測模型[A];2009中國控制與決策會議論文集（3）[C];2009年

5 曹東升;許青松;梁逸曾;陳憲;李洪東;;組合樹的集合體和后向消除策略去分類P-糖蛋白化合物[A];第十屆全國計算(機)化學學術會議論文摘要集[C];2009年

6 曹東升;許青松;梁逸曾;;Computer-Aided Prediction of Toxicity with Substructure Pattern and Random Forest[A];第十一屆全國計算（機）化學學術會議論文摘要集[C];2011年

7 李夢龍;;Systematically analyze and select key features to microRNA precursors identification based on random forests[A];第十一屆全國計算（機）化學學術會議論文摘要集[C];2011年

8 秦文麗;李益洲;李娟;余樂正;郭延芝;李夢龍;;基于蛋白質序列信息的信號肽上有害非同義單核苷酸多態(tài)性的預測[A];第十一屆全國計算（機）化學學術會議論文摘要集[C];2011年

9 馮飛翔;馮輔周;江鵬程;劉菁;劉建敏;;隨機森林和k-近鄰法在某型坦克變速箱狀態(tài)識別中的應用[A];第八屆全國轉子動力學學術討論會論文集[C];2008年

10 饒國強;馮輔周;江鵬程;靳瑩;范結緒;;模糊識別在變速箱狀態(tài)識別中的應用研究[A];2008年全國振動工程及應用學術會議暨第十一屆全國設備故障診斷學術會議論文集[C];2008年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 于化龍;基于DNA微陣列數(shù)據(jù)的癌癥分類技術研究[D];哈爾濱工程大學;2010年

2 李書艷;單點氨基酸多態(tài)性與疾病相關關系的預測及其機制研究[D];蘭州大學;2010年

3 姚志明;基于步態(tài)觸覺信息的身份識別研究[D];中國科學技術大學;2010年

4 杜方;復雜網(wǎng)絡系統(tǒng)間相似性識別及其應用[D];浙江大學;2010年

5 甘良志;核學習算法與集成方法研究[D];浙江大學;2010年

6 王樹云;基于Bayes方法和圖限制下正規(guī)化方法的變量選擇問題及其在基因組數(shù)據(jù)中的應用[D];山東大學;2010年

7 王中鋒;樹型貝葉斯網(wǎng)絡分類器鑒別式訓練研究[D];北京交通大學;2011年

8 田健;計算機輔助分子設計提高蛋白質熱穩(wěn)定性的研究[D];中國農(nóng)業(yè)科學院;2011年

9 戴俊程;基于全基因組關聯(lián)研究的中國女性乳腺癌風險預測模型研究[D];南京醫(yī)科大學;2011年

10 王清;集成學習中若干關鍵問題的研究[D];復旦大學;2011年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 馬冉冉;集成學習算法研究[D];山東科技大學;2010年

2 石國強;基于規(guī)則的組合分類器的研究[D];鄭州大學;2010年

3 陳松峰;利用PCA和AdaBoost建立基于貝葉斯的組合分類器[D];鄭州大學;2010年

4 李紅;數(shù)據(jù)挖掘中特征選擇與聚類算法研究[D];大連理工大學;2010年

5 李海燕;互信息特征選擇的研究及在代謝組學中的應用[D];大連理工大學;2010年

6 朱新榮;徑向基函數(shù)神經(jīng)網(wǎng)絡集成算法的研究及應用[D];大連理工大學;2010年

7 嚴康;基于支持向量機的特征選擇算法研究[D];大連理工大學;2010年

8 唐曉敏;基于霍夫變換及條件概率模型的多目標檢測[D];大連理工大學;2010年

9 王若飛;基于機器學習的蛋白質折疊預測算法研究[D];湘潭大學;2010年

10 楊向軍;Web spam檢測系統(tǒng)的設計和實現(xiàn)[D];華南理工大學;2010年

，

本文編號：902817