互聯(lián)網(wǎng)廣告已經(jīng)成為了互聯(lián)網(wǎng)公司的主要收入來源,而其中廣告點擊率的預(yù)估是最重要的工作,提高廣告點擊率的準確率能直接為公司帶來收入。廣告日志數(shù)據(jù)和圖像或者音頻的連續(xù)特征不同,廣告數(shù)據(jù)是離散的,高維的,他們之間的依賴性很小。目前像百度、谷歌等公司主流的方法是線性模型加大量的人工特征,而這種方法越來越難以為繼,因為大量的手工特征需要耗費大量的人力,而收益提升不大,原因是這些特征線性模型不能學(xué)到特征之間的非線性關(guān)系。采用常規(guī)的深度學(xué)習(xí)模型,由于輸入的特征的超大空間導(dǎo)致大量的計算,導(dǎo)致深度學(xué)習(xí)網(wǎng)絡(luò)無法收斂。為了解決上述的問題,本文提出了一種新的深度學(xué)習(xí)模型,能夠處理大量稀疏數(shù)據(jù),并能夠有效地學(xué)習(xí)到數(shù)據(jù)中的非線性特征,大規(guī)模實驗和真實的數(shù)據(jù)表明本文提出的模型能夠顯著提高準確率和召回率。本文的研究工作集中在以下四個方面:第一:改進數(shù)據(jù)嵌入算法,針對真實數(shù)據(jù)ID類數(shù)據(jù)特別多的特點,研究改進嵌入算法,使得原始數(shù)據(jù)在經(jīng)過嵌入算法后不會出現(xiàn)損失,并且降低輸入向量的維度,使得深度學(xué)習(xí)可以處理。第二:改進深度學(xué)習(xí)模型BFNN（Boosting tree Factorization-machine supporte... 

【文章來源】：北京工業(yè)大學(xué)北京市 211工程院校

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究的背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 國內(nèi)研究現(xiàn)狀
        1.2.2 國外研究現(xiàn)狀
    1.3 本文的主要研究內(nèi)容
    1.4 本文的章節(jié)安排
第2章 廣告點擊率預(yù)估關(guān)鍵技術(shù)
    2.1 引言
    2.2 對廣告點擊率建立數(shù)學(xué)模型
    2.3 機器學(xué)習(xí)相關(guān)知識
        2.3.1 邏輯回歸算法
        2.3.2 提升樹算法
    2.4 因式分解機
    2.5 深度神經(jīng)網(wǎng)絡(luò)
    2.6 過擬合和正則化
        2.6.1 L2范數(shù)
        2.6.2 Dropout
    2.7 激活函數(shù)
        2.7.1 Sigmoid函數(shù)
        2.7.2 線性整流函數(shù)
    2.8 評價方法
        2.8.1 AUC
        2.8.2 logloss
    2.9 數(shù)據(jù)標準化
    2.10 本章小結(jié)
第3章 嵌入算法研究
    3.1 引言
    3.2 數(shù)值型數(shù)據(jù)的嵌入算法
    3.3 類別型數(shù)據(jù)嵌入算法
        3.3.1 改進模型的優(yōu)化算法
        3.3.2 算法復(fù)雜度分析
    3.4 嵌入層算法的實現(xiàn)
    3.5 本章小結(jié)
第4章 改進深度學(xué)習(xí)算法
    4.1 引言
    4.2 改進反向傳播算法
    4.3 改進深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
    4.4 改進深度神經(jīng)網(wǎng)絡(luò)激活函數(shù)
    4.5 改進深度學(xué)習(xí)正則化方法
    4.6 基于BFNN的廣告點擊率預(yù)測
    4.7 本章小結(jié)
第5章 實驗設(shè)計和特征工程
    5.1 引言
    5.2 數(shù)據(jù)來源和數(shù)據(jù)分析
    5.3 淺層模型的特征工程
        5.3.1 數(shù)據(jù)清洗
        5.3.2 編碼及歸一化
    5.4 深度學(xué)習(xí)的特征工程
        5.4.1 處理數(shù)值型數(shù)據(jù)
        5.4.2 處理類別型數(shù)據(jù)
        5.4.3 處理One-hot類型數(shù)據(jù)
    5.5 邏輯回歸模型的實驗設(shè)計
    5.6 基于BFNN的實驗設(shè)計
    5.7 驗證BFNN模型有效性實驗設(shè)計
    5.8 本章小結(jié)
第6章 實驗結(jié)果分析
    6.1 引言
    6.2 實驗環(huán)境
    6.3 淺層模型和深度學(xué)習(xí)實驗對比
        6.3.1 參數(shù)設(shè)置
        6.3.2 實驗結(jié)果對比
        6.3.3 試驗結(jié)論
    6.4 BFNN和其他深度學(xué)習(xí)模型對比
        6.4.1 用于CTR的深度學(xué)習(xí)模型
        6.4.2 實驗結(jié)果
        6.4.3 實驗結(jié)論
    6.5 BFNN模型有效性實驗分析
        6.5.1 激活函數(shù)的影響研究
        6.5.2 對于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的對比試驗
        6.5.3 正則化方法分析
        6.5.4 dropout敏感性分析
    6.6 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學(xué)位期間取得的研究成果
致謝


【參考文獻】：
期刊論文
[1]面向自然語言處理的深度學(xué)習(xí)研究[J]. 奚雪峰,周國棟.  自動化學(xué)報. 2016(10)
[2]用于微博情感分析的一種情感語義增強的深度學(xué)習(xí)模型[J]. 何炎祥,孫松濤,牛菲菲,李飛.  計算機學(xué)報. 2017(04)
[3]大數(shù)據(jù)分析的無限深度神經(jīng)網(wǎng)絡(luò)方法[J]. 張蕾,章毅.  計算機研究與發(fā)展. 2016(01)
[4]基于特征學(xué)習(xí)的廣告點擊率預(yù)估技術(shù)研究[J]. 張志強,周永,謝曉芹,潘海為.  計算機學(xué)報. 2016(04)
[5]基于卷積神經(jīng)網(wǎng)絡(luò)的搜索廣告點擊率預(yù)測[J]. 李思琴,林磊,孫承杰.  智能計算機與應(yīng)用. 2015(05)
[6]基于LDA的互聯(lián)網(wǎng)廣告點擊率預(yù)測研究[J]. 朱志北,李斌,劉學(xué)軍,胡平.  計算機應(yīng)用研究. 2016(04)
[7]基于稀疏特征的交通流視頻檢測算法[J]. 張鵬,黃毅,阮雅端,陳啟美.  南京大學(xué)學(xué)報(自然科學(xué)). 2015(02)
[8]基于深度自編碼網(wǎng)絡(luò)的運動目標檢測[J]. 徐培,蔡小路,何文偉,謝易道.  計算機應(yīng)用. 2014(10)
[9]深度學(xué)習(xí)的昨天、今天和明天[J]. 余凱,賈磊,陳雨強,徐偉.  計算機研究與發(fā)展. 2013(09)

碩士論文
[1]基于深度學(xué)習(xí)的CTR預(yù)測研究[D]. 寇茜茜.重慶工商大學(xué) 2017
[2]基于遞歸神經(jīng)網(wǎng)絡(luò)的廣告點擊率預(yù)估[D]. 余仕敏.浙江理工大學(xué) 2016



本文編號：3161569