互聯(lián)網(wǎng)廣告已經(jīng)成為了互聯(lián)網(wǎng)公司的主要收入來(lái)源,而其中廣告點(diǎn)擊率的預(yù)估是最重要的工作,提高廣告點(diǎn)擊率的準(zhǔn)確率能直接為公司帶來(lái)收入。廣告日志數(shù)據(jù)和圖像或者音頻的連續(xù)特征不同,廣告數(shù)據(jù)是離散的,高維的,他們之間的依賴性很小。目前像百度、谷歌等公司主流的方法是線性模型加大量的人工特征,而這種方法越來(lái)越難以為繼,因?yàn)榇罅康氖止ぬ卣餍枰馁M(fèi)大量的人力,而收益提升不大,原因是這些特征線性模型不能學(xué)到特征之間的非線性關(guān)系。采用常規(guī)的深度學(xué)習(xí)模型,由于輸入的特征的超大空間導(dǎo)致大量的計(jì)算,導(dǎo)致深度學(xué)習(xí)網(wǎng)絡(luò)無(wú)法收斂。為了解決上述的問(wèn)題,本文提出了一種新的深度學(xué)習(xí)模型,能夠處理大量稀疏數(shù)據(jù),并能夠有效地學(xué)習(xí)到數(shù)據(jù)中的非線性特征,大規(guī)模實(shí)驗(yàn)和真實(shí)的數(shù)據(jù)表明本文提出的模型能夠顯著提高準(zhǔn)確率和召回率。本文的研究工作集中在以下四個(gè)方面:第一:改進(jìn)數(shù)據(jù)嵌入算法,針對(duì)真實(shí)數(shù)據(jù)ID類數(shù)據(jù)特別多的特點(diǎn),研究改進(jìn)嵌入算法,使得原始數(shù)據(jù)在經(jīng)過(guò)嵌入算法后不會(huì)出現(xiàn)損失,并且降低輸入向量的維度,使得深度學(xué)習(xí)可以處理。第二:改進(jìn)深度學(xué)習(xí)模型BFNN（Boosting tree Factorization-machine supporte... 

【文章來(lái)源】：北京工業(yè)大學(xué)北京市 211工程院校

【文章頁(yè)數(shù)】：82 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究的背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 國(guó)內(nèi)研究現(xiàn)狀
        1.2.2 國(guó)外研究現(xiàn)狀
    1.3 本文的主要研究?jī)?nèi)容
    1.4 本文的章節(jié)安排
第2章 廣告點(diǎn)擊率預(yù)估關(guān)鍵技術(shù)
    2.1 引言
    2.2 對(duì)廣告點(diǎn)擊率建立數(shù)學(xué)模型
    2.3 機(jī)器學(xué)習(xí)相關(guān)知識(shí)
        2.3.1 邏輯回歸算法
        2.3.2 提升樹(shù)算法
    2.4 因式分解機(jī)
    2.5 深度神經(jīng)網(wǎng)絡(luò)
    2.6 過(guò)擬合和正則化
        2.6.1 L2范數(shù)
        2.6.2 Dropout
    2.7 激活函數(shù)
        2.7.1 Sigmoid函數(shù)
        2.7.2 線性整流函數(shù)
    2.8 評(píng)價(jià)方法
        2.8.1 AUC
        2.8.2 logloss
    2.9 數(shù)據(jù)標(biāo)準(zhǔn)化
    2.10 本章小結(jié)
第3章 嵌入算法研究
    3.1 引言
    3.2 數(shù)值型數(shù)據(jù)的嵌入算法
    3.3 類別型數(shù)據(jù)嵌入算法
        3.3.1 改進(jìn)模型的優(yōu)化算法
        3.3.2 算法復(fù)雜度分析
    3.4 嵌入層算法的實(shí)現(xiàn)
    3.5 本章小結(jié)
第4章 改進(jìn)深度學(xué)習(xí)算法
    4.1 引言
    4.2 改進(jìn)反向傳播算法
    4.3 改進(jìn)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
    4.4 改進(jìn)深度神經(jīng)網(wǎng)絡(luò)激活函數(shù)
    4.5 改進(jìn)深度學(xué)習(xí)正則化方法
    4.6 基于BFNN的廣告點(diǎn)擊率預(yù)測(cè)
    4.7 本章小結(jié)
第5章 實(shí)驗(yàn)設(shè)計(jì)和特征工程
    5.1 引言
    5.2 數(shù)據(jù)來(lái)源和數(shù)據(jù)分析
    5.3 淺層模型的特征工程
        5.3.1 數(shù)據(jù)清洗
        5.3.2 編碼及歸一化
    5.4 深度學(xué)習(xí)的特征工程
        5.4.1 處理數(shù)值型數(shù)據(jù)
        5.4.2 處理類別型數(shù)據(jù)
        5.4.3 處理One-hot類型數(shù)據(jù)
    5.5 邏輯回歸模型的實(shí)驗(yàn)設(shè)計(jì)
    5.6 基于BFNN的實(shí)驗(yàn)設(shè)計(jì)
    5.7 驗(yàn)證BFNN模型有效性實(shí)驗(yàn)設(shè)計(jì)
    5.8 本章小結(jié)
第6章 實(shí)驗(yàn)結(jié)果分析
    6.1 引言
    6.2 實(shí)驗(yàn)環(huán)境
    6.3 淺層模型和深度學(xué)習(xí)實(shí)驗(yàn)對(duì)比
        6.3.1 參數(shù)設(shè)置
        6.3.2 實(shí)驗(yàn)結(jié)果對(duì)比
        6.3.3 試驗(yàn)結(jié)論
    6.4 BFNN和其他深度學(xué)習(xí)模型對(duì)比
        6.4.1 用于CTR的深度學(xué)習(xí)模型
        6.4.2 實(shí)驗(yàn)結(jié)果
        6.4.3 實(shí)驗(yàn)結(jié)論
    6.5 BFNN模型有效性實(shí)驗(yàn)分析
        6.5.1 激活函數(shù)的影響研究
        6.5.2 對(duì)于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的對(duì)比試驗(yàn)
        6.5.3 正則化方法分析
        6.5.4 dropout敏感性分析
    6.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的研究成果
致謝


【參考文獻(xiàn)】：
期刊論文
[1]面向自然語(yǔ)言處理的深度學(xué)習(xí)研究[J]. 奚雪峰,周國(guó)棟.  自動(dòng)化學(xué)報(bào). 2016(10)
[2]用于微博情感分析的一種情感語(yǔ)義增強(qiáng)的深度學(xué)習(xí)模型[J]. 何炎祥,孫松濤,牛菲菲,李飛.  計(jì)算機(jī)學(xué)報(bào). 2017(04)
[3]大數(shù)據(jù)分析的無(wú)限深度神經(jīng)網(wǎng)絡(luò)方法[J]. 張蕾,章毅.  計(jì)算機(jī)研究與發(fā)展. 2016(01)
[4]基于特征學(xué)習(xí)的廣告點(diǎn)擊率預(yù)估技術(shù)研究[J]. 張志強(qiáng),周永,謝曉芹,潘海為.  計(jì)算機(jī)學(xué)報(bào). 2016(04)
[5]基于卷積神經(jīng)網(wǎng)絡(luò)的搜索廣告點(diǎn)擊率預(yù)測(cè)[J]. 李思琴,林磊,孫承杰.  智能計(jì)算機(jī)與應(yīng)用. 2015(05)
[6]基于LDA的互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)測(cè)研究[J]. 朱志北,李斌,劉學(xué)軍,胡平.  計(jì)算機(jī)應(yīng)用研究. 2016(04)
[7]基于稀疏特征的交通流視頻檢測(cè)算法[J]. 張鵬,黃毅,阮雅端,陳啟美.  南京大學(xué)學(xué)報(bào)(自然科學(xué)). 2015(02)
[8]基于深度自編碼網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測(cè)[J]. 徐培,蔡小路,何文偉,謝易道.  計(jì)算機(jī)應(yīng)用. 2014(10)
[9]深度學(xué)習(xí)的昨天、今天和明天[J]. 余凱,賈磊,陳雨強(qiáng),徐偉.  計(jì)算機(jī)研究與發(fā)展. 2013(09)

碩士論文
[1]基于深度學(xué)習(xí)的CTR預(yù)測(cè)研究[D]. 寇茜茜.重慶工商大學(xué) 2017
[2]基于遞歸神經(jīng)網(wǎng)絡(luò)的廣告點(diǎn)擊率預(yù)估[D]. 余仕敏.浙江理工大學(xué) 2016



本文編號(hào)：3161569