實時競價(Real-Time Bidding,RTB)是展示廣告(Display Advertising)的重要機(jī)制。RTB允許廣告主對每一個廣告展現(xiàn)進(jìn)行評估并出價,其核心是需求方平臺(Demand Side Platform,DSP)。DSP代表廣告主的利益,為有效實現(xiàn)展示廣告的自動優(yōu)化投放,滿足廣告投放收益最大化的需求,制定實時高效的競價策略是DSP最需要解決的問題。為實現(xiàn)這一目標(biāo),近年來,眾多相關(guān)研究工作將競價策略視為一個靜態(tài)優(yōu)化問題,即獨立處理每個廣告展現(xiàn)的價值,或者為不同的廣告流量設(shè)置不同的固定價格。但是,由于同一個廣告展現(xiàn)通常有數(shù)以千計甚至更多的競爭者參與競價,并且廣告主隨時可能更改投放計劃的設(shè)置,這導(dǎo)致競價環(huán)境高度動態(tài)且不可預(yù)測。因此,此類靜態(tài)策略在實際應(yīng)用中難以達(dá)到廣告主的目標(biāo)。為解決上述問題,本文提出一種基于深度增強(qiáng)學(xué)習(xí)的展示廣告實時競價模型(Deep Reinforcement Learning to Bid,DRLB),將競價決策過程視為強(qiáng)化學(xué)習(xí)問題。其中,狀態(tài)空間由競價信息和實時競價參數(shù)組成,智能體(Agent)的動作是對出價進(jìn)行設(shè)置。在該模型中,針對RTB環(huán)境下大規(guī)模數(shù)據(jù)量問題,本文采用深度Q網(wǎng)絡(luò)(Deep Q Network,DQN)對相關(guān)參數(shù)進(jìn)行求解。進(jìn)而,本文提出了一種新的獎勵函數(shù),解決了DQN中即時獎勵函數(shù)(Immediate Reward Function)在嚴(yán)格預(yù)算約束下難以求解模型最優(yōu)解的問題�？紤]到RTB環(huán)境下大規(guī)模數(shù)據(jù)量問題,本文并采用深度神經(jīng)網(wǎng)絡(luò)RewardNet對獎勵函數(shù)進(jìn)行擬合,以使模型能夠更高效地求解最優(yōu)策略。此外,本文針對DQN中“探索”和“利用”的平衡問題提出一種新?-greedy策略——自適應(yīng)?-greedy策略,該策略能根據(jù)Q值的分布自適應(yīng)地調(diào)整?值以更好地平衡“探索”和“利用”,使得模型更快地收斂到最優(yōu)解。本文基于iPinYou數(shù)據(jù)集對DRLB進(jìn)行不同的實驗,并與當(dāng)前主流的模型相對比。實驗結(jié)果表明,本文提出的模型在各個指標(biāo)上均優(yōu)于其他模型,同時驗證了提出的兩個創(chuàng)新點的有效性。
【學(xué)位單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：F713.8;TP18
【部分圖文】：

廣告的交易機(jī)制并不能適應(yīng)這種變化，因此采用傳統(tǒng)展示比較差。于是，基于實時競價（Real-TimeBidding，RTB）展示廣告自 2009 年出現(xiàn)之后就成為了互聯(lián)網(wǎng)廣告的熱門新上下文廣告中，廣告主需要為每個計劃的每條特定關(guān)鍵詞 允許廣告主在一個非常短的時間內(nèi)（一般少于 100ms）用都計算一個出價并參與到競價中[4]，這些出價都是基于廣如用戶 cookie 信息和上下文信息�；诖髷�(shù)據(jù)時代日趨成時競價能夠?qū)崟r獲取每個廣告展現(xiàn)目標(biāo)受眾的特征和興趣準(zhǔn)投放。這種投放模式可以最大幅度地匹配用戶的喜好，（Click Though Rate，CTR）和轉(zhuǎn)化率（Conversion Rate，益，也間接地提高了媒體的流量；對用戶而言，也極大地提良性的廣告投放產(chǎn)業(yè)鏈。

圖 2-1 RTB 展示廣告生態(tài)系統(tǒng)以上各個角色組成了整個 RTB 生態(tài)系統(tǒng)。在 2009 年 RTB 出現(xiàn)之前[7]，展示廣告市場主要由溢價合同和廣告網(wǎng)絡(luò)組成，其中溢價合同占所有廣告展現(xiàn)的 40%。在溢價合同的交易方式中，媒體直接與廣告主進(jìn)行談判和交易。廣告主往往在給定的廣告位置上購買一定數(shù)量的廣告展現(xiàn)，而不管用戶的類別、廣告展現(xiàn)的時間和次數(shù)，廣告展現(xiàn)的購買完全依賴于媒體的影響力[24,25]。另一方面，媒體則需要保證有足夠的展現(xiàn)量，否則將需

DSP 記錄了所有廣告展現(xiàn)的投放日志，因此廣告主可以通過更細(xì)粒度和更高頻率來優(yōu)化投放計劃；（3）DSP 的定制化能力更強(qiáng)，能夠更好地適應(yīng)廣告主的不同目標(biāo)，例如，廣告主通常會在投放計劃中設(shè)置廣告展現(xiàn)頻次上限。DSP 允許將頻次設(shè)置應(yīng)用于用戶組甚至還能應(yīng)用到單個用戶，以實現(xiàn)最佳效果。另一方面，SSP 為媒體提供了具備各種工具的集中管理控制臺，允許媒體對不同的目標(biāo)進(jìn)行優(yōu)化。例如，SSP 允許媒體為特定展位設(shè)置保留價格，甚至針對特定廣告主設(shè)置保留價格。SSP 還允許媒體對不同的競拍者設(shè)置偏好和過濾。2.1.2 實時競價原理本小節(jié)講述 RTB 的工作原理。整個 RTB 流程包括一開始用戶訪問網(wǎng)站，再到競價請求的生成和發(fā)送，到最終將競價勝出的廣告展示給用戶，一般是在 100 毫秒以內(nèi)完成的。具體的工作原理如下圖所示。
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;實時競價廣告(RTB,Real-Time bidding)市場規(guī)模將占美國展示廣告市場的13%[J];廣告大觀(理論版);2012年06期

2 Shailesh Rao;;展示廣告“重生”[J];成功營銷;2011年08期

3 韓國濤;;機(jī)場展示廣告的真實感和震撼力[J];聲屏世界·廣告人;2017年03期

4 姜茜;;網(wǎng)絡(luò)虛擬展示廣告的視覺設(shè)計研究[J];藝術(shù)與設(shè)計(理論);2010年03期

5 楊明;王彤;;淺析網(wǎng)絡(luò)虛擬展示廣告在傳統(tǒng)媒體中的視覺效應(yīng)[J];中國包裝;2017年11期

6 華筠;;技術(shù)創(chuàng)新,Google發(fā)力展示廣告[J];廣告大觀(綜合版);2010年10期

7 李小冰,魏滿濤;廣告英語常用的修辭格[J];鄭州經(jīng)濟(jì)管理干部學(xué)院學(xué)報;2003年04期

8 ;兩會地方“顏值”報告[J];領(lǐng)導(dǎo)決策信息;2016年11期

9 周再宇;;Google的展示廣告[J];新營銷;2012年05期

10 盧葉眉;;大數(shù)據(jù)黃金時代的社交廣告潛力[J];聲屏世界·廣告人;2015年12期

相關(guān)碩士學(xué)位論文 前10條

1 陳穎;基于深度強(qiáng)化學(xué)習(xí)的展示廣告實時競價策略[D];華南理工大學(xué);2019年

2 韋玲麗;基于USFD方法的展示廣告點擊率的預(yù)估[D];南京大學(xué);2019年

3 宮晨;展示廣告點擊率預(yù)估模型的設(shè)計與實現(xiàn)[D];東南大學(xué);2018年

4 徐田;展示廣告點擊率預(yù)估平臺的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2017年

5 張文澤;基于在線學(xué)習(xí)的展示廣告系統(tǒng)研究與設(shè)計[D];浙江大學(xué);2016年

6 姜茜;網(wǎng)絡(luò)虛擬展示廣告的視覺傳達(dá)設(shè)計[D];江南大學(xué);2008年

7 嚴(yán)嶺;展示廣告中點擊率預(yù)估問題研究[D];上海交通大學(xué);2015年

8 林小溪;在線展示廣告的最優(yōu)合約規(guī)模與定價策略研究[D];北京外國語大學(xué);2016年

9 李恒峰;在線分類廣告市場研究[D];清華大學(xué);2005年

10 欒倩楠;網(wǎng)絡(luò)視頻廣告的應(yīng)用價值研究[D];浙江傳媒學(xué)院;2015年

本文編號：2853806