基于循環(huán)神經(jīng)網(wǎng)絡(luò)的廣告點(diǎn)擊率預(yù)估研究.pdf

1、隨著互聯(lián)網(wǎng)廣告十余年持續(xù)爆炸式的發(fā)展，計(jì)算廣告學(xué)也隨之應(yīng)運(yùn)而生。作為計(jì)算廣告流量變現(xiàn)的最重要方式之一，廣告點(diǎn)擊率預(yù)估不論從搜索廣告到程序化交易，還是移動(dòng)互聯(lián)網(wǎng)下的原生廣告，都扮演著關(guān)鍵的角色。廣告點(diǎn)擊率預(yù)估主要是基于海量用戶歷史數(shù)據(jù)，在復(fù)雜的定向規(guī)則下，借助大數(shù)據(jù)技術(shù)和機(jī)器學(xué)習(xí)模型，對(duì)候選廣告進(jìn)行排序預(yù)測(cè)，使得在特定的場(chǎng)景下，將合適的廣告展示給合適的受眾用戶。如何解決線性模型學(xué)習(xí)能力有限、充分挖掘廣告特征之間非線性關(guān)系的問(wèn)題，一直是相關(guān)

2、領(lǐng)域研究的重點(diǎn)。
　　在充分調(diào)研各種廣告點(diǎn)擊率預(yù)估問(wèn)題常用的機(jī)器學(xué)習(xí)模型的前提下，提出采用一種基于門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)(the Gated Recurrent Unit Neural Networks，GRU)模型應(yīng)用于廣告點(diǎn)擊率預(yù)估的問(wèn)題上。進(jìn)一步，通過(guò)優(yōu)化改進(jìn)門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的步長(zhǎng)控制方法，使得模型在更少的迭代輪次下，更好更快地到達(dá)最優(yōu)點(diǎn)，從而提高模型的預(yù)估能力。本文的主要工作和取得的成果具體如下:
　　(1)針對(duì)淺

3、層和深層模型作特征工程，包括實(shí)驗(yàn)數(shù)據(jù)的分析、預(yù)處理、特征選擇和特征設(shè)計(jì)等。采用一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)—門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)，將一般循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層替換成門單元結(jié)構(gòu)，利用門單元特殊的門控機(jī)制來(lái)控制梯度傳播，從而提升廣告數(shù)據(jù)特征的學(xué)習(xí)能力。
　　(2)在門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，設(shè)計(jì)了一種優(yōu)化步長(zhǎng)控制方法。先設(shè)置一個(gè)較大的步長(zhǎng)快速尋找全局近似最優(yōu)點(diǎn)，再利用較小的步長(zhǎng)通過(guò)指數(shù)迭代衰減找到局部最優(yōu)，在迭代速度和準(zhǔn)確性上提升模型的預(yù)