針對(duì)輕量化梯度促進(jìn)機(jī)（LightGBM）等集成學(xué)習(xí)模型只對(duì)數(shù)據(jù)信息進(jìn)行一次挖掘,無(wú)法自動(dòng)地細(xì)化數(shù)據(jù)挖掘粒度或通過(guò)深入挖掘得到更多的數(shù)據(jù)中潛在內(nèi)部關(guān)聯(lián)信息的問(wèn)題,提出了深度LightGBM集成學(xué)習(xí)模型,該模型由滑動(dòng)窗口和加深兩部分組成。首先,通過(guò)滑動(dòng)窗口使得集成學(xué)習(xí)模型能夠自動(dòng)地細(xì)化數(shù)據(jù)挖掘粒度,從而更加深入地挖掘數(shù)據(jù)中潛在的內(nèi)部關(guān)聯(lián)信息,同時(shí)賦予模型一定的表示學(xué)習(xí)能力。然后,基于滑動(dòng)窗口,用加深步驟進(jìn)一步地提升模型的表示學(xué)習(xí)能力。最后,結(jié)合特征工程對(duì)數(shù)據(jù)集進(jìn)行處理。在谷歌商店數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)結(jié)果表明,所提深度集成學(xué)習(xí)模型相較原始集成學(xué)習(xí)模型的預(yù)測(cè)精度高出6.16個(gè)百分點(diǎn)。所提方法能夠自動(dòng)地細(xì)化數(shù)據(jù)挖掘粒度,從而獲取更多數(shù)據(jù)集中的潛在信息,并且深度LightGBM集成學(xué)習(xí)模型與傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)相比是非神經(jīng)網(wǎng)絡(luò)的深度模型,參數(shù)更少,可解釋性更強(qiáng)。 

【文章來(lái)源】：計(jì)算機(jī)應(yīng)用. 2019,39(12)北大核心

【文章頁(yè)數(shù)】：6 頁(yè)

【部分圖文】：

客戶購(gòu)買力分布

為了使得集成學(xué)習(xí)模型能夠自動(dòng)地細(xì)化數(shù)據(jù)挖掘粒度并且在數(shù)據(jù)集上潛在地具有情境意識(shí)或結(jié)構(gòu)意識(shí),本文提出將滑動(dòng)窗口(對(duì)應(yīng)圖1中內(nèi)部和外圍虛線框)預(yù)測(cè)結(jié)果以及原始特征向量串聯(lián)作為新的特征向量,具體算法流程見(jiàn)算法4。并且,在進(jìn)行訓(xùn)練的時(shí)候都采用K折交叉驗(yàn)證方式進(jìn)行訓(xùn)練,避免出現(xiàn)過(guò)擬合現(xiàn)象。算法4 滑動(dòng)窗口產(chǎn)生新特征。

在該部分,本文首先將滑動(dòng)窗口部分的輸出特征向量作為輸入。對(duì)于LightGBM/Catboost+滑動(dòng)窗口模型進(jìn)行加深的算法5,其算法流程為:首先,將輸入特征向量放入學(xué)習(xí)模型進(jìn)行訓(xùn)練,同樣也將采用K折交叉驗(yàn)證進(jìn)行訓(xùn)練。其次,如若當(dāng)前所處深度等于1,則將學(xué)習(xí)模型的預(yù)測(cè)結(jié)果和輸入特征向量串聯(lián);如若當(dāng)前所處深度大于1,則將學(xué)習(xí)模型的預(yù)測(cè)結(jié)果覆蓋到輸入特征向量中存儲(chǔ)上一層預(yù)測(cè)結(jié)果的位置。圖2中每層輸出特征向量的第一個(gè)虛線框代表著每層學(xué)習(xí)模型的預(yù)測(cè)結(jié)果。最后,達(dá)到指定深度時(shí),將學(xué)習(xí)模型的預(yù)測(cè)結(jié)果輸出。圖2所展示的是Depth=2時(shí)模型結(jié)構(gòu),通過(guò)控制Depth參數(shù)來(lái)調(diào)整模型的深度。深度的確定依據(jù)最終預(yù)測(cè)結(jié)果的精度,若層次過(guò)深、精度下降,則減少加深層次、調(diào)整深度以達(dá)到最優(yōu)精度輸出。


本文編號(hào)：3059996