針對輕量化梯度促進機（LightGBM）等集成學(xué)習(xí)模型只對數(shù)據(jù)信息進行一次挖掘,無法自動地細化數(shù)據(jù)挖掘粒度或通過深入挖掘得到更多的數(shù)據(jù)中潛在內(nèi)部關(guān)聯(lián)信息的問題,提出了深度LightGBM集成學(xué)習(xí)模型,該模型由滑動窗口和加深兩部分組成。首先,通過滑動窗口使得集成學(xué)習(xí)模型能夠自動地細化數(shù)據(jù)挖掘粒度,從而更加深入地挖掘數(shù)據(jù)中潛在的內(nèi)部關(guān)聯(lián)信息,同時賦予模型一定的表示學(xué)習(xí)能力。然后,基于滑動窗口,用加深步驟進一步地提升模型的表示學(xué)習(xí)能力。最后,結(jié)合特征工程對數(shù)據(jù)集進行處理。在谷歌商店數(shù)據(jù)集上進行的實驗結(jié)果表明,所提深度集成學(xué)習(xí)模型相較原始集成學(xué)習(xí)模型的預(yù)測精度高出6.16個百分點。所提方法能夠自動地細化數(shù)據(jù)挖掘粒度,從而獲取更多數(shù)據(jù)集中的潛在信息,并且深度LightGBM集成學(xué)習(xí)模型與傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)相比是非神經(jīng)網(wǎng)絡(luò)的深度模型,參數(shù)更少,可解釋性更強。 

【文章來源】：計算機應(yīng)用. 2019,39(12)北大核心

【文章頁數(shù)】：6 頁

【部分圖文】：

客戶購買力分布

為了使得集成學(xué)習(xí)模型能夠自動地細化數(shù)據(jù)挖掘粒度并且在數(shù)據(jù)集上潛在地具有情境意識或結(jié)構(gòu)意識,本文提出將滑動窗口(對應(yīng)圖1中內(nèi)部和外圍虛線框)預(yù)測結(jié)果以及原始特征向量串聯(lián)作為新的特征向量,具體算法流程見算法4。并且,在進行訓(xùn)練的時候都采用K折交叉驗證方式進行訓(xùn)練,避免出現(xiàn)過擬合現(xiàn)象。算法4 滑動窗口產(chǎn)生新特征。

在該部分,本文首先將滑動窗口部分的輸出特征向量作為輸入。對于LightGBM/Catboost+滑動窗口模型進行加深的算法5,其算法流程為:首先,將輸入特征向量放入學(xué)習(xí)模型進行訓(xùn)練,同樣也將采用K折交叉驗證進行訓(xùn)練。其次,如若當(dāng)前所處深度等于1,則將學(xué)習(xí)模型的預(yù)測結(jié)果和輸入特征向量串聯(lián);如若當(dāng)前所處深度大于1,則將學(xué)習(xí)模型的預(yù)測結(jié)果覆蓋到輸入特征向量中存儲上一層預(yù)測結(jié)果的位置。圖2中每層輸出特征向量的第一個虛線框代表著每層學(xué)習(xí)模型的預(yù)測結(jié)果。最后,達到指定深度時,將學(xué)習(xí)模型的預(yù)測結(jié)果輸出。圖2所展示的是Depth=2時模型結(jié)構(gòu),通過控制Depth參數(shù)來調(diào)整模型的深度。深度的確定依據(jù)最終預(yù)測結(jié)果的精度,若層次過深、精度下降,則減少加深層次、調(diào)整深度以達到最優(yōu)精度輸出。


本文編號：3059996