梯度提升決策樹(shù)是一種以決策樹(shù)為弱學(xué)習(xí)器的集成學(xué)習(xí)方法,可以用于分類、回歸和排序任務(wù),得益于其易于訓(xùn)練、可解釋性高等優(yōu)點(diǎn),梯度提升決策樹(shù)被廣泛應(yīng)用于垃圾郵件檢測(cè)、廣告投放、銷售預(yù)測(cè)、醫(yī)療數(shù)據(jù)分析等各種數(shù)據(jù)分析任務(wù)。然后,在面對(duì)大規(guī)模數(shù)據(jù)集時(shí),梯度提升決策樹(shù)的訓(xùn)練和預(yù)測(cè)過(guò)程在時(shí)間和空間上的計(jì)算代價(jià)極高,模型的性能優(yōu)化仍然存在多個(gè)方面的挑戰(zhàn)。因此,本研究主要聚焦梯度提升決策樹(shù)方法在訓(xùn)練時(shí)間、內(nèi)存消耗以及增量式學(xué)習(xí)方面的性能優(yōu)化研究。主要研究工作概述如下:（1）針對(duì)梯度提升決策樹(shù)方法在面向大規(guī)模數(shù)據(jù)訓(xùn)練時(shí)存在內(nèi)存消耗大和訓(xùn)練時(shí)間長(zhǎng)等問(wèn)題,開(kāi)展了基于多GPU的梯度提升決策樹(shù)性能優(yōu)化研究,對(duì)梯度計(jì)算、分裂點(diǎn)增益值計(jì)算、最佳分裂點(diǎn)尋找、決策樹(shù)更新、模型預(yù)測(cè)等訓(xùn)練過(guò)程在GPU上進(jìn)行了優(yōu)化,并基于此實(shí)現(xiàn)了基于多GPU的梯度提升決策樹(shù)優(yōu)化系統(tǒng)。（2）針對(duì)梯度提升決策樹(shù)方法容易產(chǎn)生不規(guī)則內(nèi)存訪問(wèn)和不支持增量式學(xué)習(xí)的不足,提出一種可增量式學(xué)習(xí)的梯度提升決策樹(shù)模型框架,允許用戶預(yù)先設(shè)計(jì)和選擇合適的樹(shù)形結(jié)構(gòu),將領(lǐng)域知識(shí)集成到模型中,使其支持并行化訓(xùn)練和支持可增量式學(xué)習(xí)。（3）在公開(kāi)數(shù)據(jù)集上設(shè)計(jì)和開(kāi)展了多個(gè)實(shí)驗(yàn)對(duì)所... 

【文章來(lái)源】：廣東外語(yǔ)外貿(mào)大學(xué)廣東省

【文章頁(yè)數(shù)】：68 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

尋找GBDT的最佳分裂點(diǎn)示例

11成。圖2-2真實(shí)GPU結(jié)構(gòu)圖一個(gè)GPU內(nèi)會(huì)含有多個(gè)核，這些核被稱為SM（StreamMultiprocessor），SM內(nèi)包含多個(gè)負(fù)責(zé)完成指令和任務(wù)的SP（StreamProcessor）及其他一些GPU資源，如共享內(nèi)存、寄存器等，SM中包含的SP個(gè)數(shù)是與GPU架構(gòu)有關(guān)的，例如NvidiaGeForce中是32個(gè)，GeForce10x是48個(gè)，SP的個(gè)數(shù)從一定層度上反映了GPU的運(yùn)算能力。一般使用CUDA（ComputeUnifiedDeviceArchitecture）來(lái)實(shí)現(xiàn)GPU編程，圖2-3顯示了CUDA中GPU編程概念架構(gòu)，其中Device端表示GPU上的計(jì)算資源，而Host端則表示主存、CPU等非GPU計(jì)算資源。在圖2-3中，Thead表示GPU內(nèi)的一個(gè)線程，多個(gè)GPU線程則組成了一個(gè)Block，而多個(gè)Block則組成了一個(gè)Grid，CUDA將一個(gè)GPU內(nèi)的線程進(jìn)行了這3層劃分，但在同一時(shí)間戳內(nèi)，一個(gè)SM只能執(zhí)行在一個(gè)Block內(nèi)的指令。雖然GPU的計(jì)算效率極高，但是，相比于計(jì)算機(jī)的主存，GPU的內(nèi)存一般較小，例如，在TitanX上有12G內(nèi)存，這一特性是GPU稱為稀缺計(jì)算資源的重要原因之一。另一方面，設(shè)計(jì)和實(shí)現(xiàn)基于GPU的高性能計(jì)算程序的過(guò)程中，影響程序效率的一個(gè)主要因素GPU全局內(nèi)存的訪問(wèn)，這個(gè)操作的代價(jià)會(huì)比在GPU上進(jìn)行計(jì)算的代價(jià)要大的多，因此，需要盡量避免訪問(wèn)GPU的全局內(nèi)存。CPU和GPU之間的連接是通過(guò)PCI-e來(lái)達(dá)成的，CPU和GPU之間數(shù)據(jù)的交換也是高性能計(jì)算程序的瓶頸之一�？偟脕�(lái)說(shuō)，要設(shè)計(jì)基于GPU的高效GBDT系統(tǒng)，就需要讓系統(tǒng)提高GPU內(nèi)存的利用效率，同時(shí)減少系統(tǒng)在CPU和GPU之間的內(nèi)存交換。

12圖2-3CUDA編程概念架構(gòu)圖2.4本章小結(jié)本章主要對(duì)與本文研究相關(guān)的背景知識(shí)進(jìn)行了梳理。首先，本章介紹了梯度提升決策樹(shù)的相關(guān)概念與理論知識(shí)，包括如何用提升方法來(lái)訓(xùn)練GBDT，隨后本章比較了數(shù)據(jù)的稠密和稀疏存儲(chǔ)方法的各自優(yōu)勢(shì)與不足，最后，介紹GPU架構(gòu)的相關(guān)背景知識(shí)。


本文編號(hào)：3118028