發(fā)布時(shí)間：2021-01-14 05:35

　　隨著互聯(lián)網(wǎng)金融行業(yè)的崛起,中國(guó)居民的信用消費(fèi)快速發(fā)展,個(gè)人信貸總額逐年增長(zhǎng),截至到2019年末,個(gè)人信貸的不良貸款余額高達(dá)2.41萬(wàn)億元,為了保證經(jīng)濟(jì)健康發(fā)展,及時(shí)降低信貸風(fēng)險(xiǎn),做好個(gè)人信用評(píng)估尤為關(guān)鍵。在實(shí)際應(yīng)用中不斷提高評(píng)估模型準(zhǔn)確率是個(gè)人信用評(píng)估的主要研究方向。忽視了數(shù)據(jù)特征重要程度的差異性會(huì)在一定程度上會(huì)降低模型的準(zhǔn)確性;此外,還需要兼顧模型的可解釋性,使資金方和客戶能夠理解信貸決策規(guī)則。深度神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確性高,但是受限于模型的可解釋性,在個(gè)人信用評(píng)估領(lǐng)域的實(shí)際應(yīng)用中寥若晨星。深度森林算法的準(zhǔn)確性和深度神經(jīng)網(wǎng)絡(luò)不分軒輊,并且可解釋性更佳,多模型組合方法可以使模型之間優(yōu)勢(shì)互補(bǔ)。因此本文以多模型組合方法為基礎(chǔ),選擇具有代表性的深度森林、LightGBM、和SVM模型進(jìn)行組合,構(gòu)建個(gè)人信用評(píng)估模型,本文的主要工作如下:（1）改進(jìn)分類算法。在特征提取時(shí)按特征的重要程度進(jìn)行分區(qū),再按比例依次從不同的分區(qū)提取特征構(gòu)造特征子空間。在深度森林中為決策樹(shù)分配權(quán)重,提出改進(jìn)的深度森林算法,提高分類準(zhǔn)確率。（2）驗(yàn)證多模型組合方法。首先,考慮到模型數(shù)量增加,參數(shù)也隨之增加,提出一種改進(jìn)的網(wǎng)格搜索... 

【文章來(lái)源】：河北大學(xué)河北省

【文章頁(yè)數(shù)】：79 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

第三章相關(guān)算法理論25圖3-2多粒度掃描過(guò)程設(shè)輸入序列形樣本（因本文信用數(shù)據(jù)不是圖像數(shù)據(jù)，故此處不介紹圖片形式樣本掃描方法）維度為d，滑動(dòng)掃描步長(zhǎng)為s，掃描窗口維度為k，則掃描后的特征數(shù)量為：（3.15）正是此處與卷積神經(jīng)網(wǎng)絡(luò)的多粒度卷積核類似，式中掃描窗口維度k可以設(shè)定不同取值以獲得更多子類樣本，實(shí)現(xiàn)多粒度掃描。級(jí)聯(lián)林結(jié)構(gòu)基礎(chǔ)的重要思想之一是每個(gè)輸入示例的每棵樹(shù)生成的類分布。通過(guò)計(jì)算相關(guān)示例所屬的葉節(jié)點(diǎn)上不同類別示例的百分比來(lái)計(jì)算分布。它通過(guò)平均同一森林中所有樹(shù)的類分布平均來(lái)產(chǎn)生類向量。然后將類別向量與原始向量連接起來(lái)，以輸入到級(jí)聯(lián)的下一個(gè)級(jí)別。RF分類的結(jié)果是使用類別向量，是一種集成學(xué)習(xí)方法[45]。集成學(xué)習(xí)算法使用原始訓(xùn)練數(shù)據(jù)集訓(xùn)練第一級(jí)學(xué)習(xí)器。然后它會(huì)生成一個(gè)用于訓(xùn)練第二級(jí)學(xué)習(xí)器（元學(xué)習(xí)器）的新數(shù)據(jù)集，以使第一級(jí)學(xué)習(xí)器的輸出被視為第二級(jí)學(xué)習(xí)器的輸入特征，而原始標(biāo)簽仍被視為新訓(xùn)練數(shù)據(jù)的標(biāo)簽。實(shí)際上，可以將深度森林中的類向量視為元學(xué)習(xí)器。與集成算法相比，DF在下一級(jí)級(jí)聯(lián)時(shí)將原始向量和類向量（元學(xué)習(xí)器）連接起來(lái)同時(shí)使用。這意味著每個(gè)級(jí)聯(lián)級(jí)別后，特征向量都會(huì)放大。Zhou和Feng[44]提出的級(jí)聯(lián)架構(gòu)如圖3-3所示。從圖中可以看出，級(jí)聯(lián)的每個(gè)級(jí)層都由兩對(duì)不同的RF組成，RF與原始輸入產(chǎn)生相互連接的三維類向量。應(yīng)該注意的是，可以對(duì)森林的這種結(jié)構(gòu)進(jìn)行修改，以針對(duì)特定應(yīng)用改進(jìn)DF。在最后一級(jí)之后，我們獲得了輸入特征向量的特征表示，可以對(duì)其進(jìn)行分類以獲得最終預(yù)測(cè)。

河北大學(xué)碩士學(xué)位論文26圖3-3深度森林級(jí)聯(lián)結(jié)構(gòu)3.2LightGBM模型LightGBM（LightGradientBoostingMachine）是微軟亞洲研究院2017年1月在GitHub上公布的一個(gè)開(kāi)源、快速、高效的基于決策樹(shù)算法的提升（GBDT、GBRT、GBM和MART）框架[46]。在各種應(yīng)用場(chǎng)景和各大競(jìng)賽中，XGBoost已經(jīng)被證明是一種非常高效熱門(mén)的分類算法，但LightGBM是一種更加準(zhǔn)確高效的新算法，它在保證準(zhǔn)確率的前提下，內(nèi)存占用下降了大約3倍，速度比XGBoost提升了近10倍。通過(guò)在組合模型中引進(jìn)這種快速準(zhǔn)確高效的算法以期獲得更好的個(gè)人信用評(píng)估模型。LightGBM是基于Histogram的決策樹(shù)算法，采用最優(yōu)的按葉子分裂的學(xué)習(xí)方法（Leaf-wiseLearning），然而其它的提升算法分裂樹(shù)通常不采用這種方法，而是采用按層分裂的學(xué)習(xí)方法（Level-wiseLearning）。（1）Level-wiseLearning處理一次數(shù)據(jù)的同時(shí)可以分裂同一層的葉子，因此可以實(shí)現(xiàn)多線程優(yōu)化，并且能較好的控制模型的復(fù)雜程度，不容易過(guò)擬合現(xiàn)象。但實(shí)際上因?yàn)楹芏嗳~子的分裂增益較低，沒(méi)必要進(jìn)行搜索和分裂，而Level-wise又不加區(qū)別的分裂同一層的葉子，這就增加了很多沒(méi)必要的計(jì)算成本。（2）Leaf-wiseLearning是每次從當(dāng)前所有葉子中，找到其中分裂增益最大的一個(gè)進(jìn)行分裂，然后重復(fù)這樣的步驟。因此，在分裂次數(shù)相同的情況下，Leaf-wise可以降低更多的誤差，是一種更為高效的策略。但同樣有一個(gè)明顯的缺點(diǎn):它生成的決策樹(shù)可能會(huì)深度過(guò)大，產(chǎn)生過(guò)擬合現(xiàn)象。因此LightGBM在Leaf-wise之上增加了一個(gè)最大深度限制，在保證高效率的同時(shí)防止過(guò)擬合，使算法更加快速有效，因此會(huì)有更高的精度，同時(shí)支持并行化學(xué)習(xí)也會(huì)占用更小的運(yùn)行內(nèi)存。而其他的任何已存在的提升算法都很難做

【參考文獻(xiàn)】：
期刊論文
[1]消費(fèi)金融公司的大數(shù)據(jù)風(fēng)控研究[J]. 李瑤函.  科技經(jīng)濟(jì)市場(chǎng). 2018(08)
[2]基于集成學(xué)習(xí)的標(biāo)題分類算法研究[J]. 高元,劉柏嵩.  計(jì)算機(jī)應(yīng)用研究. 2017(04)
[3]基于信息增益和Bagging集成學(xué)習(xí)算法的個(gè)人信用評(píng)估模型研究[J]. 曹杰,邵笑笑.  數(shù)學(xué)的實(shí)踐與認(rèn)識(shí). 2016(08)
[4]個(gè)人信用評(píng)估GA-SVM模型的構(gòu)建與應(yīng)用[J]. 姜明輝,袁緒川.  合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2008(02)

博士論文
[1]個(gè)人信用評(píng)分組合模型研究與應(yīng)用[D]. 向暉.湖南大學(xué) 2011

碩士論文
[1]基于SVM和PSO的信用評(píng)級(jí)模型研究[D]. 曹秋燕.浙江工商大學(xué) 2013



本文編號(hào)：2976318