發(fā)布時間：2021-01-12 21:17

　　隨著中國經(jīng)濟(jì)快速穩(wěn)定的發(fā)展,互聯(lián)網(wǎng)金融信貸業(yè)務(wù)的發(fā)展也來到了高潮�？蛻魯�(shù)據(jù)爆發(fā)式增長,傳統(tǒng)依靠專家型數(shù)據(jù)分析的結(jié)果缺乏可靠性、準(zhǔn)確性以及對海量數(shù)據(jù)處理效率緩慢,無法有效的挖掘出數(shù)據(jù)的價值等缺陷日益突出。如何更好挖掘出用戶信貸數(shù)據(jù),購物數(shù)據(jù)中蘊(yùn)含的信息對客戶的信用進(jìn)行定級以減少壞賬的發(fā)生,同時對客戶準(zhǔn)確分類以做到更好的互聯(lián)網(wǎng)金融風(fēng)控成為了重要的研究方向。由于金融行業(yè)的特殊性,為了降低開發(fā)評分卡模型的門檻以及提高建模效率,應(yīng)該有一套信用評分系統(tǒng)能夠完成信用評分模型的構(gòu)建。針對上述問題和需求,通過查詢和閱讀相關(guān)文獻(xiàn)對信用評分系統(tǒng)進(jìn)行深入研究,改進(jìn)了卡方分箱法分箱后WOE不單調(diào)以及某個分箱中樣本占比過多等問題;使用基于IV值、皮爾遜相關(guān)系數(shù)、假設(shè)檢驗(yàn)、逐步回歸等方法挑選入模變量解決了互聯(lián)網(wǎng)高維特征難以挑選的問題;對Spark技術(shù)框架進(jìn)行深入研究,實(shí)現(xiàn)了一個信用評分系統(tǒng),該系統(tǒng)由資源管理模塊、模型構(gòu)建模塊、可視化模塊三大模塊構(gòu)成。其中資源管理模塊由數(shù)據(jù)資源管理、模型管理、任務(wù)流程管理構(gòu)成。其主要負(fù)責(zé)數(shù)據(jù)的上傳下載、模型的存儲和刪除、任務(wù)的查找和刪除等;模型構(gòu)建模塊由功能組件和算法組件構(gòu)成。其中功... 

【文章來源】：浙江工業(yè)大學(xué)浙江省

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【部分圖文】：

表現(xiàn)期與觀察期Figure2-2.Performanceperiodandobservationperiod

浙江工業(yè)大學(xué)碩士學(xué)位論文23從概率分布上講，TPR為累積的好用戶的概率分布，F(xiàn)PR為累積的壞客戶的概率分布。KS曲線的繪制原理為:首先對所有的樣本按照模型給出的預(yù)測概率進(jìn)行降序排序，將訓(xùn)練樣本等頻分為10，取每一個分段的臨界點(diǎn)處的概率值作為閾值，分別計算TPR以及FPR。然后以該閾值作為橫坐標(biāo)，TPR以及FPR作為縱坐標(biāo)。曲線類似于下圖2-11:圖2-11KS曲線Figure2-11KScurveKS值主要用來度量好壞客戶累計分布函數(shù)之間差值的大校差值越大說明好壞分布越明顯，銀行在信用評分模型實(shí)際使用中十分重視KS值的大校以下表2-9為常見的KS值評估指標(biāo)[50]。表2-9KS評估指標(biāo)Table2-9.KSevaluationindexKS模型表現(xiàn)<0.2差0.2-0.4一般0.4-0.5好0.5-0.6很好0.6-0.75非常好0.75-1完美

信用評分系統(tǒng)的設(shè)計與實(shí)現(xiàn)303.3.1變量相關(guān)性分析在單變量相關(guān)性分析中變量的篩選一般經(jīng)過以下幾個步驟：①將變量按照分組計算后的IV值降序排序②計算第i和第i+1變量的皮爾遜相關(guān)系數(shù)corr③對于corr大于0.7的變量對，刪除IV值較小的那個變量流程圖如下圖3-5所示:IV降序排序,計算第i,i+1個變量之間corrCorr>0.7所有變量符合條件輸出變量列表移除IV較小的變量變量列表是是否否圖3-5單變量篩選流程Figure3-5.Singlevariablescreeningprocess經(jīng)過單變量篩選后，變量列表中的變量兩兩之間的相關(guān)系數(shù)都低于閾值。篩選后的變量相關(guān)性可視化熱點(diǎn)圖如下圖3-6所示:圖3-6變量皮爾遜系數(shù)熱點(diǎn)圖Figure3-6.Pearsoncoefficientheatmap在經(jīng)過單變量篩選后的變量會進(jìn)入多重共性線篩選環(huán)節(jié)，來剔除多個變量之間存在多重共線性的變量。一般使用VIF(VarianceInflationFactor)值來衡量，

【參考文獻(xiàn)】：
期刊論文
[1]并行計算框架Spark中一種新的RDD分區(qū)權(quán)重緩存替換算法[J]. 劉恒,譚良.  小型微型計算機(jī)系統(tǒng). 2018(10)
[2]基于Spark核心架構(gòu)的大數(shù)據(jù)平臺技術(shù)研究與實(shí)踐[J]. 曹猛.  中國戰(zhàn)略新興產(chǎn)業(yè). 2018(28)
[3]數(shù)據(jù)挖掘模型在小企業(yè)主信用評分領(lǐng)域的應(yīng)用[J]. 王磊,范超,解明明.  統(tǒng)計研究. 2014(10)
[4]基于Lasso-logistic模型的個人信用風(fēng)險預(yù)警方法[J]. 方匡南,章貴軍,張惠穎.  數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究. 2014(02)
[5]關(guān)于互聯(lián)網(wǎng)金融的若干思考[J]. 陳敬民.  金融縱橫. 2013(09)
[6]不平衡數(shù)據(jù)分類方法及其在入侵檢測中的應(yīng)用研究[J]. 江頡,王卓芳,GONG Rong-sheng,陳鐵明.  計算機(jī)科學(xué). 2013(04)
[7]Logistic模型中參數(shù)的自適應(yīng)Lasso估計[J]. 王娉,郭鵬江,夏志明.  西北大學(xué)學(xué)報(自然科學(xué)版). 2012(05)
[8]基于信用評分模型的我國商業(yè)銀行客戶違約概率研究[J]. 王穎,聶廣禮,石勇.  管理評論. 2012(02)
[9]基于多分類器組合的個人信用評估模型[J]. 向暉,楊勝剛.  湖南大學(xué)學(xué)報(社會科學(xué)版). 2011(03)
[10]基于FAHP的個人信用評分模型[J]. 易傳和,彭江.  統(tǒng)計與決策. 2009(15)

博士論文
[1]基于決策樹的信用風(fēng)險評估方法研究[D]. 趙靜嫻.天津大學(xué) 2009

碩士論文
[1]基于云計算的故障裝備大數(shù)據(jù)技術(shù)研究[D]. 洪棟斌.北京郵電大學(xué) 2019
[2]面向推薦的大數(shù)據(jù)計算與存儲平臺設(shè)計與實(shí)現(xiàn)[D]. 李琛軒.哈爾濱工業(yè)大學(xué) 2016
[3]信用評分卡在電商小微企業(yè)信貸中的應(yīng)用[D]. 丁衛(wèi)東.浙江大學(xué) 2016
[4]基于數(shù)據(jù)挖掘的個人信用評分系統(tǒng)的分析與設(shè)計[D]. 彭州.西南財經(jīng)大學(xué) 2003



本文編號：2973562