發(fā)布時(shí)間：2020-08-11 18:20

【摘要】：隨著現(xiàn)代科技的迅猛發(fā)展和數(shù)據(jù)業(yè)務(wù)的不斷增多,大量數(shù)據(jù)不斷積累的同時(shí)數(shù)據(jù)類型也越來越多樣化。其中具有代表性的非均衡數(shù)據(jù)現(xiàn)在越來越多的出現(xiàn)在醫(yī)療、金融、保險(xiǎn)、生物等相關(guān)領(lǐng)域,給這些領(lǐng)域中實(shí)際業(yè)務(wù)數(shù)據(jù)的分類預(yù)測帶來了困難。傳統(tǒng)分類器的分類預(yù)測大都是基于均衡數(shù)據(jù)集,數(shù)據(jù)的非均衡性使傳統(tǒng)的分類器忽視少數(shù)類樣本,分類性能下降。本文對如何處理非均衡數(shù)據(jù)的相關(guān)問題進(jìn)行了研究,主要從數(shù)據(jù)層面和算法層面來提高基于非均衡數(shù)據(jù)傳統(tǒng)分類模型的分類性能,從而提升傳統(tǒng)分類模型在非均衡數(shù)據(jù)集上的應(yīng)用價(jià)值。本文的主要研究成果有:(1)在數(shù)據(jù)層面,本文提出了SMOTE-EN+F方法。該方法在SMOTE過采樣法的基礎(chǔ)上,結(jié)合Easy Ensemble欠采樣法中集成(Ensemble)思想,以傳統(tǒng)分類模型為子模型,以反映少數(shù)類樣本分類性能的_1F-value值為權(quán)重,改善了樣本非均衡性的同時(shí)提高了傳統(tǒng)分類模型的分類性能。通過UCI數(shù)據(jù)集的實(shí)驗(yàn)證明,SMOTE-EN+F法提高了BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)(SVM)和Logistic分類模型對非均衡數(shù)據(jù)的分類性能。(2)在算法層面,本文研究了基于非均衡數(shù)據(jù)的Logistic分類模型,為了解決Logistic分類模型在處理非均衡數(shù)據(jù)時(shí),默認(rèn)閾值不能合理劃分分類變量的問題,本文給出確定分類閾值的方法—置信度閾值法。此方法先計(jì)算非均衡數(shù)據(jù)中各分類樣本的置信度,然后將樣本置信度作用于默認(rèn)閾值0.5上,使閾值帶有樣本信息,進(jìn)而使得Logistic分類模型能有效的處理非均衡數(shù)據(jù)的分類問題。同樣通過UCI數(shù)據(jù)集驗(yàn)證了置信度閾值法的合理性。最后,本文使用前面提出的SMOTE-EN+F法和Logistic分類模型的置信度閾值法,基于BP神經(jīng)網(wǎng)絡(luò)分類器、支持向量機(jī)(SVM)分類器和Logistic分類器,研究非均衡信貸數(shù)據(jù)中客戶是否逾期的分類預(yù)測問題。實(shí)際應(yīng)用得出:相比于SMOTE過采樣法,SMOTE-EN+F法可以提升傳統(tǒng)分類模型對信貸數(shù)據(jù)的分類準(zhǔn)確度且能夠更好的識別非均衡信貸數(shù)據(jù)中的逾期客戶,同時(shí)得到基于SMOTE-EN+F的SVM信用評分模型;采用本文提出的置信度閾值法可以提升Logistic分類器在實(shí)際非均衡信貸數(shù)據(jù)集上的適用性。
【學(xué)位授予單位】：山西大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP18;F832.4
【圖文】：

圖 1.1 論文的結(jié)構(gòu)1.4 本文結(jié)構(gòu)安排第一章是緒論，主要總結(jié)了本文的研究背景和意義，指出了解決相關(guān)非均衡數(shù)據(jù)問題的必要性。總結(jié)了國內(nèi)外的研究現(xiàn)狀，論文的研究內(nèi)容和論文結(jié)構(gòu)。第二章主要介紹 SMOTE 過采樣法和 EasyEnsemble 欠采樣法的算法思想和算法步驟以及本文所涉及到的傳統(tǒng)分類模型的基本形式。第三章介紹本文提出數(shù)據(jù)采樣法：SMOTE-EN+F 法，包括 SMOTE-EN+F 法的思想和步驟。同時(shí)在傳統(tǒng)分類模型的基礎(chǔ)上，通過 UCI 數(shù)據(jù)，驗(yàn)證了以傳統(tǒng)分類模型為基模型的 SMOTE-EN+F 法可以提升傳統(tǒng)分類模型對非均衡數(shù)據(jù)集的分類性能第四章主要介紹本文提出的另一種方法：基于 Logistic 分類模型的置信度閾值法。首先介紹置信度閾值法的計(jì)算過程，然后使用 UCI 數(shù)據(jù)集驗(yàn)證此方法的合理性。第五章將本文提到的 SMOTE-EN+F 法和基于 Logistic 分類模型的置信度閾值法應(yīng)用到信貸機(jī)構(gòu)的貸款數(shù)據(jù)上，對逾期和未逾期客戶進(jìn)行分類，確定出有效的信用評

圖 2.1 神經(jīng)網(wǎng)絡(luò)連接圖 2.1 所示，每次輸入都對應(yīng)輸出，在輸入與輸出中間起關(guān)鍵作用的函數(shù)的作用是對如何來激活輸入信號的總和做出決定。所以了解了掌握神經(jīng)網(wǎng)絡(luò)的要領(lǐng)。網(wǎng)絡(luò)中經(jīng)常使用的一個(gè)激活函數(shù)是 sigmoid 函數(shù)，也稱 S 型函數(shù)，入輸出發(fā)生連續(xù)性的變化平滑的曲線。如圖 2.2。moid 函數(shù)為：1( )1 exp( )h x x.x3

基于非均衡數(shù)據(jù)的傳統(tǒng)分類模型研究 sigmoid 函數(shù)也存在一定問題，即非零中心化會(huì)帶來更新緩慢。將激活進(jìn)為 ReLU 函數(shù)，ReLU 函數(shù)是最近使用較多的激活函數(shù)，函數(shù)形式如數(shù)學(xué)表達(dá)式為： ( ) = { ( 0)0 ( 0).U 函數(shù)的近似線性性可以體現(xiàn)在很大的區(qū)間內(nèi)，在一定程度上避免了梯爆炸的問題。同時(shí)，也有單側(cè)抑制的優(yōu)點(diǎn)：當(dāng)神經(jīng)元的輸入小于 0 時(shí)，，神經(jīng)元未被激活，與之相連接的權(quán)重邊不再重復(fù)，這樣就減少了參數(shù)絡(luò)的稀疏化減小了過擬合的可能。不過也存在一定的缺點(diǎn)，那就是神經(jīng)就很難再次激活。ReLU 函數(shù)圖如圖 2.3：

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 龍克禮;;分析好 大有益——評選好新聞的一點(diǎn)感受[J];新聞界;1988年03期

2 郝文榮;;反義詞傳統(tǒng)分類與瓊斯新分類之比較（英文）[J];考試與評價(jià)(大學(xué)英語教研版);2016年04期

3 貢斯琴;;蒙藥傳統(tǒng)分類與現(xiàn)代分類之比較[J];中國民族民間醫(yī)藥;2010年23期

4 焦彤,王戈;我看經(jīng)濟(jì)學(xué)[J];改革與理論;2002年07期

5 于青圃;中藥新的分類模式述要[J];中醫(yī)藥學(xué)刊;2004年08期

6 林木;刑事科學(xué)技術(shù)的傳統(tǒng)分類[J];中國人民警官大學(xué)學(xué)報(bào)(自然科學(xué)版);1996年03期

7 王健,黎曉敏,賈仁勇,宋維平,李明元,楊本登;中藥的傳統(tǒng)分類與無機(jī)元素關(guān)系的研究[J];四川農(nóng)業(yè)大學(xué)學(xué)報(bào);1996年04期

8 賈敬華;;“58同城”進(jìn)化論:移動(dòng)互聯(lián)下的生活服務(wù)平臺[J];金融經(jīng)濟(jì);2014年11期

9 呂付勇;;做守法的基督徒[J];中國天主教;2011年05期

10 劉大江;談俄羅斯現(xiàn)行刑法典[J];法學(xué)雜志;1998年05期

相關(guān)會(huì)議論文 前1條

1 沈世杰;;魚類傳統(tǒng)分類面臨的危機(jī)[A];中國海洋湖沼動(dòng)物學(xué)會(huì)魚類學(xué)分會(huì)第七屆會(huì)員代表大會(huì)暨朱元鼎教授誕辰110周年慶學(xué)術(shù)研討會(huì)學(xué)術(shù)論文摘要集[C];2006年

相關(guān)重要報(bào)紙文章 前3條

1 本報(bào)記者 李大慶;“五花八門”的學(xué)者研討城市健康與福祉[N];科技日報(bào);2016年

2 徐俊彪;清涼一族網(wǎng)上行[N];中華建筑報(bào);2000年

3 見習(xí)記者　楊琳樺;博客要來一場Tag革命[N];21世紀(jì)經(jīng)濟(jì)報(bào)道;2005年

相關(guān)碩士學(xué)位論文 前5條

1 趙慧;基于非均衡數(shù)據(jù)的傳統(tǒng)分類模型研究[D];山西大學(xué);2019年

2 王鷹;中藥臨床分類客觀化初步研究[D];中國中醫(yī)科學(xué)院;2012年

3 郭梅娜;中國圓瓢蠟蟬屬分類及其DNA條形碼研究[D];貴州大學(xué);2015年

4 蘆榮勝;尺蛾科，燈蛾科部分種類酯酶同工酶的研究[D];陜西師范大學(xué);2000年

5 李金金;漢語歇后語的認(rèn)知研究[D];江西師范大學(xué);2008年

本文編號：2789404