基于Spark的灰狼優(yōu)化算法的應(yīng)用研究
發(fā)布時(shí)間:2021-01-12 12:32
在21世紀(jì),大數(shù)據(jù)和互聯(lián)網(wǎng)金融領(lǐng)域都得到了巨大發(fā)展。國(guó)家對(duì)此領(lǐng)域的重視程度也逐漸提高。點(diǎn)對(duì)點(diǎn)(P2P)是一種創(chuàng)新的借貸模式,是對(duì)傳統(tǒng)金融業(yè)的有力補(bǔ)充。相較于傳統(tǒng)金融借貸行業(yè),它更加高效便捷。但隨著科技和金融的迅速發(fā)展,也為這個(gè)行業(yè)帶來了相當(dāng)嚴(yán)峻的挑戰(zhàn),例如用戶違約等一些風(fēng)險(xiǎn)。通過科技的手段為行業(yè)降低風(fēng)險(xiǎn),但隨著科技的飛速發(fā)展,這一行業(yè)的數(shù)據(jù)量呈現(xiàn)爆炸性增長(zhǎng)態(tài)勢(shì),龐大的數(shù)據(jù)量和海量的特征在傳統(tǒng)的計(jì)算領(lǐng)域顯得無力,但目前的大數(shù)據(jù)計(jì)算和人工智能正好填補(bǔ)這一空缺。本文通過研究傳統(tǒng)的智能優(yōu)化算法-灰狼優(yōu)化算法(GWO)的優(yōu)缺點(diǎn),對(duì)該算法進(jìn)行優(yōu)化改進(jìn),并結(jié)合大數(shù)據(jù)計(jì)算平臺(tái)Spark實(shí)現(xiàn)該算法。本文的主要工作內(nèi)容如下:(1)對(duì)傳統(tǒng)的灰狼優(yōu)化算法進(jìn)行介紹并分析不足,結(jié)合實(shí)際實(shí)驗(yàn)場(chǎng)景,對(duì)灰狼優(yōu)化算法進(jìn)行二進(jìn)制改進(jìn)。由于在龐大的數(shù)據(jù)量下,算法在本地運(yùn)行時(shí)對(duì)該數(shù)據(jù)量無法有效處理,對(duì)傳統(tǒng)的算法進(jìn)行并行化處理,分別在本地環(huán)境和分布式環(huán)境對(duì)傳統(tǒng)的GWO算法和改進(jìn)的GWO算法進(jìn)行測(cè)試,分別在算法的收斂性和速度方面進(jìn)行比較,最后實(shí)驗(yàn)結(jié)果證明基于Spark改進(jìn)的灰狼優(yōu)化算法能更快速、有效和穩(wěn)定的處理大量的數(shù)據(jù)。(2)針...
【文章來源】:湖北工業(yè)大學(xué)湖北省
【文章頁數(shù)】:62 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
010年-2019年中國(guó)網(wǎng)絡(luò)借貸平臺(tái)數(shù)量近年來,隨著全球經(jīng)濟(jì)的迅速增長(zhǎng)和中小型企業(yè)的快速發(fā)展,金融借貸的P2P
伲?榪釗撕痛?降男龐梅縵找哺?螅??現(xiàn)氐氖切?用的缺失在很大程度上影響了整個(gè)社會(huì)經(jīng)濟(jì)的穩(wěn)定和發(fā)展,而這種影響對(duì)于社會(huì)來說是消極的[4]。但中國(guó)一直在堅(jiān)持不懈地推行健全快速的政策。2013年11月12日,“包容性金融”概念寫入中共十八屆三中全會(huì)決議。2017年6月5日,全國(guó)互聯(lián)網(wǎng)金融安全技術(shù)專家委員會(huì)正式啟動(dòng)“全國(guó)互聯(lián)網(wǎng)金融陽光計(jì)劃”信用評(píng)級(jí)相關(guān)工作是確;ヂ(lián)網(wǎng)金融健康發(fā)展的關(guān)鍵。因此,P2P在線信用的個(gè)人信用評(píng)估和預(yù)警已然成為一個(gè)熱門而又棘手的問題。國(guó)內(nèi)近十年來停業(yè)、轉(zhuǎn)型及問題平臺(tái)數(shù)量如下圖1.2所示。圖1.22010年-2019年中國(guó)網(wǎng)貸停業(yè)平臺(tái)及問題平臺(tái)數(shù)量截至2019年底,已有343個(gè)平臺(tái)投入運(yùn)營(yíng)。《在線借貸之家》發(fā)布的《中國(guó)在線借貸行業(yè)年報(bào)(2019)》顯示,P2P借貸行業(yè)交易額在2019年達(dá)到9649.11億元,比去年同期(17948.01億元)下降了46.24%,從數(shù)據(jù)來看,今年全年交易量已達(dá)5年以來的最低點(diǎn)。隨著P2P貸款市場(chǎng)的快速發(fā)展,信貸風(fēng)險(xiǎn)問題不容忽視[5]。由于信息科技的迅速發(fā)展,每天在產(chǎn)生的數(shù)據(jù)量呈爆炸性增長(zhǎng),在P2P行業(yè)也不例外。P2P平臺(tái)的貸款訂單和借款人通過Internet進(jìn)行交易,并且收集到的信用數(shù)據(jù)種類繁多且數(shù)量巨大。在這樣巨大的數(shù)據(jù)量和眾多變量的情況下,很難通過人工處理來準(zhǔn)確預(yù)測(cè)違約風(fēng)險(xiǎn)。機(jī)器學(xué)習(xí)的應(yīng)用是數(shù)據(jù)挖掘研究中最有效的方法之一[6],并且特別重要,它可以聯(lián)合現(xiàn)有的大數(shù)據(jù)平臺(tái)和機(jī)器學(xué)習(xí)算法從這些海量的數(shù)據(jù)當(dāng)中挖掘出有效信息,既解決了數(shù)據(jù)量的問題也解決了繁雜的變量問題,所以將機(jī)器學(xué)習(xí)方法用來建立個(gè)人對(duì)個(gè)人對(duì)等網(wǎng)絡(luò)借貸的信用風(fēng)險(xiǎn)評(píng)估和預(yù)警模型,然后準(zhǔn)確評(píng)估出借方的信用狀況以降低平臺(tái)的風(fēng)險(xiǎn),目的是幫助貸方選擇信譽(yù)良好的客戶,排除風(fēng)險(xiǎn)較大的客戶,將投資者的風(fēng)險(xiǎn)降至最低,并保持投資者
湖北工業(yè)大學(xué)碩士學(xué)位論文6第2章相關(guān)理論與技術(shù)2.1灰狼優(yōu)化算法2.1.1算法基本思想澳大利亞學(xué)者M(jìn)irjalili[22-24]在2014年提出的灰狼優(yōu)化算法(GreyWolfOptimizer,GWO),通過模仿灰狼的社會(huì)等級(jí)制度,將捕食任務(wù)分配到不同等級(jí)的灰狼群體,以完成包圍、追捕和攻擊,從而實(shí)現(xiàn)全局優(yōu)化的過程。在灰狼優(yōu)化算法中,整個(gè)狼群被分為、、和,它們具有嚴(yán)格的等級(jí)制度,如圖2.1所示。狼是整個(gè)灰狼群體中的領(lǐng)袖,是最具智慧和最具能力的個(gè)體(離最優(yōu)值最接近的狼);狼和狼分別是適應(yīng)度次佳的個(gè)體,它們?cè)诓妒尺^程中將協(xié)助狼管理灰狼群體以及獵殺決策等問題,同時(shí)也是狼的候選者;剩余的狼群被定義為,它的主要職責(zé)是平衡狼群之間的內(nèi)部關(guān)系,并協(xié)助、和來攻擊獵物。圖2.1灰狼等級(jí)示意圖(主導(dǎo)權(quán)從上到下遞減)GWO算法可以將整個(gè)捕獵的過程分為包圍、狩獵和搜索三個(gè)階段,最后抓捕獵物。詳細(xì)說明如下:(1)包圍行為包圍獵物行為的數(shù)學(xué)模型如下所示:)()(pCDttXX(2.1)tDAtXX)()1(p(2.2)其中,t表示當(dāng)前的迭代次數(shù),A和C表示系數(shù),)(ptX表示獵物的位置向量,tX)(表示灰狼的位置向量,A和C由式(2.3)、式(2.4)得出araA12(2.3)
【參考文獻(xiàn)】:
期刊論文
[1]基于Spark的灰狼優(yōu)化算法研究[J]. 韓麟,陳宏偉. 湖北工業(yè)大學(xué)學(xué)報(bào). 2019(05)
[2]基于集成學(xué)習(xí)的中國(guó)P2P網(wǎng)絡(luò)借貸信用風(fēng)險(xiǎn)預(yù)警模型的對(duì)比研究[J]. 操瑋,李燦,賀婷婷,朱衛(wèi)東. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn). 2018(10)
[3]基于SVMK-Means的非均衡P2P網(wǎng)貸平臺(tái)風(fēng)險(xiǎn)預(yù)測(cè)研究[J]. 張文,崔楊波,姜祎盼. 系統(tǒng)科學(xué)與數(shù)學(xué). 2018(03)
[4]P2P校園貸款個(gè)人違約風(fēng)險(xiǎn)因素指標(biāo)探析[J]. 張寧靜,顧新,楊鋮. 財(cái)會(huì)月刊. 2018(06)
[5]融入軟信息的P2P網(wǎng)絡(luò)借貸違約預(yù)測(cè)方法[J]. 蔣翠清,王睿雅,丁勇. 中國(guó)管理科學(xué). 2017(11)
[6]機(jī)器學(xué)習(xí)算法在P2P網(wǎng)貸平臺(tái)風(fēng)險(xiǎn)評(píng)級(jí)中的應(yīng)用[J]. 張蜀林,李萌萌. 時(shí)代金融. 2017(03)
[7]基于支持向量機(jī)的互聯(lián)網(wǎng)金融客戶信用風(fēng)險(xiǎn)研究[J]. 張曉芳,戴道明. 平頂山學(xué)院學(xué)報(bào). 2016(02)
[8]信用風(fēng)險(xiǎn)評(píng)估中DKIPSO-SVC組合模型的仿真研究[J]. 萬振海,劉鐵英,張揚(yáng),李吉雙. 系統(tǒng)仿真學(xué)報(bào). 2015(08)
[9]一種基于決策樹和遺傳算法-BP神經(jīng)網(wǎng)絡(luò)的組合預(yù)測(cè)模型[J]. 梁棟,張鳳琴,陳大武,李小青,王夢(mèng)非. 中國(guó)科技論文. 2015(02)
[10]組合核函數(shù)支持向量機(jī)在個(gè)人信用評(píng)估中的應(yīng)用[J]. 孫強(qiáng),楊旭娜. 黑龍江科技信息. 2013(26)
碩士論文
[1]基于Spark關(guān)聯(lián)規(guī)則挖掘算法研究[D]. 羅啟星.湖北工業(yè)大學(xué) 2019
本文編號(hào):2972856
【文章來源】:湖北工業(yè)大學(xué)湖北省
【文章頁數(shù)】:62 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
010年-2019年中國(guó)網(wǎng)絡(luò)借貸平臺(tái)數(shù)量近年來,隨著全球經(jīng)濟(jì)的迅速增長(zhǎng)和中小型企業(yè)的快速發(fā)展,金融借貸的P2P
伲?榪釗撕痛?降男龐梅縵找哺?螅??現(xiàn)氐氖切?用的缺失在很大程度上影響了整個(gè)社會(huì)經(jīng)濟(jì)的穩(wěn)定和發(fā)展,而這種影響對(duì)于社會(huì)來說是消極的[4]。但中國(guó)一直在堅(jiān)持不懈地推行健全快速的政策。2013年11月12日,“包容性金融”概念寫入中共十八屆三中全會(huì)決議。2017年6月5日,全國(guó)互聯(lián)網(wǎng)金融安全技術(shù)專家委員會(huì)正式啟動(dòng)“全國(guó)互聯(lián)網(wǎng)金融陽光計(jì)劃”信用評(píng)級(jí)相關(guān)工作是確;ヂ(lián)網(wǎng)金融健康發(fā)展的關(guān)鍵。因此,P2P在線信用的個(gè)人信用評(píng)估和預(yù)警已然成為一個(gè)熱門而又棘手的問題。國(guó)內(nèi)近十年來停業(yè)、轉(zhuǎn)型及問題平臺(tái)數(shù)量如下圖1.2所示。圖1.22010年-2019年中國(guó)網(wǎng)貸停業(yè)平臺(tái)及問題平臺(tái)數(shù)量截至2019年底,已有343個(gè)平臺(tái)投入運(yùn)營(yíng)。《在線借貸之家》發(fā)布的《中國(guó)在線借貸行業(yè)年報(bào)(2019)》顯示,P2P借貸行業(yè)交易額在2019年達(dá)到9649.11億元,比去年同期(17948.01億元)下降了46.24%,從數(shù)據(jù)來看,今年全年交易量已達(dá)5年以來的最低點(diǎn)。隨著P2P貸款市場(chǎng)的快速發(fā)展,信貸風(fēng)險(xiǎn)問題不容忽視[5]。由于信息科技的迅速發(fā)展,每天在產(chǎn)生的數(shù)據(jù)量呈爆炸性增長(zhǎng),在P2P行業(yè)也不例外。P2P平臺(tái)的貸款訂單和借款人通過Internet進(jìn)行交易,并且收集到的信用數(shù)據(jù)種類繁多且數(shù)量巨大。在這樣巨大的數(shù)據(jù)量和眾多變量的情況下,很難通過人工處理來準(zhǔn)確預(yù)測(cè)違約風(fēng)險(xiǎn)。機(jī)器學(xué)習(xí)的應(yīng)用是數(shù)據(jù)挖掘研究中最有效的方法之一[6],并且特別重要,它可以聯(lián)合現(xiàn)有的大數(shù)據(jù)平臺(tái)和機(jī)器學(xué)習(xí)算法從這些海量的數(shù)據(jù)當(dāng)中挖掘出有效信息,既解決了數(shù)據(jù)量的問題也解決了繁雜的變量問題,所以將機(jī)器學(xué)習(xí)方法用來建立個(gè)人對(duì)個(gè)人對(duì)等網(wǎng)絡(luò)借貸的信用風(fēng)險(xiǎn)評(píng)估和預(yù)警模型,然后準(zhǔn)確評(píng)估出借方的信用狀況以降低平臺(tái)的風(fēng)險(xiǎn),目的是幫助貸方選擇信譽(yù)良好的客戶,排除風(fēng)險(xiǎn)較大的客戶,將投資者的風(fēng)險(xiǎn)降至最低,并保持投資者
湖北工業(yè)大學(xué)碩士學(xué)位論文6第2章相關(guān)理論與技術(shù)2.1灰狼優(yōu)化算法2.1.1算法基本思想澳大利亞學(xué)者M(jìn)irjalili[22-24]在2014年提出的灰狼優(yōu)化算法(GreyWolfOptimizer,GWO),通過模仿灰狼的社會(huì)等級(jí)制度,將捕食任務(wù)分配到不同等級(jí)的灰狼群體,以完成包圍、追捕和攻擊,從而實(shí)現(xiàn)全局優(yōu)化的過程。在灰狼優(yōu)化算法中,整個(gè)狼群被分為、、和,它們具有嚴(yán)格的等級(jí)制度,如圖2.1所示。狼是整個(gè)灰狼群體中的領(lǐng)袖,是最具智慧和最具能力的個(gè)體(離最優(yōu)值最接近的狼);狼和狼分別是適應(yīng)度次佳的個(gè)體,它們?cè)诓妒尺^程中將協(xié)助狼管理灰狼群體以及獵殺決策等問題,同時(shí)也是狼的候選者;剩余的狼群被定義為,它的主要職責(zé)是平衡狼群之間的內(nèi)部關(guān)系,并協(xié)助、和來攻擊獵物。圖2.1灰狼等級(jí)示意圖(主導(dǎo)權(quán)從上到下遞減)GWO算法可以將整個(gè)捕獵的過程分為包圍、狩獵和搜索三個(gè)階段,最后抓捕獵物。詳細(xì)說明如下:(1)包圍行為包圍獵物行為的數(shù)學(xué)模型如下所示:)()(pCDttXX(2.1)tDAtXX)()1(p(2.2)其中,t表示當(dāng)前的迭代次數(shù),A和C表示系數(shù),)(ptX表示獵物的位置向量,tX)(表示灰狼的位置向量,A和C由式(2.3)、式(2.4)得出araA12(2.3)
【參考文獻(xiàn)】:
期刊論文
[1]基于Spark的灰狼優(yōu)化算法研究[J]. 韓麟,陳宏偉. 湖北工業(yè)大學(xué)學(xué)報(bào). 2019(05)
[2]基于集成學(xué)習(xí)的中國(guó)P2P網(wǎng)絡(luò)借貸信用風(fēng)險(xiǎn)預(yù)警模型的對(duì)比研究[J]. 操瑋,李燦,賀婷婷,朱衛(wèi)東. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn). 2018(10)
[3]基于SVMK-Means的非均衡P2P網(wǎng)貸平臺(tái)風(fēng)險(xiǎn)預(yù)測(cè)研究[J]. 張文,崔楊波,姜祎盼. 系統(tǒng)科學(xué)與數(shù)學(xué). 2018(03)
[4]P2P校園貸款個(gè)人違約風(fēng)險(xiǎn)因素指標(biāo)探析[J]. 張寧靜,顧新,楊鋮. 財(cái)會(huì)月刊. 2018(06)
[5]融入軟信息的P2P網(wǎng)絡(luò)借貸違約預(yù)測(cè)方法[J]. 蔣翠清,王睿雅,丁勇. 中國(guó)管理科學(xué). 2017(11)
[6]機(jī)器學(xué)習(xí)算法在P2P網(wǎng)貸平臺(tái)風(fēng)險(xiǎn)評(píng)級(jí)中的應(yīng)用[J]. 張蜀林,李萌萌. 時(shí)代金融. 2017(03)
[7]基于支持向量機(jī)的互聯(lián)網(wǎng)金融客戶信用風(fēng)險(xiǎn)研究[J]. 張曉芳,戴道明. 平頂山學(xué)院學(xué)報(bào). 2016(02)
[8]信用風(fēng)險(xiǎn)評(píng)估中DKIPSO-SVC組合模型的仿真研究[J]. 萬振海,劉鐵英,張揚(yáng),李吉雙. 系統(tǒng)仿真學(xué)報(bào). 2015(08)
[9]一種基于決策樹和遺傳算法-BP神經(jīng)網(wǎng)絡(luò)的組合預(yù)測(cè)模型[J]. 梁棟,張鳳琴,陳大武,李小青,王夢(mèng)非. 中國(guó)科技論文. 2015(02)
[10]組合核函數(shù)支持向量機(jī)在個(gè)人信用評(píng)估中的應(yīng)用[J]. 孫強(qiáng),楊旭娜. 黑龍江科技信息. 2013(26)
碩士論文
[1]基于Spark關(guān)聯(lián)規(guī)則挖掘算法研究[D]. 羅啟星.湖北工業(yè)大學(xué) 2019
本文編號(hào):2972856
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/2972856.html
最近更新
教材專著