金融安全是國家安全中非常重要的一環(huán)。隨著互聯(lián)網(wǎng)金融、智慧金融的迅速發(fā)展,金融業(yè)務(wù)面臨的風(fēng)險挑戰(zhàn)越來越大。大數(shù)據(jù)時代的到來使得機器學(xué)習(xí)成為了非常重要的金融風(fēng)控工具。數(shù)據(jù)量級的提升,對傳統(tǒng)機器學(xué)習(xí)帶來了挑戰(zhàn)和機遇。在互聯(lián)網(wǎng)金融行業(yè),傳統(tǒng)的面向小數(shù)據(jù)的機器學(xué)習(xí)技術(shù)已很難滿足大數(shù)據(jù)時代下的種種需求。通過并行化機器學(xué)習(xí)算法,在保證計算準確度的基礎(chǔ)上,提升數(shù)據(jù)處理的響應(yīng)速度是智慧金融算法領(lǐng)域的一個關(guān)鍵問題。本文在金融安全問題背景下,研究金融風(fēng)險控制領(lǐng)域信用評估問題,以機器學(xué)習(xí)支撐技術(shù)——信用評分模型作為研究目標(biāo),選擇了信用評分模型中的主流算法邏輯回歸、GBDT、XGBoost、LightGBM模型,從并行機器學(xué)習(xí)入手,根據(jù)互聯(lián)網(wǎng)金融信貸業(yè)務(wù)行業(yè)特點,使用公開在線信貸數(shù)據(jù)集進行建模研究分析。本文首先基于Zeppelin框架搭建了以Hadoop集群作為底層支撐的機器學(xué)習(xí)模型生命周期服務(wù)管理平臺。在平臺基礎(chǔ)上對獲取到的2007年-2015年的開源借貸數(shù)據(jù)集進行數(shù)據(jù)質(zhì)量檢驗、數(shù)據(jù)清洗、特征構(gòu)造、特征選擇工作,并在其上進行后續(xù)研究建模部署工作�？紤]信貸數(shù)據(jù)集特點,綜合所選模型特性,基于數(shù)據(jù)并行理論設(shè)計了依賴... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：102 頁

【學(xué)位級別】：碩士

【部分圖文】：

信用評分模型并行研究工作流程圖

電子科技大學(xué)碩士學(xué)位論文12參照zeppelin官方文檔解釋，Zeppelin內(nèi)部架構(gòu)如圖2-1所示。其中Server和Client通信通過jetty內(nèi)嵌服務(wù)器提供WebSocket服務(wù)和RESTful服務(wù)。Zeppelin中采用單獨的jvm來啟動interpreter進程，該Interpreter進程與ZeppelinServer進程之間采用Thrift協(xié)議通信。通信方式如圖2-2所示。圖2-1Zeppelin架構(gòu)圖圖2-2Interpreter與ZeppelinServer進程通信方式圖

電子科技大學(xué)碩士學(xué)位論文12參照zeppelin官方文檔解釋，Zeppelin內(nèi)部架構(gòu)如圖2-1所示。其中Server和Client通信通過jetty內(nèi)嵌服務(wù)器提供WebSocket服務(wù)和RESTful服務(wù)。Zeppelin中采用單獨的jvm來啟動interpreter進程，該Interpreter進程與ZeppelinServer進程之間采用Thrift協(xié)議通信。通信方式如圖2-2所示。圖2-1Zeppelin架構(gòu)圖圖2-2Interpreter與ZeppelinServer進程通信方式圖

【參考文獻】：
期刊論文
[1]個人信用評價研究綜述[J]. 袁章帥.  山西農(nóng)經(jīng). 2019(08)
[2]基于LightGBM的銀行信用卡違約研究[J]. 張國慶,昌寧.  科技資訊. 2019(12)
[3]智慧金融的產(chǎn)生、發(fā)展與前景探析[J]. 韓志雄,馮學(xué)奮,趙權(quán).  海南金融. 2018(08)
[4]大數(shù)據(jù)背景下機器學(xué)習(xí)并行算法研究[J]. 馬巍巍,殷鳳梅,張江.  電子技術(shù)與軟件工程. 2018(11)
[5]基于XGBoost的信用風(fēng)險分析的研究[J]. 趙天傲,鄭山紅,李萬龍,劉凱.  軟件工程. 2018(06)
[6]一種基于改進迭代決策樹算法的目標(biāo)威脅評估模型[J]. 李寒雨,秦克,李家志,羅威,趙開敏.  艦船電子工程. 2017(10)
[7]基于GBDT的個人信用評估方法[J]. 王黎,廖聞劍.  電子設(shè)計工程. 2017(15)
[8]并行機器學(xué)習(xí)算法基礎(chǔ)體系前沿進展綜述[J]. 劉斌,何進榮,耿耀君,王最.  計算機工程與應(yīng)用. 2017(11)
[9]基于Linux的高性能計算集群MPI并行環(huán)境配置研究[J]. 金能智,者建武,李唐艷,孫一桐.  科技創(chuàng)新導(dǎo)報. 2017(03)
[10]基于MPI的GPU集群并行通信系統(tǒng)實現(xiàn)[J]. 侯景德,陳慶奎,趙海燕.  計算機應(yīng)用與軟件. 2016(04)

碩士論文
[1]面向大數(shù)據(jù)的CPU/GPU/FPGA計算平臺研究[D]. 黃海洋.電子科技大學(xué) 2017



本文編號：3365614