MQ多線程處理算法實現(xiàn)大數(shù)據(jù)處理的設(shè)計及實現(xiàn)
發(fā)布時間:2020-12-12 15:47
隨著大數(shù)據(jù)時代的到來,銀行業(yè)的傳統(tǒng)集中式開發(fā)部署模式已經(jīng)無法適應(yīng)于現(xiàn)代大數(shù)據(jù)量數(shù)據(jù)加工及存儲,再加上銀行對靜態(tài)大數(shù)據(jù)進行利用的濃烈興趣,行業(yè)內(nèi)智能化、自動化、大數(shù)據(jù)化的趨勢使金融系統(tǒng)迎來了轉(zhuǎn)型升級的時期,各行也積極開展大數(shù)據(jù)及智能化平臺。同時由于數(shù)據(jù)量的增長,對于消息中間件的要求也在不斷提高,如何能提高可靠性、處理效率,使系統(tǒng)間信息傳輸更加穩(wěn)定、快速,是金融系統(tǒng)對消息中間件的主要要求。作為銀行業(yè)大數(shù)據(jù)量數(shù)據(jù)的一種,征信信息近些年已經(jīng)越來越受到金融及銀行業(yè)的關(guān)注,它貫穿于客戶的整個業(yè)務(wù)周期,對客戶征信信息的監(jiān)控可以有效的控制風險。據(jù)在銀行業(yè)內(nèi)的調(diào)查,銀行很多業(yè)務(wù)如個貸、信用卡、客戶識別、公司授信等均需要使用征信信息進行客戶的風險把控。面對大數(shù)據(jù)量的征信信息需求,如何能夠正確、快速的處理、存儲并且有效的使用這些征信信息,是銀行業(yè)在這方面急需解決的課題。本文從大數(shù)據(jù)征信信息的處理、存儲及使用入手,以銀行對征信信息管理和使用的實際業(yè)務(wù)需求出發(fā),探討在大數(shù)據(jù)環(huán)境下金融系統(tǒng)對數(shù)據(jù)處理、中間件消息傳遞以及數(shù)據(jù)挖掘的方法。提出采用分布式技術(shù)提高系統(tǒng)的可靠性,并運用其高擴展性解決對大數(shù)據(jù)的加工,使用IB...
【文章來源】:上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:88 頁
【學位級別】:碩士
【部分圖文】:
MQ消息中間件的集群技術(shù)效果圖
圖.3-9 MQ 消息中間件的集群技術(shù)效果圖Fig.3-9 MQ multiple instances impression drawing當收到其他系統(tǒng)發(fā)送的請求后,網(wǎng)關(guān)隊列管理器通過集群通道將發(fā)到各個成員隊列管理器的集群隊列中,應(yīng)用程序讀取相應(yīng)分成員隊列管理器的集群隊列獲取數(shù)據(jù),將數(shù)據(jù)進行分流處理。展示了集群將任務(wù)分發(fā)至隊列中的。
收入信息兩項進行征信指標計算,并與客戶不良狀況進行匹配,獲得指標與不良關(guān)系的聚類結(jié)果,用于自動校準基于年齡、收入的征信指標參數(shù)值。圖.3-12 智能校準示例Fig.3-12 Example of intelligent calibration
【參考文獻】:
期刊論文
[1]大數(shù)據(jù)基礎(chǔ)存儲系統(tǒng)技術(shù)研究[J]. 王瑞通,李煒春. 計算機技術(shù)與發(fā)展. 2017(08)
[2]大數(shù)據(jù)挖掘在銀行業(yè)務(wù)領(lǐng)域的應(yīng)用[J]. 李小慶. 金融科技時代. 2017(05)
[3]Hadoop和Spark在實驗室中部署與性能評估[J]. 薛志云,何軍,張丹陽,曹維焯. 實驗室研究與探索. 2015(11)
[4]以大數(shù)據(jù)技術(shù)實現(xiàn)對公不良(逾期)貸款的預警[J]. 祁奇. 中國金融電腦. 2015(09)
[5]互聯(lián)網(wǎng)金融中的大數(shù)據(jù)征信體系構(gòu)建[J]. 趙海蕾,鄧鳴茂,汪桂霞. 經(jīng)濟視角(上旬刊). 2015(04)
[6]基于Storm和Hadoop的大數(shù)據(jù)處理架構(gòu)的研究[J]. 靳永超,吳懷谷. 現(xiàn)代計算機(專業(yè)版). 2015(04)
[7]大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 程學旗,靳小龍,王元卓,郭嘉豐,張鐵贏,李國杰. 軟件學報. 2014(09)
[8]大數(shù)據(jù)的教育應(yīng)用研究綜述[J]. 劉鳳娟. 現(xiàn)代教育技術(shù). 2014(08)
[9]安全大數(shù)據(jù)的“7個V”——大數(shù)據(jù)基礎(chǔ)問題與信息安全的交叉探究[J]. 潘柱廷. 中國信息安全. 2013(09)
[10]大數(shù)據(jù)存儲技術(shù)和標準化[J]. 李海波,程耀東. 信息技術(shù)與標準化. 2013(05)
碩士論文
[1]商業(yè)銀行信用卡客戶數(shù)據(jù)異常識別建模與實證分析[D]. 柏巍.南京大學 2014
本文編號:2912849
【文章來源】:上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:88 頁
【學位級別】:碩士
【部分圖文】:
MQ消息中間件的集群技術(shù)效果圖
圖.3-9 MQ 消息中間件的集群技術(shù)效果圖Fig.3-9 MQ multiple instances impression drawing當收到其他系統(tǒng)發(fā)送的請求后,網(wǎng)關(guān)隊列管理器通過集群通道將發(fā)到各個成員隊列管理器的集群隊列中,應(yīng)用程序讀取相應(yīng)分成員隊列管理器的集群隊列獲取數(shù)據(jù),將數(shù)據(jù)進行分流處理。展示了集群將任務(wù)分發(fā)至隊列中的。
收入信息兩項進行征信指標計算,并與客戶不良狀況進行匹配,獲得指標與不良關(guān)系的聚類結(jié)果,用于自動校準基于年齡、收入的征信指標參數(shù)值。圖.3-12 智能校準示例Fig.3-12 Example of intelligent calibration
【參考文獻】:
期刊論文
[1]大數(shù)據(jù)基礎(chǔ)存儲系統(tǒng)技術(shù)研究[J]. 王瑞通,李煒春. 計算機技術(shù)與發(fā)展. 2017(08)
[2]大數(shù)據(jù)挖掘在銀行業(yè)務(wù)領(lǐng)域的應(yīng)用[J]. 李小慶. 金融科技時代. 2017(05)
[3]Hadoop和Spark在實驗室中部署與性能評估[J]. 薛志云,何軍,張丹陽,曹維焯. 實驗室研究與探索. 2015(11)
[4]以大數(shù)據(jù)技術(shù)實現(xiàn)對公不良(逾期)貸款的預警[J]. 祁奇. 中國金融電腦. 2015(09)
[5]互聯(lián)網(wǎng)金融中的大數(shù)據(jù)征信體系構(gòu)建[J]. 趙海蕾,鄧鳴茂,汪桂霞. 經(jīng)濟視角(上旬刊). 2015(04)
[6]基于Storm和Hadoop的大數(shù)據(jù)處理架構(gòu)的研究[J]. 靳永超,吳懷谷. 現(xiàn)代計算機(專業(yè)版). 2015(04)
[7]大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 程學旗,靳小龍,王元卓,郭嘉豐,張鐵贏,李國杰. 軟件學報. 2014(09)
[8]大數(shù)據(jù)的教育應(yīng)用研究綜述[J]. 劉鳳娟. 現(xiàn)代教育技術(shù). 2014(08)
[9]安全大數(shù)據(jù)的“7個V”——大數(shù)據(jù)基礎(chǔ)問題與信息安全的交叉探究[J]. 潘柱廷. 中國信息安全. 2013(09)
[10]大數(shù)據(jù)存儲技術(shù)和標準化[J]. 李海波,程耀東. 信息技術(shù)與標準化. 2013(05)
碩士論文
[1]商業(yè)銀行信用卡客戶數(shù)據(jù)異常識別建模與實證分析[D]. 柏巍.南京大學 2014
本文編號:2912849
本文鏈接:http://sikaile.net/jingjilunwen/huobiyinxinglunwen/2912849.html
最近更新
教材專著