我國的證券市場(chǎng)不斷的在發(fā)展繁榮,不斷的有新的企業(yè)在國內(nèi)上市,交易量也不斷增長,其規(guī)模的擴(kuò)大也推動(dòng)著我國實(shí)體經(jīng)濟(jì)向前發(fā)展。然而由于政治、行業(yè)、輿情等大幅變化會(huì)對(duì)造成證券市場(chǎng)的波動(dòng),而證券市場(chǎng)具有聯(lián)動(dòng)、易發(fā)等特點(diǎn)會(huì)反作用于實(shí)體經(jīng)濟(jì),阻礙著經(jīng)濟(jì)的發(fā)展。因此,有必要對(duì)當(dāng)前我國證券市場(chǎng)風(fēng)險(xiǎn)的進(jìn)行評(píng)估,實(shí)時(shí)對(duì)證券市場(chǎng)的異常行為進(jìn)行監(jiān)管,越早的發(fā)現(xiàn)證券市場(chǎng)的異常情況就可以越快的進(jìn)行應(yīng)對(duì)。而當(dāng)今證券監(jiān)管部門所面臨的業(yè)務(wù)痛點(diǎn):1)數(shù)據(jù)量大造成高時(shí)延,不能滿足高速變化的豐富市場(chǎng)需求;2)異常檢測(cè)規(guī)則的閾值依賴業(yè)務(wù)領(lǐng)域?qū)＜议L期積累的業(yè)務(wù)經(jīng)驗(yàn),不能隨著市場(chǎng)的變化及時(shí)修正。而隨著分布式系統(tǒng)的成熟穩(wěn)定,流計(jì)算技術(shù)的產(chǎn)生和近年來的不斷發(fā)展,以及各種機(jī)器學(xué)習(xí)相等算法涌現(xiàn),考慮構(gòu)建基于流計(jì)算的證券數(shù)據(jù)流異常檢測(cè)系統(tǒng),設(shè)計(jì)了實(shí)時(shí)數(shù)據(jù)源接入、實(shí)時(shí)數(shù)據(jù)預(yù)處理、實(shí)時(shí)異常檢測(cè)和實(shí)時(shí)異常推出四大模塊,對(duì)證券數(shù)據(jù)流進(jìn)行異常檢測(cè)并達(dá)到實(shí)時(shí)的秒級(jí)告警,從而提高監(jiān)管效率,確保異常發(fā)現(xiàn)的實(shí)時(shí)性。具體地,本文做了以下工作:首先,本文對(duì)交易系統(tǒng)產(chǎn)生的實(shí)時(shí)增長的證券數(shù)據(jù)進(jìn)行分析,嘗試了使用實(shí)時(shí)流計(jì)算框架對(duì)數(shù)據(jù)進(jìn)行接入,設(shè)計(jì)了使用Kafka作為數(shù)據(jù)... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：90 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

流架構(gòu)處理圖

Apache Flink[31]是一個(gè)用于對(duì)無邊界和有邊界數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算的框架和分布式處理引擎。Flink 設(shè)計(jì)為運(yùn)行在所有常見的集群環(huán)境中，并且以內(nèi)存速度和任意規(guī)模執(zhí)行計(jì)算。Apache Flink 擅長處理無邊界和有邊界數(shù)據(jù)集。在事件和狀態(tài)上的精確控制使得 Flink 運(yùn)行時(shí)能在無邊界流上運(yùn)行任意類型的應(yīng)用程序。有界流由算法和數(shù)據(jù)結(jié)構(gòu)內(nèi)部處理，這些算法和數(shù)據(jù)結(jié)構(gòu)專門針對(duì)固定大小的數(shù)據(jù)集而設(shè)計(jì)，從而獲得優(yōu)秀的性能。Flink 可與所有常見的集群資源管理器（如 Hadoop YARN，Apache Mesos 和 Kubernetes）集成，但也可以作為獨(dú)立集群運(yùn)行。Flink 旨在以任意規(guī)模運(yùn)行有狀態(tài)流式應(yīng)用程序。應(yīng)用程序可以并行化為數(shù)千個(gè)在集群中分布和同時(shí)執(zhí)行的任務(wù)。因此，應(yīng)用程序可以利用幾乎無限量的 CPU，內(nèi)存，磁盤和網(wǎng)絡(luò) IO。Flink 應(yīng)用程序基于狀態(tài)進(jìn)行處理，針對(duì)本地狀態(tài)訪問進(jìn)行了優(yōu)化（圖 2-2）。任務(wù)狀態(tài)始終駐留在內(nèi)存中，或者，如果狀態(tài)大小超過可用內(nèi)存，則通過數(shù)據(jù)結(jié)構(gòu)使用可訪問高效的磁盤記錄狀態(tài)。因此，任務(wù)通過訪問本地（通常是內(nèi)存中）狀態(tài)來執(zhí)行所有計(jì)算，從而產(chǎn)生非常低的處理延遲。Flink 通過定期和異步檢查點(diǎn)將本地狀態(tài)到持久存儲(chǔ)來保證在出現(xiàn)故障時(shí)的精確一次的狀態(tài)一致性。

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文該客戶端（Client）是不運(yùn)行時(shí)和程序執(zhí)行的一部分，而是被用來準(zhǔn)備和發(fā)送的數(shù)據(jù)流的 JobManager。之后，客戶端可以斷開連接或保持連接以接收進(jìn)度報(bào)告。客戶端既可以作為觸發(fā)執(zhí)行的 Java / Scala 程序的一部分運(yùn)行，也可以在命令行進(jìn)程中運(yùn)行。

【參考文獻(xiàn)】：
期刊論文
[1]2018經(jīng)濟(jì)大盤點(diǎn)[J]. 華君.  檢察風(fēng)云. 2018(24)
[2]警惕股權(quán)質(zhì)押演變?yōu)橄到y(tǒng)性風(fēng)險(xiǎn)[J]. 韓復(fù)齡.  大眾理財(cái)顧問. 2018(11)
[3]數(shù)據(jù)挖掘技術(shù)在通信行業(yè)審計(jì)工作中的應(yīng)用[J]. 敬智勇.  中國內(nèi)部審計(jì). 2018(08)
[4]基于Flink平臺(tái)的應(yīng)用研究[J]. 蔡鯤鵬.  現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化. 2017(02)
[5]大數(shù)據(jù)量多進(jìn)程環(huán)境下生產(chǎn)者消費(fèi)者模式實(shí)現(xiàn)研究[J]. 陳勇.  電腦編程技巧與維護(hù). 2015(24)
[6]基于發(fā)布/訂閱的推模式服務(wù)調(diào)用[J]. 劉軍霞,熊選東,付建丹.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2012(12)
[7]多種單位根檢驗(yàn)法的比較研究[J]. 房林,鄒衛(wèi)星.  數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究. 2007(01)
[8]具有AR（1）誤差的非線性隨機(jī)效應(yīng)模型中自相關(guān)系數(shù)的擾動(dòng)診斷[J]. 楊愛軍,林金官,韋博成.  應(yīng)用數(shù)學(xué). 2006(04)
[9]離群數(shù)據(jù)挖掘綜述[J]. 黃洪宇,林甲祥,陳崇成,樊明輝.  計(jì)算機(jī)應(yīng)用研究. 2006(08)
[10]異常檢測(cè)算法分析[J]. 李炎,李皓,錢肖魯,朱揚(yáng)勇.  計(jì)算機(jī)工程. 2002(06)

博士論文
[1]中國證券市場(chǎng)風(fēng)險(xiǎn)防范研究[D]. 國家.遼寧大學(xué) 2016

碩士論文
[1]基于SparkStreaming的網(wǎng)絡(luò)資源管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 黃哲.南京郵電大學(xué) 2018
[2]基于Bayesian Network系統(tǒng)狀態(tài)異常檢測(cè)算法研究與實(shí)現(xiàn)[D]. 于永躍.大連理工大學(xué) 2018
[3]基于數(shù)據(jù)挖掘的動(dòng)環(huán)監(jiān)控系統(tǒng)告警相關(guān)性研究[D]. 賈海濤.北京交通大學(xué) 2018
[4]中國資產(chǎn)證券化政府監(jiān)管對(duì)策研究[D]. 于佳卉.遼寧師范大學(xué) 2018
[5]基于MapReduce的醫(yī)學(xué)數(shù)據(jù)并行聚類算法研究[D]. 肖錦波.湖南大學(xué) 2016
[6]基于MyCAT的分布式數(shù)據(jù)存儲(chǔ)研究與應(yīng)用[D]. 王蔥.東華大學(xué) 2016
[7]基于數(shù)據(jù)挖掘技術(shù)的證券交易異常行為檢測(cè)研究與實(shí)現(xiàn)[D]. 謝聞博.北京郵電大學(xué) 2016
[8]基于流計(jì)算的推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 陳俊安.南京郵電大學(xué) 2015
[9]面向數(shù)據(jù)處理的流計(jì)算關(guān)鍵技術(shù)研究[D]. 于悅.南京郵電大學(xué) 2013
[10]面向不確定感知數(shù)據(jù)的異常數(shù)據(jù)檢測(cè)技術(shù)[D]. 王斌.東北大學(xué) 2009



本文編號(hào)：3385011