【摘要】：以Flink為代表的流數(shù)據(jù)處理引擎在實(shí)時性要求高的應(yīng)用場景被廣泛使用,正在成為繼Hadoop、Spark后的第三代大數(shù)據(jù)處理引擎。隨著信息化時代相關(guān)技術(shù)的發(fā)展,將大數(shù)據(jù)分布式計(jì)算、數(shù)據(jù)科學(xué)應(yīng)用于經(jīng)濟(jì)領(lǐng)域成為研究熱點(diǎn),股票價(jià)格作為國家經(jīng)濟(jì)、企業(yè)前景的晴雨表,對于它的預(yù)測一直是熱門話題。然而目前存在的問題是,現(xiàn)在的股票預(yù)測產(chǎn)品大都是無法做到完全的實(shí)時性,使得計(jì)算結(jié)果的業(yè)務(wù)價(jià)值隨著時間的增長而下降,從而使錯過決策的最佳時機(jī)。為了解決上述缺陷,作者的論文基于對分布式架構(gòu)以及實(shí)時計(jì)算的研究,設(shè)計(jì)了實(shí)時大數(shù)據(jù)場景下的文件入Kafka,靜態(tài)數(shù)據(jù)附加,預(yù)測,入庫四大相關(guān)組件,實(shí)現(xiàn)基于實(shí)時分布式計(jì)算的股票預(yù)測系統(tǒng),證明了該系統(tǒng)具有穩(wěn)定地對外提供短期預(yù)測的能力。具體地,本文做了以下工作:首先,本文從交易原始數(shù)據(jù)角度出發(fā),實(shí)踐了通過流水線方式處理建立的實(shí)時加工處理系統(tǒng)。其次,開發(fā)一套適用于金融領(lǐng)域的高可用序列化組件。接著,提供利用堆外內(nèi)存建立K-V型的數(shù)據(jù)倉庫的方法。然后,使用Flink作為實(shí)時計(jì)算的框架,通過窗口聚合來獲取單位時間內(nèi)的消息;在短期股票預(yù)測場景中,使用已經(jīng)存在并且實(shí)踐效果較好的邏輯回歸算法實(shí)現(xiàn)離散值預(yù)測功能,自回歸-移動平均模型實(shí)現(xiàn)連續(xù)值預(yù)測的功能。最后,在該系統(tǒng)之上,總結(jié)出通用的測量流水線上系統(tǒng)的吞吐和時延的方案,并總結(jié)出基于JVM程序性能調(diào)優(yōu)的方案。在測試方面,從分布式架構(gòu)給出測試用例,除了保證功能性測試通過之外,還將系統(tǒng)置于異常場景下測試,確保系統(tǒng)高可用方案的可行性,保證了系統(tǒng)一定程度上的容錯性,同時,使用科學(xué)的方法精確地測量并優(yōu)化了系統(tǒng)的時延和吞吐。本系統(tǒng)在實(shí)際的測試過程中,對于短期投資者量化投資場景給出了解決方案,為投資者下一步?jīng)Q策提供數(shù)據(jù)支持;對于證券交易市場監(jiān)察部門提供一種從股價(jià)分析制定告警規(guī)則的方法;同時為自動化交易平臺提供實(shí)時交易的啟發(fā)式的解決方案。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：F832.51;TP311.52
【圖文】：

據(jù)的一種抽象。ime[28]該消息發(fā)生時，該生成消息機(jī)器的系統(tǒng)始化就不會改變。singTime[28]指消息進(jìn)入到處理系統(tǒng)之后被所在計(jì)算gTime 是不斷變化的，隨著它所處的階如果處理消息的機(jī)器與生產(chǎn)消息的機(jī)器于 EventTime 的。atermark的 ProcessingTime 與 EventTime 存在 Watermark 去衡量二種時間的關(guān)系，W間的消息已經(jīng)被系統(tǒng)處理，從 EventT

聚合個標(biāo)識，與消息的某些屬性存在映射關(guān)系，大部分樣的窗口也叫時間窗口。統(tǒng)的消息格式為三元組 T<key，value，time>，存在dowID=M(T) 所有消息的通過映射關(guān)系找到自己所屬護(hù)一個字典：N:<WindowID,{T| WindowID=M(T)}>indowID，值為通過映射關(guān)系 M 計(jì)算得到的結(jié)果為 W。窗口與滑動窗口2 所示，固定窗口的大小是固定的，假設(shè)窗口是時間時間長度是固定的，并且同時每個窗口互不交疊，口中。的時間由窗口時間與滑動時間構(gòu)成，兩個時間都是意味著消息可以同時存在于多個不同的窗口中。

圖 2-3 批處理系統(tǒng)的窗口聚合[24]圖 2-3，12:00 至 12:08 內(nèi)產(chǎn)生的數(shù)據(jù)在 12:09 時刻內(nèi)統(tǒng)一處理ark 是一條直線，意味著批處理應(yīng)用中先產(chǎn)生的數(shù)據(jù)只能等待數(shù)據(jù)到達(dá)才能計(jì)算。批處理過程中的窗口計(jì)算中每當(dāng) Watermar界時觸發(fā)窗口聚合，但是各個窗口的累加計(jì)算基本是同時在始，計(jì)算的時間集中在比較短的時間內(nèi)。微批處理的 Window 操作

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 周江;王偉平;孟丹;馬燦;古曉艷;蔣杰;;面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2014年02期

2 劉曉平;石慧;凌實(shí);杜琳;田衛(wèi)東;;基于信號量的生產(chǎn)者-消費(fèi)者問題設(shè)計(jì)與分析[J];合肥工業(yè)大學(xué)學(xué)報(bào)(社會科學(xué)版);2008年05期

3 李正宏;波羅的海運(yùn)價(jià)指數(shù)波動規(guī)律研究與預(yù)測[J];上海海事大學(xué)學(xué)報(bào);2004年04期

4 徐向陽;卡方檢驗(yàn)在學(xué)生成績差異性分析中的應(yīng)用[J];常州技術(shù)師范學(xué)院學(xué)報(bào);2001年04期

相關(guān)碩士學(xué)位論文 前8條

1 張輝;我國居民理財(cái)方式和資產(chǎn)結(jié)構(gòu)的演變分析[D];浙江工業(yè)大學(xué);2016年

2 王輝;基于改進(jìn)K-means算法的股票預(yù)測研究與實(shí)現(xiàn)[D];湖南大學(xué);2016年

3 田文星;半導(dǎo)體制造中嵌套性工藝參數(shù)的統(tǒng)計(jì)過程控制研究[D];西安電子科技大學(xué);2015年

4 姜樂;基于時間序列的股票價(jià)格分析研究與應(yīng)用[D];大連理工大學(xué);2015年

5 項(xiàng)凱;面向海量高并發(fā)數(shù)據(jù)庫中間件的研究與應(yīng)用[D];上海交通大學(xué);2015年

6 田志偉;貝葉斯神經(jīng)網(wǎng)絡(luò)在股票預(yù)測中的應(yīng)用[D];江南大學(xué);2011年

7 尹璐;基于GA-BP神經(jīng)網(wǎng)絡(luò)的股票預(yù)測理論及應(yīng)用[D];華北電力大學(xué)（北京）;2010年

8 王莎;BP神經(jīng)網(wǎng)絡(luò)在股票預(yù)測中的應(yīng)用研究[D];中南大學(xué);2008年

本文編號：2763079