在統(tǒng)計(jì)和金融交叉的應(yīng)用領(lǐng)域中,股票市場(chǎng)是一個(gè)變量上數(shù)量和關(guān)系都錯(cuò)綜復(fù)雜的非線(xiàn)性系統(tǒng),如何能夠準(zhǔn)確地預(yù)測(cè)其未來(lái)的價(jià)格變化是非常值得研究的方向。傳統(tǒng)的統(tǒng)計(jì)學(xué)習(xí)方法在實(shí)際應(yīng)用中很難處理這么錯(cuò)綜復(fù)雜的關(guān)系,很難準(zhǔn)確地提取股票數(shù)據(jù)蘊(yùn)含地?cái)?shù)據(jù),隨著計(jì)算機(jī)硬件和深度學(xué)習(xí)地相互發(fā)展,越來(lái)越多的深度學(xué)習(xí)方法被使用在股票市場(chǎng)預(yù)測(cè)中來(lái)。本文的研究?jī)?nèi)容主要在于如何在股票市場(chǎng)的預(yù)測(cè)中使用深度學(xué)習(xí)的技術(shù)得到更為準(zhǔn)確的結(jié)果。近幾年,注意力機(jī)制在NLP領(lǐng)域中已經(jīng)獲得了很大的成功,也帶動(dòng)了很多在時(shí)間序列預(yù)測(cè)方面的應(yīng)用。由于股票數(shù)據(jù)中充斥著大量的噪聲,并且變量之間的關(guān)系也很復(fù)雜,基于這一性質(zhì),本文提出了一個(gè)基于注意力機(jī)制的模型來(lái)預(yù)測(cè)股票價(jià)格,構(gòu)建了基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的編碼器-解碼器結(jié)構(gòu),使用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制來(lái)提取股票市場(chǎng)的歷史數(shù)據(jù)中的信息,并且在編碼器部分加入了兩階段的注意力機(jī)制,可以分別從橫向和縱向可以更好地捕捉數(shù)據(jù)的隱藏狀態(tài)相互之間的關(guān)系,可以更準(zhǔn)確的提取股票歷史數(shù)據(jù)中的內(nèi)在信息,并在解碼器加入了一個(gè)注意力機(jī)制,以此來(lái)對(duì)未來(lái)的股票波動(dòng)變化趨勢(shì)進(jìn)行預(yù)測(cè),通過(guò)實(shí)驗(yàn)對(duì)比,改進(jìn)模型的準(zhǔn)確率進(jìn)一步提升,通過(guò)對(duì)... 

【文章來(lái)源】：蘭州大學(xué)甘肅省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：46 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

RNN的結(jié)構(gòu)

蘭州大學(xué)碩士學(xué)位論文基于注意力機(jī)制的股票預(yù)測(cè)分析圖2-2LSTM細(xì)胞結(jié)構(gòu)遺忘門(mén)：在我們的LSTM中的第一步是通過(guò)使用遺忘門(mén)這一結(jié)構(gòu)選擇對(duì)于輸入進(jìn)來(lái)的信息，我們需要遺忘哪些信息然后再繼續(xù)向下傳播。對(duì)于時(shí)間t的神經(jīng)細(xì)胞單元，該門(mén)會(huì)讀取前一個(gè)時(shí)刻的隱藏狀態(tài)1和時(shí)間t的輸入，然后經(jīng)過(guò)一個(gè)函數(shù)輸出一個(gè)在0到1之間的數(shù)值給前一個(gè)時(shí)刻的細(xì)胞狀態(tài)1，表示細(xì)胞狀態(tài)1中的哪些信息需要被遺忘和哪些信息會(huì)繼續(xù)傳播下去。1表示全部的信息都將向下傳播，0表示所有的信息都被遺忘不繼續(xù)向下傳播。LSTM經(jīng)過(guò)學(xué)習(xí)確定網(wǎng)絡(luò)需要丟棄和儲(chǔ)存上一個(gè)狀態(tài)百分之多少的信息繼續(xù)向前傳播。遺忘門(mén)的計(jì)算公式為：=(·[1,]+).其中，為權(quán)重矩陣，為偏置項(xiàng)，為Sigmoid函數(shù)。輸入門(mén)：LSTM通過(guò)這個(gè)門(mén)來(lái)決定新的輸入信息有哪些會(huì)輸入到當(dāng)前t時(shí)刻的神經(jīng)細(xì)胞單元里，這個(gè)門(mén)是使用一個(gè)函數(shù)來(lái)決定新的信息中有哪些會(huì)被保留和舍棄。=(·[1,]+).=(·[1,]+).在使用了前面的兩個(gè)門(mén)后，我們就知道該如何更新當(dāng)前的細(xì)胞單元的信息狀態(tài)了。更新方式為：=*1+*.11

蘭州大學(xué)碩士學(xué)位論文基于注意力機(jī)制的股票預(yù)測(cè)分析圖2-3Google的Attention翻譯器結(jié)構(gòu)Encoder：這里的編碼器結(jié)構(gòu)是由幾個(gè)獨(dú)立的結(jié)構(gòu)構(gòu)成的，每個(gè)結(jié)構(gòu)里邊都包含兩層結(jié)構(gòu)。輸入數(shù)據(jù)進(jìn)入第一個(gè)結(jié)構(gòu)是一個(gè)多頭注意力結(jié)構(gòu)，然后再經(jīng)過(guò)下一個(gè)結(jié)構(gòu)是一個(gè)前向傳播的神經(jīng)網(wǎng)絡(luò)，將得到的結(jié)果向前傳播。Decoder：解碼器也是由幾個(gè)獨(dú)立的結(jié)構(gòu)組成。但是和編碼器不同的一點(diǎn)，就是解碼器不同于編碼器是兩個(gè)結(jié)構(gòu)，它用了三個(gè)結(jié)構(gòu)，用于對(duì)從編碼器得到的信息做多頭注意力機(jī)制，不同的那個(gè)結(jié)構(gòu)實(shí)在多頭注意力機(jī)制上加了一個(gè)Masked，這是為了很好的保存和學(xué)習(xí)序列的順序信息�？梢钥闯�，這個(gè)結(jié)構(gòu)完全沒(méi)用神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行編碼和解碼，而是只用了幾個(gè)注意力結(jié)構(gòu)拼接組合，得到了非常好的效果。14

【參考文獻(xiàn)】：
期刊論文
[1]金融時(shí)間序列的數(shù)據(jù)挖掘技術(shù)與經(jīng)典統(tǒng)計(jì)模型的比較[J]. 胡桔州,蘭秋軍.  系統(tǒng)工程. 2005(06)



本文編號(hào)：3224700