基于注意力機制的神經(jīng)網(wǎng)絡(luò)預測模型
發(fā)布時間:2021-06-24 03:06
對股票價格的準確預測一方面有助于決策者判斷當前的經(jīng)濟形勢,另一方面有助于投資者獲取收益。但是對股票價格進行準確預測是非常困難的,因為股票價格是非平穩(wěn)、非線性且隨機游走的時間序列,難以用傳統(tǒng)的時間序列模型擬合。隨著神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,神經(jīng)網(wǎng)絡(luò)強大的學習能力使其在很多領(lǐng)域都大放異彩,很多學者研發(fā)出各種神經(jīng)網(wǎng)絡(luò)模型用于股票市場的預測,包括多層感知機模型、卷積神經(jīng)網(wǎng)絡(luò)模型以及專門預測時間序列的遞歸神經(jīng)網(wǎng)絡(luò)模型等等,但是這些模型存在特征提取困難、預測精度較低和解釋力較弱等問題。為了解決這些問題,本文將注意力機制引入遞歸神經(jīng)網(wǎng)絡(luò)模型,注意力機制可以給各時間維度的信息賦予不同權(quán)重,區(qū)分不同信息對預測的重要程度,從而提升遞歸網(wǎng)絡(luò)模型的可解釋性和預測精度。在實證部分,本文分別構(gòu)造了多層感知機模型、卷積神經(jīng)網(wǎng)絡(luò)模型、循環(huán)神經(jīng)網(wǎng)絡(luò)模型、長短期記憶神經(jīng)網(wǎng)絡(luò)模型、門控循環(huán)單元網(wǎng)絡(luò)模型、基于注意力機制的循環(huán)神經(jīng)網(wǎng)絡(luò)模型、基于注意力機制的長短期記憶神經(jīng)網(wǎng)絡(luò)模型和基于注意力機制的門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)模型,針對上證綜指做收盤價的預測,并在不同的參數(shù)條件下做了大量的對比試驗,一方面探究注意力機制對神經(jīng)網(wǎng)絡(luò)模型預測性能的影...
【文章來源】:中國科學技術(shù)大學安徽省 211工程院校 985工程院校
【文章頁數(shù)】:59 頁
【學位級別】:碩士
【部分圖文】:
圖1多層感知機結(jié)構(gòu)??如圖1所示,輸入層與隱含層之間、隱含層與隱含層之間、隱含層與輸出??層之間是全連接的,即上一層的所有神經(jīng)元均與下一層的所有神經(jīng)元連接
圖6局部連接和權(quán)值共享??
?第3章模型介紹???圖6局部連接和權(quán)值共享??池化層也稱為下采樣層,其目的主要是保留顯著特征、特征降維、數(shù)據(jù)壓??縮、減少過擬合和提高模型的容錯性。最大池化和均值池化是最為常見的池化??過程,最大池化是指將局部區(qū)域內(nèi)的最大值當作最終的輸出值,均值池化是指??計算局部區(qū)域內(nèi)所有值的平均值當作最終的輸出值,feature?map池化后得到的??矩陣稱為pool?map。池化層有三個特征:首先使得feature?map降維,降低了網(wǎng)絡(luò)??計算的復雜度;其次池化層不會對權(quán)值進行更新,即池化過程不會增加額外的??運算量;最后池化單元具有平移不變性,輸入數(shù)據(jù)發(fā)生微小偏差時,池化仍會??返回相同的結(jié)果,以此提升魯棒性和精度。??ax?a2?b1?b2?最大池化?一,??I???max??^3?a4?^3??X???ci?c2?d2?二“r“>????均值池化?K????卜4?I?d3?I?d4?|?丨?―??圖7最大池化和均值池化??3.2.1卷積神經(jīng)網(wǎng)絡(luò)的前向傳導??假設(shè)有2個卷積層和2個池化層,卷積層的輸入是30X30的矩陣M,卷??積核是3X3的矩陣,卷積核的數(shù)量為K個,池化窗口為2X2。??在第一個卷積層,輸入矩陣經(jīng)過卷積核的卷積生成K個28X28大小的??feature?maps:??18??
【參考文獻】:
期刊論文
[1]基于多粒度時間注意力RNN的航班客座率預測[J]. 鄧玉婧,武志昊,林友芳. 計算機工程. 2020(01)
[2]GRU遞歸神經(jīng)網(wǎng)絡(luò)對股票收盤價的預測研究[J]. 黎鐳,陳藹祥,李偉書,梁偉琪,楊思桐. 計算機與現(xiàn)代化. 2018(11)
[3]基于分類的中文文本摘要方法[J]. 龐超,尹傳環(huán). 計算機科學. 2018(01)
[4]基于注意力機制的LSTM的語義關(guān)系抽取[J]. 王紅,史金釧,張志偉. 計算機應(yīng)用研究. 2018(05)
[5]時間序列模型和神經(jīng)網(wǎng)絡(luò)模型在股票預測中的分析[J]. 劉海玥,白艷萍. 數(shù)學的實踐與認識. 2011(04)
本文編號:3246232
【文章來源】:中國科學技術(shù)大學安徽省 211工程院校 985工程院校
【文章頁數(shù)】:59 頁
【學位級別】:碩士
【部分圖文】:
圖1多層感知機結(jié)構(gòu)??如圖1所示,輸入層與隱含層之間、隱含層與隱含層之間、隱含層與輸出??層之間是全連接的,即上一層的所有神經(jīng)元均與下一層的所有神經(jīng)元連接
圖6局部連接和權(quán)值共享??
?第3章模型介紹???圖6局部連接和權(quán)值共享??池化層也稱為下采樣層,其目的主要是保留顯著特征、特征降維、數(shù)據(jù)壓??縮、減少過擬合和提高模型的容錯性。最大池化和均值池化是最為常見的池化??過程,最大池化是指將局部區(qū)域內(nèi)的最大值當作最終的輸出值,均值池化是指??計算局部區(qū)域內(nèi)所有值的平均值當作最終的輸出值,feature?map池化后得到的??矩陣稱為pool?map。池化層有三個特征:首先使得feature?map降維,降低了網(wǎng)絡(luò)??計算的復雜度;其次池化層不會對權(quán)值進行更新,即池化過程不會增加額外的??運算量;最后池化單元具有平移不變性,輸入數(shù)據(jù)發(fā)生微小偏差時,池化仍會??返回相同的結(jié)果,以此提升魯棒性和精度。??ax?a2?b1?b2?最大池化?一,??I???max??^3?a4?^3??X???ci?c2?d2?二“r“>????均值池化?K????卜4?I?d3?I?d4?|?丨?―??圖7最大池化和均值池化??3.2.1卷積神經(jīng)網(wǎng)絡(luò)的前向傳導??假設(shè)有2個卷積層和2個池化層,卷積層的輸入是30X30的矩陣M,卷??積核是3X3的矩陣,卷積核的數(shù)量為K個,池化窗口為2X2。??在第一個卷積層,輸入矩陣經(jīng)過卷積核的卷積生成K個28X28大小的??feature?maps:??18??
【參考文獻】:
期刊論文
[1]基于多粒度時間注意力RNN的航班客座率預測[J]. 鄧玉婧,武志昊,林友芳. 計算機工程. 2020(01)
[2]GRU遞歸神經(jīng)網(wǎng)絡(luò)對股票收盤價的預測研究[J]. 黎鐳,陳藹祥,李偉書,梁偉琪,楊思桐. 計算機與現(xiàn)代化. 2018(11)
[3]基于分類的中文文本摘要方法[J]. 龐超,尹傳環(huán). 計算機科學. 2018(01)
[4]基于注意力機制的LSTM的語義關(guān)系抽取[J]. 王紅,史金釧,張志偉. 計算機應(yīng)用研究. 2018(05)
[5]時間序列模型和神經(jīng)網(wǎng)絡(luò)模型在股票預測中的分析[J]. 劉海玥,白艷萍. 數(shù)學的實踐與認識. 2011(04)
本文編號:3246232
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/3246232.html
最近更新
教材專著