經(jīng)過多年的發(fā)展,證券行業(yè)積累大量的結構化和非結構化數(shù)據(jù)。證券行業(yè)大數(shù)據(jù)在給市場參與者提供更加豐富和全面的信息的同時,也帶來大數(shù)據(jù)分析和處理的新挑戰(zhàn)。傳統(tǒng)的依靠人對海量數(shù)據(jù)閱讀分析并做出投資決策的模式在大數(shù)據(jù)時代已經(jīng)變得不再現(xiàn)實。將機器智能分析逐漸代替人工分析已經(jīng)成為行業(yè)未來發(fā)展的一大趨勢。文本的表示是智能分析的關鍵步驟,前人的研究通過設計特征模板,從原始數(shù)據(jù)中提取特征表示作為機器學習算法的輸入。這類特征模板的設計需要人工參與,費時費力,且常常需要領域專家的知識。同時,對于較復雜的應用,特征的維度可能非常高（高達千萬維）且稀疏,且這些特征往往只能運用于特定的領域,無法很好地在不同應用和語言中進行遷移。證券市場行情的變化高度復雜,需要對信息的深度理解�；谏疃壬窠�(jīng)網(wǎng)絡的文本表示學習相對于基于離散特征的模型能夠更好地表示文本語義,且具有強大的非線性擬合能力,能夠更好地刻畫特征與學習目標之間的聯(lián)系。如何將其運用于證券市場行情預測是一個非常值得深入研究和探索的課題。然而相關工作才剛剛起步,還存在預測模型建立在淺層的文本理解基礎上、沒有有效融合知識、模型的可解釋性不足等問題。針對以上問題,我們提出... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：127 頁

【學位級別】：博士

【部分圖文】：

上下文相關的詞向量模型ELMo，GPT和BERT

第1章緒論圖1-2循環(huán)神經(jīng)網(wǎng)絡，遞歸神經(jīng)網(wǎng)絡以及卷積神經(jīng)網(wǎng)絡的結構Fig.1-2Thestructureofrecurrentneuralnetwork,recursiveneuralnetworkandconvolutionalneuralnetwork.子序列，送入網(wǎng)絡的隱含層后計算的到當前輸入的隱含狀態(tài)。循環(huán)神經(jīng)的網(wǎng)絡的每一步可以形式化為ht=fθ(xt,ht1)，其中xt表示當前的輸入，ht1表示上一個隱含層的狀態(tài)，ht表示當前輸入對應的隱含層，f為隱含層的計算函數(shù)，θ表示函數(shù)中的可訓練參數(shù)。從循環(huán)神經(jīng)網(wǎng)絡的定義可以看出，當前的隱含狀態(tài)ht不僅依賴于當前的輸入xt，也依賴于上一步的隱含狀態(tài)ht1。同時，網(wǎng)絡的參數(shù)是全局共享的。理論上，網(wǎng)絡最后輸出的隱含狀態(tài)包含了整個句子的信息，可以作為句子的向量表示運用在下游任務中。當然，對序列所有的隱層狀態(tài)進行平均池化、最大池化也是常用的獲得句子表示的方法。簡單的循環(huán)神經(jīng)網(wǎng)絡在處理較長序列時，容易a)長短期記憶網(wǎng)絡的結構a)Thestructureoflongshort-termmemorynetwork.b)門限循環(huán)單元的結構b)Thestructureofgatedrecurrentunit.圖1-3LSTM和GRU示意圖Fig.1-3ThestructureofLSTMandGRU.-7-

第1章緒論圖1-4層次的文檔表示網(wǎng)絡的結構Fig.1-4Thearchitectureofhierarchicalneuralnetworkfordocumentrepresentation.之后再利用篇章向量和句子向量解碼重建原來的篇章。通過這種訓練方法，它們使得模型具有了編碼篇章句法和語義信息的能力。Tang等[50]提出了基于GRU的篇章表示模型，如圖1-4a)所示。模型中使用兩層結構。底層的為LSTM或CNN，負責詞組合成句子的語義表示。上層的雙向GRU將句子語義通過平均池化組合成篇章語義。在Tang等[50]的基礎上，Yang等[51]提出了層次注意力網(wǎng)絡（HierarchicalAttentionNetwork），如圖1-4b）所示。Tang等[50]認為每個詞和每個句子的重要性是相同的，因此使用的是對隱含層向量進行平均池化的方法。而Yang等[51]的層次注意力網(wǎng)絡則認為每個詞，每個句子的重要性不一樣，因此通過注意力機制[4]對詞和句子賦予了不同的權重。上面提到的三種方法都是通過順序的方式建模句子之間的關系，Ji等[52]提出基于篇章結構的篇章建模方法。其首先利用篇章結構解析器得到篇章中句子之間的關系，之后利用遞歸神經(jīng)網(wǎng)絡結合篇章關系對篇章進行建模。在多個篇章級文本分類的實驗結果表明，結合篇章結構的方法取得了更好的效果。同時他們也發(fā)現(xiàn)篇章結構解析器的準確率對篇章分類的效果有較大的影響。1.2.2基于社會媒體的市場行情預測近年來，隨著社會媒體的興起，各個社會媒體平臺上用戶生成的內(nèi)容呈爆炸式地增長。社會媒體涵蓋的范圍非常廣泛，既包括發(fā)布個人信息的社交網(wǎng)絡，也包括論壇以及博客等。人們在這些平臺上分享自己的生活，發(fā)表評論、意見以及觀點。由于社會媒體的這些特點，其常被作為現(xiàn)實世界在網(wǎng)絡虛擬世界的一個映射。因此，許多已有工作通過分析社會媒體中用戶生成的內(nèi)容來預測現(xiàn)實世界中的一?

【參考文獻】：
期刊論文
[1]知識圖譜研究進展[J]. 漆桂林,高桓,吳天星.  情報工程. 2017(01)
[2]深度學習的昨天、今天和明天[J]. 余凱,賈磊,陳雨強,徐偉.  計算機研究與發(fā)展. 2013(09)



本文編號：3502385