基于詞向量多維度注意力的卷積神經(jīng)網(wǎng)絡(luò)短文本語義相似度檢測算法
發(fā)布時(shí)間:2021-05-09 09:52
信息爆炸時(shí)代的到來使得每天在互聯(lián)網(wǎng)中所流通的信息量急劇攀升,文本作為承載信息的主要載體也使得自然語言處理成為重要的議題,其中短文本相似度檢測問題是一項(xiàng)重要的議題,即對(duì)于給定的兩項(xiàng)短文本,用數(shù)字去量化它們之間的語義相似程度。在信息檢索領(lǐng)域,短文本相似度檢測算法可以幫助我們對(duì)文章進(jìn)行初步的歸類與消重。本文基于孿生卷積神經(jīng)網(wǎng)絡(luò)來處理兩項(xiàng)短文本的文本相似度問題,我們使用GloVe詞嵌入層模型用于描述短文本的特征,在嵌入層之后使用了兩個(gè)維度來計(jì)算注意力矩陣,然后對(duì)句子的特征矩陣進(jìn)行加權(quán)與原特征矩陣進(jìn)行拼接。在卷積層,我們根據(jù)計(jì)算注意力矩陣時(shí)所使用的不同維度在卷積層也使用了不同粒度的卷積核。對(duì)于詞向量維度的注意力矩陣加權(quán)拼接后的特征矩陣,我們使用整體卷積核進(jìn)行卷積計(jì)算,而對(duì)于詞向量單個(gè)維度的注意力矩陣加權(quán)拼接后的特征矩陣,我們使用單維卷積核進(jìn)行卷積計(jì)算。根據(jù)計(jì)算注意力矩陣的維度和卷積核粒度的不同,以上的過程天然將我們的模型劃分成了moduleA和moduleB兩個(gè)數(shù)據(jù)流,本文參考了Hua20He等人的池化方式對(duì)moduleA和mod...
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:63 頁
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景與意義
1.2 國內(nèi)外研究概況
1.3 本文研究方向
2 相關(guān)理論研究
2.1 基于字符統(tǒng)計(jì)的語義相似度檢測
2.2 基于神經(jīng)網(wǎng)絡(luò)的語義相似度檢測
2.3 本章小結(jié)
3 新的語義相似度檢測算法
3.1 模型概述與算法流程
3.2 多個(gè)維度的注意力
3.3 不同粒度的卷積核
3.4 多樣的池化策略
3.5 本章小結(jié)
4 實(shí)驗(yàn)結(jié)果與分析
4.1 實(shí)驗(yàn)環(huán)境
4.2 實(shí)驗(yàn)設(shè)計(jì)
4.3 實(shí)驗(yàn)結(jié)果與分析
4.4 本章小結(jié)
5 總結(jié)與展望
5.1 全文總結(jié)
5.2 展望
致謝
參考文獻(xiàn)
【參考文獻(xiàn)】:
期刊論文
[1]基于CNN和BiLSTM網(wǎng)絡(luò)特征融合的文本情感分析[J]. 李洋,董紅斌. 計(jì)算機(jī)應(yīng)用. 2018(11)
本文編號(hào):3177091
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:63 頁
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景與意義
1.2 國內(nèi)外研究概況
1.3 本文研究方向
2 相關(guān)理論研究
2.1 基于字符統(tǒng)計(jì)的語義相似度檢測
2.2 基于神經(jīng)網(wǎng)絡(luò)的語義相似度檢測
2.3 本章小結(jié)
3 新的語義相似度檢測算法
3.1 模型概述與算法流程
3.2 多個(gè)維度的注意力
3.3 不同粒度的卷積核
3.4 多樣的池化策略
3.5 本章小結(jié)
4 實(shí)驗(yàn)結(jié)果與分析
4.1 實(shí)驗(yàn)環(huán)境
4.2 實(shí)驗(yàn)設(shè)計(jì)
4.3 實(shí)驗(yàn)結(jié)果與分析
4.4 本章小結(jié)
5 總結(jié)與展望
5.1 全文總結(jié)
5.2 展望
致謝
參考文獻(xiàn)
【參考文獻(xiàn)】:
期刊論文
[1]基于CNN和BiLSTM網(wǎng)絡(luò)特征融合的文本情感分析[J]. 李洋,董紅斌. 計(jì)算機(jī)應(yīng)用. 2018(11)
本文編號(hào):3177091
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3177091.html
最近更新
教材專著