卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)是當(dāng)前自然語(yǔ)言處理主要采用的特征抽取方法,但是兩者在抽取長(zhǎng)程依賴(lài)特征時(shí)有各自的局限性,因此提出了基于自注意力機(jī)制的企業(yè)關(guān)系抽取模型。通過(guò)自注意力模型進(jìn)一步計(jì)算每個(gè)詞的長(zhǎng)程依賴(lài)特征,有效捕獲了句子內(nèi)部結(jié)構(gòu)。同時(shí)使用詞匯層和句子層注意力機(jī)制從不同層次抽取與關(guān)系分類(lèi)更相關(guān)的特征,相對(duì)于其他模型,網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單。在公開(kāi)的公司關(guān)系數(shù)據(jù)中,準(zhǔn)確率和召回率明顯提升,多頭自注意力的特征抽取能力較Bi-GRU強(qiáng),其F值有2%的提升。通過(guò)實(shí)驗(yàn)可知,該模型在企業(yè)關(guān)系抽取中優(yōu)于其他經(jīng)典網(wǎng)絡(luò)。 

【文章來(lái)源】：電子測(cè)量技術(shù). 2020,43(10)

【文章頁(yè)數(shù)】：5 頁(yè)

【部分圖文】：

自注意模型結(jié)構(gòu)

基于自注意模型的企業(yè)關(guān)系抽取網(wǎng)絡(luò)

圖3表示本文網(wǎng)絡(luò)與經(jīng)典網(wǎng)絡(luò)的性能對(duì)比PR圖。通過(guò)表2可知,CNN的多種形式在企業(yè)關(guān)系抽取任務(wù)中性能不佳。CNN由于卷積核的窗口大小限制了對(duì)長(zhǎng)程依賴(lài)特征的抽取。同時(shí)多頭自注意力的特征抽取能力較Bi-GRU強(qiáng),其性能有2%的提升。因此本文提出的網(wǎng)絡(luò)在企業(yè)關(guān)系抽取任務(wù)中適應(yīng)性強(qiáng),對(duì)于長(zhǎng)程依賴(lài)特征抽取能力強(qiáng),效果較其他網(wǎng)絡(luò)有較大提高。

【參考文獻(xiàn)】：
期刊論文
[1]基于特征向量與SVO擴(kuò)展的企業(yè)生態(tài)關(guān)系抽取[J]. 代江波,毛建華,劉學(xué)鋒,張鴻洋.  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(10)
[2]基于情感詞典與LDA模型的股市文本情感分析[J]. 延豐,杜騰飛,毛建華,劉學(xué)鋒.  電子測(cè)量技術(shù). 2017(12)



本文編號(hào)：3116143