中文標(biāo)點(diǎn)符號(hào)預(yù)測(cè)是自然語(yǔ)言處理的一項(xiàng)重要任務(wù),能夠幫助人們消除歧義,更準(zhǔn)確地理解文本。為解決傳統(tǒng)自注意力機(jī)制模型不能處理序列位置信息的問(wèn)題,提出一種基于自注意力機(jī)制的中文標(biāo)點(diǎn)符號(hào)預(yù)測(cè)模型。在自注意力機(jī)制的基礎(chǔ)上堆疊多層Bi-LSTM網(wǎng)絡(luò),并結(jié)合詞性與語(yǔ)法信息進(jìn)行聯(lián)合學(xué)習(xí),完成標(biāo)點(diǎn)符號(hào)預(yù)測(cè)。自注意力機(jī)制可以捕獲任意兩個(gè)詞的關(guān)系而不依賴(lài)距離,同時(shí)詞性和語(yǔ)法信息能夠提升預(yù)測(cè)標(biāo)點(diǎn)符號(hào)的正確率。在真實(shí)新聞數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該模型F1值達(dá)到85.63%,明顯高于傳統(tǒng)CRF、LSTM預(yù)測(cè)方法,可實(shí)現(xiàn)對(duì)中文標(biāo)點(diǎn)符號(hào)的準(zhǔn)確預(yù)測(cè)。 

【文章來(lái)源】：計(jì)算機(jī)工程. 2020,46(05)北大核心CSCD

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

Bi-LSTM序列標(biāo)注模型結(jié)構(gòu)

DABLSTM神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

多頭注意力機(jī)制計(jì)算過(guò)程


本文編號(hào)：3114484