針對軍事領(lǐng)域標(biāo)注文本不足的問題,結(jié)合實體識別技術(shù),提出了基于自注意力（Transform-er）雙向語義表征模型（BERT）、雙向長短時記憶網(wǎng)絡(luò)（Bi-LSTM）和條件隨機(jī)場（CRF）的軍事命名實體識別框架（BERT-Bi-LSTM-CRF）。該框架以字、字位置、語義塊及詞性作為模型輸入特征,通過BERT網(wǎng)絡(luò)遷移學(xué)習(xí),獲得通用領(lǐng)域語義編碼特征,再利用Bi-LSTM解碼軍事語義特征,最后通過CRF實現(xiàn)序列預(yù)測。試驗結(jié)果表明,該框架相對于現(xiàn)有基準(zhǔn)方法在準(zhǔn)確率、召回率和F1值上表現(xiàn)良好。 

【文章來源】：指揮信息系統(tǒng)與技術(shù). 2020,11(02)

【文章頁數(shù)】：6 頁

【部分圖文】：

BERT-Bi-LSTM-CRF組成

圖2給出了7種算法在前10次迭代的F1準(zhǔn)確率�？梢姡珺ERT?Bi?LSTM?CRF和BERT?DNN?CRF 2種算法初始化準(zhǔn)確率明顯高于其他算法，而且接近最終準(zhǔn)確率。這主要歸功于BERT算法的通用表示能力。而且由于Bi?LSTM算法的雙向性和LSTM的輸入門、遺忘門、輸出門及長期記憶的設(shè)計，使得該算法更能解碼軍事行業(yè)的文本的上下文之間的關(guān)系，準(zhǔn)確率也略高于BERT?DNN?CRF算法。準(zhǔn)確率關(guān)鍵指標(biāo)對比如表2所示。表2中，P1為首次穩(wěn)定F1準(zhǔn)確率；n為首次穩(wěn)定迭代數(shù)；P2為首次迭代F1準(zhǔn)確率；P3為最終F1準(zhǔn)確率�；贐ERT算法的BERT?Bi?LSTM?CRF和BERT?DNN?CRF2種算法僅需不到10次迭代，其首次穩(wěn)定準(zhǔn)確率均超過90%，達(dá)到穩(wěn)定的速度明顯快于其他算法，首次迭代準(zhǔn)確率較高，且最終準(zhǔn)確率均高于其他算法。指標(biāo)對比表明，基于BERT的遷移學(xué)習(xí)算法具有較強(qiáng)的領(lǐng)域適應(yīng)性。

7種算法最終準(zhǔn)確率對比如圖3所示�；贐ERT算法的BERT?Bi?LSTM?CRF和BERT?DNN?CRF 2種算法的準(zhǔn)確率略高于其他5種算法，與Bi?LSTM?CRF算法較接近，主要因為Bi?LSTM?CRF算法具備雙向性、長短時間記憶性及CRF解決序列預(yù)測的能力。使得上述3種算法均能收斂于相對較高的F1準(zhǔn)確率。而BERT?Bi?LSTM?CRF和BERT?DNN?CRF 2種算法因為BERT算法的通用表示能力，具備了更快達(dá)到最終準(zhǔn)確率的優(yōu)勢。4類算法的泛化能力對比如圖4所示。算法的泛化能力指訓(xùn)練集和測試集F1準(zhǔn)確率的差異，也就是差異越低其泛化能力越強(qiáng)。BERT類算法主要包括BERT?Bi?LSTM?CRF和BERT?DNN?CRF算法；Bi?LSTM類算法主要包括Bi?LSTM?CRF,Bi?LSTM?CNN?CRF和Bi?LSTM算法。試驗結(jié)果表明，BERT類算法泛化能力明顯高于Bi?LSTM類算法，而Bi?LSTM類算法的泛化能力接近于DILA?TION?CRF算法。

【參考文獻(xiàn)】：
期刊論文
[1]基于BLSTM的命名實體識別方法[J]. 馮艷紅,于紅,孫庚,孫娟娟.  計算機(jī)科學(xué). 2018(02)
[2]結(jié)合詞語規(guī)則和SVM模型的軍事命名實體關(guān)系抽取方法[J]. 單赫源,吳照林,張海粟,劉培磊.  指揮控制與仿真. 2016(04)
[3]面向軍事文本的命名實體識別[J]. 馮蘊(yùn)天,張宏軍,郝文寧.  計算機(jī)科學(xué). 2015(07)
[4]信息抽取在戰(zhàn)略情報研究中的應(yīng)用[J]. 袁林.  指揮信息系統(tǒng)與技術(shù). 2012(01)
[5]CRF與規(guī)則相結(jié)合的軍事命名實體識別研究[J]. 姜文志,顧佼佼,叢林虎.  指揮控制與仿真. 2011(04)



本文編號：3060826