針對核輻射安全監(jiān)管部門檢查建議所含違法違規(guī)行為自動識別并分類難的問題,建立語義分類自動研判模型,輔助有關部門豐富智能化管理體系,依靠數據進行科學決策,實現監(jiān)管效率及質量的有效提高。將詞和字符兩個不同嵌入級別的特征向量輸入到雙路卷積神經網絡中,并引入語義位置注意力機制,建立基于字詞雙維度語義分析的違法違規(guī)研判模型。該方法不僅能夠有效防止信息丟失,還能提取出更豐富的文本特征,強化領域關鍵詞匯對分類準確率的幫助。實驗結果表明本文建立的模型優(yōu)于傳統(tǒng)語義分類模型,能夠有效提高分類準確度。 

【文章來源】：科學技術與工程. 2020,20(25)北大核心

【文章頁數】：6 頁

【部分圖文】：

CBOW與skip-gram模型示意圖

卷積神經網絡包括一個或多個卷積層和池化層。每個卷積層由一組具有可學習權重和偏差的神經元組成。每個神經元都用一些輸入進行非線性運算,旨在從大量樣本中自動學習復雜,高維,非線性映射的特征[8]�，F提出一種基于位置感知注意力機制的雙維度CNN句子分類模型。首先將文本輸入按照詞語和字符兩種級別進行分詞,并使用word2vec進行向量化,然后對特征向量分別卷積,對卷積層的輸出進行最大值池化,之后全連接兩路池化信息得到輸出。模型整體結構如圖2所示。2.1.1 輸入層

傳統(tǒng)LSTM注意力機制模型中,詞語的注意力權重依賴于隱層表示,機制模型如圖3所示。該模型沒有考慮位置信息,現將位置感知影響力與傳統(tǒng)注意力機制結合,突出關鍵詞的重要性,位置感知注意力機制模型如圖4所示。

【參考文獻】：
期刊論文
[1]Text-CRNN+attention架構下的多類別文本信息分類[J]. 盧健,馬成賢,楊騰飛,周嫣然.  計算機應用研究. 2020(06)
[2]基于卷積神經網絡與隨機森林算法的專利文本分類模型[J]. 胡杰,李少波,于麗婭,楊觀賜.  科學技術與工程. 2018(06)
[3]基于注意機制編碼解碼模型的答案選擇方法（英文）[J]. Yuan-ping NIE,Yi HAN,Jiu-ming HUANG,Bo JIAO,Ai-ping LI.  Frontiers of Information Technology & Electronic Engineering. 2017(04)
[4]基于卷積神經網絡的微博情感傾向性分析[J]. 劉龍飛,楊亮,張紹武,林鴻飛.  中文信息學報. 2015(06)



本文編號：3609572