本文關(guān)鍵詞：一種神經(jīng)范疇標注模型

  更多相關(guān)文章： 范疇標注 分布式表示 神經(jīng)語言模型 束搜索

【摘要】：范疇標注是組合范疇語法解析中的子任務(wù)之一,可用于提高解析器的效率和性能.傳統(tǒng)的最大熵模型需要手工定義特征模板,神經(jīng)網(wǎng)絡(luò)則通過隱含層學習到離散特征的分布式表示,從而自動提取分類需要的特征.引入該模型來解決該問題,在原有神經(jīng)語言模型的基礎(chǔ)上加入了向量化的詞性表示層和范疇表示層,并通過反向傳播自動更新詞向量、詞性向量和范疇向量,學習到它們的分布式表示.此外,在預(yù)測時采用束搜索的序列解碼方式來引入標簽之間的依賴信息.實驗結(jié)果表明,這兩種改進都能提升模型的性能,使其在范疇標注任務(wù)上比傳統(tǒng)的最大熵模型效果要好(提升1%).
【作者單位】： 模式識別國家重點實驗室(中國科學院自動化研究所);中國科學院大學;中國科學院腦科學與智能技術(shù)卓越創(chuàng)新中心;
【關(guān)鍵詞】： 范疇標注 分布式表示 神經(jīng)語言模型 束搜索
【基金】：國家自然科學基金(61333018) 中國科學院戰(zhàn)略性先導(dǎo)科技專項(XDB02070007)~~
【分類號】：TP183;TP391.1
【正文快照】： 組合范疇語法(combinatory categorical grammar,簡稱CCG)是一種類型驅(qū)動的詞匯化語法,該語法能夠精確 地定位每個詞的范疇,從而挖掘出一個句子的深層依賴關(guān)系,如謂詞論元關(guān)系、概念復(fù)合關(guān)系、事件組合關(guān)系等[1].自動范疇標注是設(shè)計組合范疇語法解析器時面臨的一個重要問題,，

本文編號：615589