本文關(guān)鍵詞：一種神經(jīng)范疇標(biāo)注模型

  更多相關(guān)文章： 范疇標(biāo)注 分布式表示 神經(jīng)語言模型 束搜索

【摘要】：范疇標(biāo)注是組合范疇語法解析中的子任務(wù)之一,可用于提高解析器的效率和性能.傳統(tǒng)的最大熵模型需要手工定義特征模板,神經(jīng)網(wǎng)絡(luò)則通過隱含層學(xué)習(xí)到離散特征的分布式表示,從而自動(dòng)提取分類需要的特征.引入該模型來解決該問題,在原有神經(jīng)語言模型的基礎(chǔ)上加入了向量化的詞性表示層和范疇表示層,并通過反向傳播自動(dòng)更新詞向量、詞性向量和范疇向量,學(xué)習(xí)到它們的分布式表示.此外,在預(yù)測(cè)時(shí)采用束搜索的序列解碼方式來引入標(biāo)簽之間的依賴信息.實(shí)驗(yàn)結(jié)果表明,這兩種改進(jìn)都能提升模型的性能,使其在范疇標(biāo)注任務(wù)上比傳統(tǒng)的最大熵模型效果要好(提升1%).
【作者單位】： 模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室(中國科學(xué)院自動(dòng)化研究所);中國科學(xué)院大學(xué);中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心;
【關(guān)鍵詞】： 范疇標(biāo)注 分布式表示 神經(jīng)語言模型 束搜索
【基金】：國家自然科學(xué)基金(61333018) 中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)(XDB02070007)~~
【分類號(hào)】：TP183;TP391.1
【正文快照】： 組合范疇語法(combinatory categorical grammar,簡(jiǎn)稱CCG)是一種類型驅(qū)動(dòng)的詞匯化語法,該語法能夠精確 地定位每個(gè)詞的范疇,從而挖掘出一個(gè)句子的深層依賴關(guān)系,如謂詞論元關(guān)系、概念復(fù)合關(guān)系、事件組合關(guān)系等[1].自動(dòng)范疇標(biāo)注是設(shè)計(jì)組合范疇語法解析器時(shí)面臨的一個(gè)重要問題,，

本文編號(hào)：615589