【摘要】：如何表示漢語(yǔ)的基本語(yǔ)言單元以及它們之間的關(guān)系是漢語(yǔ)語(yǔ)言處理的兩個(gè)重要問(wèn)題.遞歸網(wǎng)絡(luò)作為一類(lèi)圖靈完備的機(jī)器學(xué)習(xí)模型,它能提供一個(gè)能表示各類(lèi)語(yǔ)言單元及其關(guān)系的框架.然而,現(xiàn)有的遞歸網(wǎng)絡(luò)和基于遞歸網(wǎng)絡(luò)的漢語(yǔ)語(yǔ)言處理存在以下不足:1)現(xiàn)有的遞歸網(wǎng)絡(luò)的記憶能力有限;2)現(xiàn)有的漢語(yǔ)表示學(xué)習(xí)所采用的神經(jīng)語(yǔ)言模型僅依賴于文本語(yǔ)料,這樣會(huì)導(dǎo)致學(xué)到的漢語(yǔ)表示很難反映出漢語(yǔ)的語(yǔ)言學(xué)知識(shí)所蘊(yùn)含的語(yǔ)義,并且神經(jīng)語(yǔ)言模型直接預(yù)測(cè)目標(biāo)詞匯會(huì)導(dǎo)致模型輸出層的softmax函數(shù)維度過(guò)高;3)現(xiàn)有的遞歸網(wǎng)絡(luò)對(duì)于漢語(yǔ)中長(zhǎng)距離依賴關(guān)系的建模能力不足.針對(duì)這些問(wèn)題,本文進(jìn)行了以下研究:·提出了一種廣義的記憶增強(qiáng)的遞歸網(wǎng)絡(luò)模型M-RNN,并且給出了相應(yīng)的度量指標(biāo):持續(xù)時(shí)間(Duration),尋址能力(Addressability)和信息容量(Capacity).這三個(gè)指標(biāo)分別反映了M-RNN的三個(gè)側(cè)面:1)記憶的持續(xù)時(shí)間;2)記憶訪問(wèn)的復(fù)雜度;3)在一定時(shí)期內(nèi)可以獲得的信息總量.通過(guò)分析三個(gè)指標(biāo)之間的關(guān)系發(fā)現(xiàn)了一個(gè)原理:稱為DAC(Duration,Addressability and Capacity)原理.這個(gè)原理表明,在設(shè)計(jì)記憶增強(qiáng)的遞歸網(wǎng)絡(luò)時(shí),不能在三個(gè)指標(biāo)上同時(shí)追求最佳性能.·提出了兩種利用漢字的形態(tài)學(xué)和音韻學(xué)知識(shí)改進(jìn)漢語(yǔ)表示學(xué)習(xí)的方法:1)知識(shí)作為額外的監(jiān)督信號(hào);2)知識(shí)作為外部記憶.并分別設(shè)計(jì)了兩個(gè)改進(jìn)的遞歸網(wǎng)絡(luò)Mor Pho RNN和Mor Pho M3-RNN.實(shí)驗(yàn)結(jié)果表明,漢字的形態(tài)學(xué)和音韻學(xué)知識(shí)有助于提高漢語(yǔ)表示學(xué)習(xí)的性能.另外,本文針對(duì)直接預(yù)測(cè)目標(biāo)詞匯會(huì)導(dǎo)致輸出層的softmax函數(shù)維度過(guò)高的問(wèn)題,提出了以預(yù)測(cè)目標(biāo)詞匯的漢字部件信息和拼音信息替代直接預(yù)測(cè)目標(biāo)詞匯的方案.這種方案的優(yōu)勢(shì)在于:一方面能夠降低輸出層的softmax函數(shù)的維數(shù);另一方面,模型的輸出層維數(shù)不會(huì)隨詞表的增加而增加.·為漢語(yǔ)序列標(biāo)注提出了長(zhǎng)期記憶和工作記憶增強(qiáng)的遞歸網(wǎng)絡(luò)LWM-RNN.這個(gè)新的體系結(jié)構(gòu)對(duì)于處理漢語(yǔ)序列標(biāo)注中可能存在的長(zhǎng)距離依賴關(guān)系有兩點(diǎn)優(yōu)勢(shì):1)它能把信息處理和信息存儲(chǔ)分離開(kāi);2)它根據(jù)信息的持續(xù)時(shí)間把信息存儲(chǔ)劃分成長(zhǎng)期記憶和工作記憶.在一定的假設(shè)條件下,本文證明了LWM-RNN為什么不會(huì)面臨梯度消失的問(wèn)題.在漢語(yǔ)分詞和命名實(shí)體識(shí)別這兩個(gè)漢語(yǔ)序列標(biāo)注任務(wù)上的實(shí)驗(yàn)結(jié)果表明,LWM-RNN對(duì)于長(zhǎng)句子或者篇章級(jí)別的漢語(yǔ)信息處理任務(wù)有潛在的優(yōu)勢(shì).
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TP391.1;TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 肖瑜;;中國(guó)音韻學(xué)研究會(huì)第十八屆學(xué)術(shù)討論會(huì)暨漢語(yǔ)音韻學(xué)第十三屆國(guó)際學(xué)術(shù)研討會(huì)會(huì)議紀(jì)要[J];古漢語(yǔ)研究;2014年04期

2 韋愛(ài)云;;國(guó)內(nèi)外詞匯功能語(yǔ)法研究述評(píng)[J];廣西師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版);2014年03期

3 柯佳;詹永照;陳瀟君;汪滿容;;基于擴(kuò)展格框架標(biāo)注的視頻事件多維關(guān)聯(lián)規(guī)則挖掘方法[J];計(jì)算機(jī)應(yīng)用研究;2013年10期

4 李南;;告別鉛與火的新技術(shù)—漢字激光照排系統(tǒng)[J];激光雜志;2010年04期

5 方立;;評(píng)廣義短語(yǔ)結(jié)構(gòu)語(yǔ)法[J];當(dāng)代語(yǔ)言學(xué);2007年03期

6 魯國(guó)堯;;論漢語(yǔ)音韻學(xué)的研究方法和我的“結(jié)合論”[J];漢語(yǔ)學(xué)報(bào);2007年02期

7 馮志偉;LFG中從詞匯結(jié)構(gòu)到功能結(jié)構(gòu)的轉(zhuǎn)換[J];語(yǔ)言文字應(yīng)用;2004年04期

8 夏幼明,劉海慶,徐天偉;基于語(yǔ)義網(wǎng)絡(luò)的知識(shí)表示的形式轉(zhuǎn)換及推理[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2001年04期

9 夏幼明,徐天偉,張春霞,夏幼安;語(yǔ)義網(wǎng)絡(luò)的知識(shí)獲取及轉(zhuǎn)換的研究[J];云南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);1999年06期

10 李葆嘉;中國(guó)當(dāng)代的漢語(yǔ)音韻學(xué)研究[J];學(xué)術(shù)研究;1996年09期

，

本文編號(hào)：2694368