神經(jīng)網(wǎng)絡(luò)憑借優(yōu)異的性能在很多領(lǐng)域上得到了研究和應(yīng)用,但現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型存在理論缺陷,無法有效把握知識之間的結(jié)構(gòu)化聯(lián)系,也不具有產(chǎn)生結(jié)構(gòu)化行為的能力,且可解釋性差。本課題對基于記憶網(wǎng)絡(luò)的命名實體識別進行研究并推出命名實體神經(jīng)推理機框架,在命名實體識別領(lǐng)域?qū)θ绾卧谏疃葘W(xué)習(xí)結(jié)構(gòu)中支持關(guān)系推理和組合泛化,從而進行更復(fù)雜、可解釋和更靈活的自動化推理模式做出嘗試。本課題研究在序列任務(wù)上引入記憶網(wǎng)絡(luò)模塊對實體進行存儲和整理,并對實體關(guān)系進行人工設(shè)計的建模,在此基礎(chǔ)上利用推理模型實現(xiàn)不同局部決策間的聯(lián)系和借鑒,采用多輪解碼構(gòu)建深層結(jié)構(gòu),將實體上的推理信息逐層遞進以學(xué)習(xí)到因果關(guān)系,從而在神經(jīng)網(wǎng)絡(luò)的框架內(nèi)完成對人類閱讀理解過程的模擬,充分理解實體并在文本序列的全局上保持實體的一致性。本課題研究的重點主要包括以下三個方面:1)在序列模型中引入記憶網(wǎng)絡(luò)模塊,并通過對神經(jīng)網(wǎng)絡(luò)運算過程的分析得到實體的表示,對實體信息進行有效存儲;2)結(jié)合先驗知識,以可人工設(shè)計的形式將抽取出的實體進行關(guān)系建模,促使神經(jīng)網(wǎng)絡(luò)通過簡單的實體關(guān)系學(xué)習(xí)到整體復(fù)雜的因果關(guān)系;3)通過引入符號化操作和推理模型,以端到端的形式,在神經(jīng)網(wǎng)絡(luò)的框... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－４用于序列標(biāo)注的ＣＮＮ模型結(jié)構(gòu)圖??ＣＮＮ用于命名實體識別等序列標(biāo)注任務(wù)時通過增加層數(shù)來增加對上文的掌??

寬度為詞向量的大小進行一維滑動，保持不破壞詞語內(nèi)部的信息，即可利用ＣＮＮ??模型對語序信息進行掌握。??圖２－４用于序列標(biāo)注的ＣＮＮ模型結(jié)構(gòu)圖??ＣＮＮ用于命名實體識別等序列標(biāo)注任務(wù)時通過增加層數(shù)來增加對上文的掌??握能力，而由于卷積核的大小固定，通常需要較多層數(shù)才可以有效的掌握上下文，??參數(shù)的增加同時又會導(dǎo)致過擬合現(xiàn)象的發(fā)生。如圖２－４所示，一個卷積核大小為??３，層數(shù)為３層的ＣＮＮ結(jié)構(gòu)僅掌握７個字的信息。在此基礎(chǔ)上所發(fā)展出的Ｄｉｌａｔｅｄ－??ＣＮＮ通過逐層對卷積核進行“膨脹”而獲得更強的上下文信息掌握能力。如圖??２－５所示，同樣為卷積核大小為３，層數(shù)為３層的結(jié)構(gòu)，可以掌握１５個字的信息。??Ｏ?Ｏ?Ｏ?Ｇ?Ｃ?ＯＯＪ＾ＱＯ?Ｏ?Ｏ?Ｏ??〇?〇?ｏ＾ｏｃ?；?〇??＠００００００００００００?０?０??圖２－５用于序列標(biāo)注的Ｄｉｌａｔｅｄ－ＣＮＮ模型結(jié)構(gòu)圖［８】??然而對序列標(biāo)注任務(wù)來講，整個句子的每個字都有可能都會對當(dāng)前需要標(biāo)注??的字做出影響，ＣＮＮ結(jié)構(gòu)仍然具有天然的劣勢而很少用于ＮＥＲ。但同時ＣＮＮ也??具有運算速度快的優(yōu)勢，所以在不需要長跨度信息依賴的場景常常需要ＣＮＮ進??行編碼

?輸出層??圖２－６循環(huán)神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖??如圖２－６所示，ＲＮＮ的運算過程非常簡單，在ｔ時刻，對于輸入ｘｔ，隱藏層??的隱含狀態(tài)＆為：??ｈｔ?＝?（ｐ｛Ｖｘｔ?＋?Ｗｈｔ＾?＋?ｂ）?（２－６）??其中ｆ／，州為權(quán)值參數(shù)，６為偏置，０為激活函數(shù)，該時刻的輸出為：??ｏｔ?＝?Ｖｈｔ?＋?ｃ?（２?—?７）??其中Ｆ為權(quán)值參數(shù)，ｃ為偏置，最終模型的預(yù)測輸出＆為：??ｙｔ?＝?〇＂（〇ｔ）?（２－８）??其中Ｃ７為激活函數(shù)�？梢钥闯觯遥危文Ｐ屯ㄟ^對隱含層的循環(huán)將整個序列信??息進行計算，但在逐步的循環(huán)運算中，梯度也隨著時間序列相乘，在訓(xùn)練時會導(dǎo)??致梯度消失（ＧｒａｄｉｅｎｔＶａｎｉｓｈ）的問題，所以在實際任務(wù)中，更多地采用ＲＮＮ的??改進變種模型，ＬＳＴＭ模型便是其中最廣泛應(yīng)用的一種。??梯度消失問題會讓梯度無法有效的傳導(dǎo)到距離較遠的位置，從而導(dǎo)致模型對??長距離的信息無法很好的掌握，ＬＳＴＭ引入門控機制，利用不同的門來控制信息??的傳導(dǎo)和接收


本文編號：3009209