發(fā)布時間：2021-03-23 14:04

　　近幾年來,隨著自然語言處理的快速發(fā)展,語義角色標(biāo)注作為自然語言處理研究中最重要也是最基礎(chǔ)的步驟也因此受到了極大的關(guān)注。深層神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于語義角色標(biāo)注的任務(wù)當(dāng)中,尤其是將深度注意神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于語義角色標(biāo)注研究中,為語義角色標(biāo)注帶來了新的突破。但是隨著深度注意神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)增加以及隨著網(wǎng)絡(luò)層數(shù)增加帶來的橫向神經(jīng)元增加,導(dǎo)致了訓(xùn)練過程中出現(xiàn)訓(xùn)練不穩(wěn)定問題以及梯度爆炸和梯度消失問題,在這種情況下,在語義角色標(biāo)注系統(tǒng)中標(biāo)注數(shù)據(jù)時,不僅耗時增加,還會出現(xiàn)卡頓現(xiàn)象。為了解決上述問題,本文針對深度注意神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化,加速了模型收斂速度,增強(qiáng)了網(wǎng)絡(luò)穩(wěn)定性及模型表達(dá)能力。實(shí)驗(yàn)結(jié)果表明本文方法能夠有效解決隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深,梯度信息回流受阻造成的網(wǎng)絡(luò)模型訓(xùn)練困難以及訓(xùn)練不穩(wěn)定問題。本文還利用優(yōu)化后的深度注意神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)了語義角色標(biāo)注系統(tǒng)。本文進(jìn)行了基于深度注意神經(jīng)網(wǎng)絡(luò)的語義角色標(biāo)注研究與實(shí)現(xiàn),主要貢獻(xiàn)如下:（1）針對由于神經(jīng)網(wǎng)絡(luò)層數(shù)增加導(dǎo)致的橫向神經(jīng)元增加帶來的模型訓(xùn)練困難以及不穩(wěn)定問題,本文引入了Layer Normalization函數(shù)來全局優(yōu)化深度注意神經(jīng)網(wǎng)絡(luò)模型。該實(shí)驗(yàn)... 

【文章來源】：中北大學(xué)山西省

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

本文研究思路Figure1-1researchideasofthispaper

中北大學(xué)學(xué)位論文10圖1-2論文架構(gòu)圖Figure1-2paperstructure1.4本章小結(jié)本章的主要內(nèi)容主要包括介紹了該論文的研究背景和研究意義進(jìn)行了詳細(xì)說明，以及分別闡述了注意力機(jī)制和語義角色標(biāo)注的國內(nèi)外研究現(xiàn)狀。除此之外還分析了語義角色標(biāo)注研究的各種方法以及存在的問題，概括了本文的整體架構(gòu)以及本論文的研究步驟和研究思路。

中北大學(xué)學(xué)位論文14似于編碼器-解碼器體系結(jié)構(gòu)中常用的注意力機(jī)制。卷積本質(zhì)上是捕獲有關(guān)輸入的重要信息的特征提取器。卷積神經(jīng)網(wǎng)路是最基本也是最不可或缺的神經(jīng)網(wǎng)絡(luò)模型之一。2.1.4前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)的使用早于其他類型的神經(jīng)網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)[50]的一種特殊類型，以設(shè)計(jì)簡單著稱。前饋神經(jīng)網(wǎng)絡(luò)分為輸入層、隱藏層和輸出層。信息總是在一個方向上傳播——從輸入層到輸出層，從不倒退。前饋神經(jīng)網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的一個主要實(shí)例，具有有限的體系結(jié)構(gòu)。信號從輸入層傳遞到附加層。一些前饋設(shè)計(jì)的例子甚至更簡單。例如，單層感知器模型只有一層，前饋信號從一層移動到單獨(dú)的節(jié)點(diǎn)。多層感知器模型具有更多的層，也是前饋的。前饋神經(jīng)網(wǎng)絡(luò)是受到一種生物學(xué)啟發(fā)的分類算法。它由很大數(shù)量的簡單神經(jīng)元組成處理單元，并將這些處理單元分層組織。一層中的每個單元都與上一層中的所有單元相連。這些連接并不完全相同：每個連接可能具有不同的強(qiáng)度或重量。這些連接上的權(quán)重編碼了網(wǎng)絡(luò)。通常，神經(jīng)網(wǎng)絡(luò)中的單位也稱為節(jié)點(diǎn)。數(shù)據(jù)進(jìn)入輸入并逐層通過網(wǎng)絡(luò)，直接到達(dá)輸出。在正常操作期間即當(dāng)它用作分類器時，層與層之間沒有反潰這就是為什么它們被稱為前饋神經(jīng)網(wǎng)絡(luò)。如圖2-1所示，我們看到一個2層網(wǎng)絡(luò)的示例，該網(wǎng)絡(luò)從上到下分別是：具有5個單元的輸出層，具有4個單元的隱藏層和具有3個單元的輸入層，這3個輸入不屬于網(wǎng)絡(luò)的任何層，盡管有時將輸入視為層號為0的虛擬層但并不是輸出層的任何層都是隱藏層。因此，該網(wǎng)絡(luò)具有1個隱藏層和1個輸出層。該圖還顯示了不同層中單元之間的所有連接。一層僅連接到上一層。圖2-1前饋神經(jīng)網(wǎng)絡(luò)Figure2-1feedforwardneuralnetwork

【參考文獻(xiàn)】：
期刊論文
[1]基于深度神經(jīng)網(wǎng)絡(luò)的語義角色標(biāo)注[J]. 王明軒,劉群.  中文信息學(xué)報(bào). 2018(02)



本文編號：3095925