語法錯誤糾正,目標(biāo)是利用計(jì)算機(jī)程序自動地糾正書面文本中存在的語法錯誤。目前,主流的方法將其看作一個單語翻譯任務(wù),糾錯就是將“錯誤”句子翻譯成“正確”句子的過程。本文分別從模型、訓(xùn)練算法、數(shù)據(jù)增強(qiáng)三個層面著手,研究升語法錯誤糾正性能的方法。（1）絕大部分語法錯誤發(fā)生在文本中某一局部,但也有一小部分語法錯誤跨越文本中的多個片段。我們使用當(dāng)前神經(jīng)機(jī)器翻譯中最為先進(jìn)的編碼器-解碼器模型——Transformer建模語法錯誤糾正,以兼顧文本中的局部上下文信息和長距離依賴關(guān)系。在兩個標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,Transformer顯著地優(yōu)于基于循環(huán)神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)的模型。（2）典型的神經(jīng)機(jī)器翻譯面臨著曝光偏差、損失評估失配等問題。此外,自動評價指標(biāo)往往不能完全真實(shí)地反映模型的性能。我們出了一個面向語法錯誤糾正的對抗學(xué)習(xí)框架,在該框架中,包含一個判別器和一個生成器。給定錯誤句子,判別器負(fù)責(zé)區(qū)分某一糾正句子來自模型輸出還是人工標(biāo)注,而生成器的目標(biāo)是生成“以假亂真”的糾正句子以欺騙判別器。通過讓兩者相互對抗,促使生成器生成與人類表達(dá)更為接近的糾正句子。我們借助強(qiáng)化學(xué)習(xí)中的策略梯度方法來克服由自然... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【部分圖文】：

本文主要研究內(nèi)容在第二章中，我們將當(dāng)前神經(jīng)機(jī)器翻譯中最為先進(jìn)的編碼器-解碼器模型——

圖 2-1 按時間步展開的循環(huán)神經(jīng)網(wǎng)絡(luò)帶門限機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)為了解決上述問題，研究人員在原始的循環(huán)神經(jīng)網(wǎng)絡(luò)上做了許多改進(jìn)，例如，調(diào)整網(wǎng)絡(luò)中的非線性激活函數(shù)，設(shè)計(jì)新的循環(huán)單元。有兩種循環(huán)神經(jīng)網(wǎng)絡(luò)變體得到了廣泛的應(yīng)用，分別是長短期記憶[79]（Long Short-Term Memory，LSTM）和門控循環(huán)單元[80]（GatedRecurrentUnits，GRU）。這兩者的核心思想是，允許輸入線性地在網(wǎng)絡(luò)中流通，而不經(jīng)過非線性激活函數(shù)。LSTM 額外引入了一個細(xì)胞狀態(tài)（cellstate），在計(jì)算時，和隱含狀態(tài)一起反饋給下一個時間步。LSTM 的形式化定義如下：輸入門： = ( + 1+ )遺忘門： = ( + 1+ )輸出門： = ( + 1+ )

輸入轉(zhuǎn)換： = tanh( + ( ° 1) + )隱含狀態(tài)： = (1 ) ° 1+ ° (2-6)總體來說，GRU 和 LSTM 的性能相當(dāng)，均能有效地建模序列中的長距離依賴，但 GRU 的參數(shù)量更少。2.2.3 編碼器-解碼器模型與注意力機(jī)制編碼器-解碼器模型在序列到序列學(xué)習(xí)中，通常使用神經(jīng)網(wǎng)絡(luò)編碼器-解碼器模型進(jìn)行建模。編碼器首先將輸入序列編碼成連續(xù)空間中的一系列隱含狀態(tài)表示（向量），之后，基于編碼器輸出的這些隱含狀態(tài)，以及當(dāng)前時間步之前已輸出的符號序列前綴，解碼器預(yù)測輸出下一個符號，圖 2-2 給出了一個帶注意力機(jī)制的編碼器-解碼器模型的示意圖。


本文編號：3342827