基于LSTM的交互式神經(jīng)機器翻譯方法研究
【文章頁數(shù)】:4 頁
【部分圖文】:
傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)里,相互的輸入沒有關(guān)聯(lián),例如輸入為X=(x1,x2,…,xn),其中x之間相互不影響,無論以何種方式進行輸入,都不會對最終的結(jié)果產(chǎn)生影響。但是對于機器翻譯來說,翻譯一句話必須要考慮詞之間的聯(lián)系,從整體進行把握。RNN是處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò),每進行一次計算的時候,都....
如圖3所示為LSTM網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)圖,LSTM與RNN具有相同的連接結(jié)構(gòu),標(biāo)準(zhǔn)RNN隱藏層中有一個網(wǎng)絡(luò)層,但是LSTM在隱藏單元中使用三個門來控制信息。每一個LSTM中有三個輸入:當(dāng)前輸入xt,上一步的細(xì)胞狀態(tài)Ct-1,上一步隱藏層狀態(tài)ht-1。σ是激活函數(shù)sigmoid。(1)遺....
(1)遺忘門:決定會從細(xì)胞狀態(tài)中丟棄什么信息,見圖4。該門通過讀取ht-1和xt,與遺忘門權(quán)重矩陣Wf相乘,通過sigmoid得到一個數(shù),與Ct-1相乘來選擇保留或丟棄。
(3)輸出門:最終決定LSTM的輸出,見圖6。根據(jù)ht-1和xt判斷儲存信息與當(dāng)前輸入的關(guān)聯(lián),決定輸出哪些信息。首先用sigmoid來確定細(xì)胞狀態(tài)的哪個部分將輸出去。然后將狀態(tài)Ct通過tanh處理,得到一個在-1到1之間的值,然后和sigmoid輸出相乘,最終會輸出我們確定輸出的....
本文編號:4009517
本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/4009517.html