智能對(duì)話系統(tǒng)由于其發(fā)展?jié)摿蜕虡I(yè)價(jià)值受到了越來越多的關(guān)注,已經(jīng)成為自然語言處理（Natural Language Processing,NLP）領(lǐng)域研究的熱點(diǎn)。特別是近年來,深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等學(xué)習(xí)方法的出現(xiàn),使開放域?qū)υ捪到y(tǒng)逐步進(jìn)入人們的視野,然而目前還沒有存在一個(gè)良好的方法能夠?qū)崿F(xiàn)對(duì)開放域?qū)υ捪到y(tǒng)的快速評(píng)測,這在一定程度上阻礙了開放域?qū)υ捪到y(tǒng)的長遠(yuǎn)發(fā)展,因此開展開放域?qū)υ捪到y(tǒng)的評(píng)測研究將對(duì)其快速發(fā)展起到積極的促進(jìn)作用。本文對(duì)開放域?qū)υ捪到y(tǒng)的各類評(píng)測方法進(jìn)行調(diào)研,將這些評(píng)測方法分為人工評(píng)測和自動(dòng)化評(píng)測兩種,并對(duì)目前已有的幾種基于深度學(xué)習(xí)的自動(dòng)化評(píng)測方法進(jìn)行了詳細(xì)描述,同時(shí)對(duì)這些評(píng)測方法的優(yōu)缺點(diǎn)進(jìn)行了對(duì)比分析。針對(duì)目前評(píng)測方法需要大量人工標(biāo)注數(shù)據(jù)和評(píng)測準(zhǔn)確率較低等問題,本文提出了AB-LSTM-bi-MLP評(píng)測模型。該評(píng)測模型的設(shè)計(jì)出發(fā)點(diǎn)是判別問題-回復(fù)對(duì)是否為真實(shí)的對(duì)話,即判斷兩個(gè)句子是否是語義連貫和相關(guān)的句子。該模型基于連續(xù)的對(duì)話語料進(jìn)行建模,目的在于解決目前基于參考回復(fù)的評(píng)測模型需要大量標(biāo)注數(shù)據(jù)的弊端。該評(píng)測模型的核心內(nèi)容是在基于注意力機(jī)制（Attention Mechanism... 

【文章來源】：中國工程物理研究院北京市

【文章頁數(shù)】：54 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．２單向循環(huán)神經(jīng)網(wǎng)絡(luò)及其展開形式??

即考慮目標(biāo)詞完整的前后文信息推斷目標(biāo)詞。為解決這一問題，Ｓｃｈｕｓｔｅｒ等人于２００２年??提出了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)這一概念［３５］。簡單地講，兩個(gè)單向循環(huán)神經(jīng)網(wǎng)絡(luò)反向疊加后即??為雙向循環(huán)神經(jīng)網(wǎng)絡(luò)，如圖２．３所示。其中，，…，表示前向循環(huán)神經(jīng)網(wǎng)絡(luò)分別??在時(shí)刻｛０，１，…，ｉ｝的隱藏層，每一時(shí)刻的隱藏層都接收對(duì)應(yīng)時(shí)刻的輸入信息和前一時(shí)刻??的隱藏層狀態(tài)；｛＾，４，…表示后向循環(huán)神經(jīng)網(wǎng)絡(luò)分別在時(shí)刻｛０，１，…，ｉ｝的隱藏層，??每一時(shí)刻的隱藏層都接收對(duì)應(yīng)時(shí)刻的輸入信息和后一時(shí)刻的隱藏層狀態(tài)。將同一時(shí)刻的??兩個(gè)隱藏層的輸出狀態(tài)向量進(jìn)行拼接即為對(duì)應(yīng)時(shí)刻的輸出向量，所以雙向循環(huán)神經(jīng)網(wǎng)絡(luò)??輸出的向量長度是單向循環(huán)神經(jīng)網(wǎng)絡(luò)輸出的向量長度的兩倍。??？?？?？?？??（？）￣￣０－－［＾ｎ—［＾｝－－＠??（＾０＾）?＊?Ａ〇?Ａ２?Ａｔ??＿Ｊｚｉ?Ｌ＾ｚｒ??（ｊ〇｝?（ｉ）?＠?…？??圖２．３雙向循環(huán)神經(jīng)網(wǎng)絡(luò)??２．２．３長短期記憶網(wǎng)絡(luò)??由于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)有一個(gè)很大的弊端就是其并不擅長解決長距離依賴信息??的任務(wù)，對(duì)于較長的且有著關(guān)聯(lián)信息的文本數(shù)據(jù)，非常容易出現(xiàn)梯度消失。１９９７年，??Ｈｏｃｈｒｅｉｔｅｒ等人［３６］針對(duì)該問題首次提出了長短期記憶神經(jīng)網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型是在標(biāo)??準(zhǔn)的遞歸神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行的改進(jìn)。長短期記憶神經(jīng)網(wǎng)絡(luò)簡單地講就是將標(biāo)準(zhǔn)的循環(huán)??神經(jīng)網(wǎng)絡(luò)中的隱藏層替換為長短期記憶單元，記憶單元的改變幫助了神經(jīng)網(wǎng)絡(luò)可以更好??地保存歷史信息。長短期記憶網(wǎng)絡(luò)模型對(duì)傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層進(jìn)行了仔細(xì)的設(shè)??計(jì)

即考慮目標(biāo)詞完整的前后文信息推斷目標(biāo)詞。為解決這一問題，Ｓｃｈｕｓｔｅｒ等人于２００２年??提出了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)這一概念［３５］。簡單地講，兩個(gè)單向循環(huán)神經(jīng)網(wǎng)絡(luò)反向疊加后即??為雙向循環(huán)神經(jīng)網(wǎng)絡(luò)，如圖２．３所示。其中，，…，表示前向循環(huán)神經(jīng)網(wǎng)絡(luò)分別??在時(shí)刻｛０，１，…，ｉ｝的隱藏層，每一時(shí)刻的隱藏層都接收對(duì)應(yīng)時(shí)刻的輸入信息和前一時(shí)刻??的隱藏層狀態(tài)；｛＾，４，…表示后向循環(huán)神經(jīng)網(wǎng)絡(luò)分別在時(shí)刻｛０，１，…，ｉ｝的隱藏層，??每一時(shí)刻的隱藏層都接收對(duì)應(yīng)時(shí)刻的輸入信息和后一時(shí)刻的隱藏層狀態(tài)。將同一時(shí)刻的??兩個(gè)隱藏層的輸出狀態(tài)向量進(jìn)行拼接即為對(duì)應(yīng)時(shí)刻的輸出向量，所以雙向循環(huán)神經(jīng)網(wǎng)絡(luò)??輸出的向量長度是單向循環(huán)神經(jīng)網(wǎng)絡(luò)輸出的向量長度的兩倍。??？?？?？?？??（？）￣￣０－－［＾ｎ—［＾｝－－＠??（＾０＾）?＊?Ａ〇?Ａ２?Ａｔ??＿Ｊｚｉ?Ｌ＾ｚｒ??（ｊ〇｝?（ｉ）?＠?…？??圖２．３雙向循環(huán)神經(jīng)網(wǎng)絡(luò)??２．２．３長短期記憶網(wǎng)絡(luò)??由于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)有一個(gè)很大的弊端就是其并不擅長解決長距離依賴信息??的任務(wù)，對(duì)于較長的且有著關(guān)聯(lián)信息的文本數(shù)據(jù)，非常容易出現(xiàn)梯度消失。１９９７年，??Ｈｏｃｈｒｅｉｔｅｒ等人［３６］針對(duì)該問題首次提出了長短期記憶神經(jīng)網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型是在標(biāo)??準(zhǔn)的遞歸神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行的改進(jìn)。長短期記憶神經(jīng)網(wǎng)絡(luò)簡單地講就是將標(biāo)準(zhǔn)的循環(huán)??神經(jīng)網(wǎng)絡(luò)中的隱藏層替換為長短期記憶單元，記憶單元的改變幫助了神經(jīng)網(wǎng)絡(luò)可以更好??地保存歷史信息。長短期記憶網(wǎng)絡(luò)模型對(duì)傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層進(jìn)行了仔細(xì)的設(shè)??計(jì)

【參考文獻(xiàn)】：
期刊論文
[1]對(duì)話系統(tǒng)評(píng)價(jià)方法綜述[J]. 張偉男,張楊子,劉挺.  中國科學(xué):信息科學(xué). 2017(08)



本文編號(hào)：2959433