自然語(yǔ)言理解模塊是任務(wù)型人機(jī)對(duì)話系統(tǒng)的重要組成部分,一般包含領(lǐng)域識(shí)別、意圖識(shí)別與語(yǔ)義標(biāo)注三個(gè)部分,語(yǔ)義標(biāo)注識(shí)別用戶(hù)輸入中的槽值,也常稱(chēng)為槽填充,是自然語(yǔ)言理解的主要任務(wù)。在很多實(shí)際應(yīng)用中,NLU不僅需要語(yǔ)義標(biāo)注算法識(shí)別出用戶(hù)輸入中的槽值,還需要將槽值映射到一個(gè)預(yù)定義(或基于訓(xùn)練語(yǔ)料構(gòu)建)的槽值列表上。但是,預(yù)定義的表難以包含所有可能槽值,實(shí)際對(duì)話中常常會(huì)出現(xiàn)不在列表(或訓(xùn)練語(yǔ)料)中的新槽值。有效識(shí)別新槽值對(duì)于自然語(yǔ)言理解的健壯性和對(duì)話系統(tǒng)的擴(kuò)展性都具有重要價(jià)值,但是,傳統(tǒng)的基于序列標(biāo)注的方法以及基于分類(lèi)的方法都無(wú)法有效地解決這一新槽值問(wèn)題。本文針對(duì)上述問(wèn)題,在充分調(diào)研已有相關(guān)研究的基礎(chǔ)上,結(jié)合實(shí)際需求開(kāi)展工作,具體內(nèi)容包括:提出了一種基于注意力機(jī)制的聯(lián)合語(yǔ)義標(biāo)注模型以及基于負(fù)采樣的模型訓(xùn)練方法。模型結(jié)合序列標(biāo)注器與分類(lèi)器,序列標(biāo)注器定位槽值信息而分類(lèi)器獲得標(biāo)準(zhǔn)槽值或新槽值類(lèi)別標(biāo)簽·,基于負(fù)采樣的訓(xùn)練方法通過(guò)構(gòu)建負(fù)樣例使得模型可以進(jìn)行監(jiān)督訓(xùn)練。在兩個(gè)語(yǔ)料的實(shí)驗(yàn)結(jié)果表明,基于負(fù)樣例的訓(xùn)練顯著提升了新槽值識(shí)別的性能,而注意力機(jī)制可以自主發(fā)現(xiàn)關(guān)鍵信息,進(jìn)一步提升了模型性能。對(duì)聯(lián)合模型進(jìn)行了擴(kuò)展...

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖??全連經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)單，易于實(shí)現(xiàn)，對(duì)函數(shù)有很強(qiáng)的擬合能力

神經(jīng)網(wǎng)絡(luò)（Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＲＮＮ）［２６］。ＲＮＮ是一種節(jié)點(diǎn)定向連接成環(huán)的??人工神經(jīng)網(wǎng)絡(luò)，用于處理序列數(shù)據(jù)，有效地解決了全連接神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處??理領(lǐng)域的不足。圖２－２所示為典型的ＲＮＮ結(jié)構(gòu)圖。??６?°ｔ－ｉ?°ｔ?°ｔ＋１??Ａ?八?....

圖２－２循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖【２７】??從圖中可見(jiàn)，這種網(wǎng)絡(luò)的內(nèi)部狀態(tài)可以展示動(dòng)態(tài)時(shí)序行為

?隱藏層?輸出層??圖２－１全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖??全連接神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)，對(duì)函數(shù)有很強(qiáng)的擬合能力。然??而，它的層數(shù)與每層網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)目均為固定，無(wú)法應(yīng)用于變長(zhǎng)的輸入。對(duì)于大??多數(shù)自然語(yǔ)言處理的應(yīng)用而言，其輸入往往是不定長(zhǎng)的自然語(yǔ)言文本。與此同時(shí)，??全連接神....

圖２－３長(zhǎng)短期記憶網(wǎng)絡(luò)結(jié)構(gòu)圖［２９］??圖２－３為ＬＳＴＭ—個(gè)存儲(chǔ)塊的結(jié)構(gòu)圖

ｍ??圖２－３長(zhǎng)短期記憶網(wǎng)絡(luò)結(jié)構(gòu)圖［２９］??圖２－３為ＬＳＴＭ—個(gè)存儲(chǔ)塊的結(jié)構(gòu)圖。從圖中可知，輸入門(mén)作用在最新的狀??態(tài)向量上，用于控制信息的更新，輸出門(mén)作用在當(dāng)前時(shí)刻的輸出上，用于選擇單??元的輸出，遺忘門(mén)則作用在上一時(shí)刻的狀態(tài)向量上，用于過(guò)濾歷史信息。其計(jì)算??方式分別如公....

圖３－１聯(lián)合糢型??本文采用雙向ＬＳＴＭ模型作為文本表示編碼的基本結(jié)構(gòu)

下標(biāo)ｔ?＝?０？７則表示第ｉ條輸入中的第ｔ個(gè)字或詞，ｗ／為當(dāng)前輸入的字??向量表示。該表示可以由外部語(yǔ)料預(yù)先訓(xùn)練得到，在本文中，該表示先隨機(jī)初始??化，而后隨著模型訓(xùn)練一同更新。如圖３－１所示，聯(lián)合模型將同時(shí)預(yù)測(cè)其時(shí)序標(biāo)??簽＼?ｓＡ｝與槽值類(lèi)標(biāo)ｙｆ。??Ｉ＂１?Ｉ??＜——ＬＳ....

本文編號(hào)：3921344