任務(wù)型對(duì)話系統(tǒng)（Task-oriented Dialogue System）是自然語(yǔ)言處理中的重要任務(wù)之一,在日常生活中的智能客服、個(gè)人助手等場(chǎng)景下有廣泛的應(yīng)用。其任務(wù)是根據(jù)用戶的輸入返回系統(tǒng)生成的回復(fù),通過(guò)多輪交互的形式實(shí)現(xiàn)用戶的請(qǐng)求或者目標(biāo)。為完成這一任務(wù),經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型被用于構(gòu)建任務(wù)型對(duì)話系統(tǒng)實(shí)現(xiàn)對(duì)話狀態(tài)追蹤和系統(tǒng)回復(fù)生成。但此類(lèi)方法依舊面臨一些挑戰(zhàn),例如,如何緩解神經(jīng)網(wǎng)絡(luò)構(gòu)建的對(duì)話系統(tǒng)依賴(lài)于大量標(biāo)注數(shù)據(jù)的問(wèn)題,以及如何在對(duì)話系統(tǒng)中有效地引入外部知識(shí)以適應(yīng)復(fù)雜場(chǎng)景的問(wèn)題。為了應(yīng)對(duì)上述挑戰(zhàn),本文提出了基于領(lǐng)域自適應(yīng)和引入外部知識(shí)的任務(wù)型對(duì)話模型。通過(guò)使用領(lǐng)域自適應(yīng)方法來(lái)緩解任務(wù)型對(duì)話系統(tǒng)中面臨的缺乏標(biāo)注語(yǔ)料問(wèn)題,實(shí)現(xiàn)任務(wù)型對(duì)話模型的領(lǐng)域遷移。通過(guò)使用一種引入外部知識(shí)的方法,將知識(shí)圖譜的推理結(jié)果加入到對(duì)話系統(tǒng)中,使對(duì)話系統(tǒng)適應(yīng)于復(fù)雜領(lǐng)域。本文的主要工作包括:1.提出了基于領(lǐng)域自適應(yīng)的任務(wù)型對(duì)話模型。該模型可以將訓(xùn)練得到的源領(lǐng)域知識(shí)轉(zhuǎn)移到訓(xùn)練樣本有限的目標(biāo)領(lǐng)域中,從而應(yīng)對(duì)缺乏標(biāo)注語(yǔ)料的問(wèn)題。具體而言,本文在序列到序列模型中設(shè)計(jì)了一個(gè)領(lǐng)域特征過(guò)濾器,以減少源領(lǐng)域中的無(wú)效特征并保留通用... 

【文章來(lái)源】：華東師范大學(xué)上海市211工程院校985工程院校教育部直屬院校

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

多輪對(duì)話系統(tǒng)流程圖

華東師范大學(xué)碩士學(xué)位論文11=(·[1,]+)(2-1)其中σ表示sigmod激活函數(shù)。對(duì)于輸入門(mén)，其決定了要新加入的信息量的多少，決定因素分別為：sigmod函數(shù)輸出的，以及tan函數(shù)輸出的。輸入門(mén)的計(jì)算公式如下：=(·[1,]+)(2-2)=tan(·[1,]+)(2-3)已知需要上述這些信息后，就可以計(jì)算當(dāng)前單元的信息表示，計(jì)算公式如下：=1+(2-4)最后對(duì)于輸出門(mén)，決定了網(wǎng)絡(luò)的輸出h。輸出門(mén)也由兩個(gè)激活函數(shù)所組成，計(jì)算公式表示如下：=([1,]+)(2-5)=tan()(2-6)2.2.3注意力機(jī)制在神經(jīng)網(wǎng)絡(luò)相關(guān)的模型中，研究者往往會(huì)通過(guò)引入注意力機(jī)制來(lái)提升模型對(duì)特征提取的能力[46]。在文本處理中，我們可以認(rèn)為文本的每個(gè)部分對(duì)于整個(gè)句子占的權(quán)重不同，文本中一些關(guān)鍵詞占的比重較大，而一些虛詞或語(yǔ)氣詞則對(duì)語(yǔ)義貢獻(xiàn)很校注意力機(jī)制的目標(biāo)就是對(duì)神經(jīng)網(wǎng)絡(luò)中的各個(gè)單元不同的權(quán)重值，權(quán)重值越低，表示該單元的信息所占比重越小；否則該單元的信息就更重要。在一些任務(wù)中，若要提取細(xì)粒度的信息，那么神經(jīng)網(wǎng)絡(luò)對(duì)文本的處理往往需要分層提圖2-2長(zhǎng)短期記憶網(wǎng)絡(luò)模型結(jié)構(gòu)

華東師范大學(xué)碩士學(xué)位論文14饋信息。策略的定義是智能體在給定時(shí)間的行為方式，即當(dāng)前狀態(tài)到行為之間的映射關(guān)系，或者當(dāng)前狀態(tài)下智能體可能采取的動(dòng)作概率分布。獎(jiǎng)勵(lì)信號(hào)定義了強(qiáng)化學(xué)習(xí)問(wèn)題的目標(biāo)，智能體通過(guò)不斷探索行動(dòng)空間，使得獎(jiǎng)勵(lì)信號(hào)最大化。2.4.1馬爾科夫決策過(guò)程馬爾可夫決策過(guò)程（MarkovDecisionProcess,MDP）是序貫決策的數(shù)學(xué)模型。強(qiáng)化學(xué)習(xí)的問(wèn)題通�？梢赞D(zhuǎn)化為馬爾可夫決策過(guò)程。如圖2-3所示，環(huán)境向智能體給出當(dāng)前的狀態(tài)，然后智能體根據(jù)當(dāng)前狀態(tài)狀態(tài)和策略π，執(zhí)行動(dòng)作，接著環(huán)境會(huì)對(duì)動(dòng)作作出反饋，并將獎(jiǎng)勵(lì)返回給智能體，同時(shí)更新下一個(gè)狀態(tài)。這個(gè)過(guò)程如此反復(fù)，智能體需要在這個(gè)過(guò)程中不斷學(xué)習(xí)最優(yōu)策略，以使得累積獎(jiǎng)勵(lì)最大化。在上述過(guò)程中，在策略π下，狀態(tài)的價(jià)值函數(shù)就是從狀態(tài)開(kāi)始，根據(jù)策略π而執(zhí)行動(dòng)作，直到結(jié)束可以獲得的期望累積回報(bào)，用()表示，其計(jì)算方法可以表示如下：()=[|=]=[∑++1|=∞=0](2-12)其中，表示在時(shí)間步獲得的回報(bào),是衰減系數(shù)，表示距離當(dāng)前狀態(tài)越遠(yuǎn)的獎(jiǎng)勵(lì)的系數(shù)越小.圖2-3馬爾科夫決策過(guò)程示意圖


本文編號(hào)：3638543