自然語(yǔ)言理解是人機(jī)對(duì)話(huà)系統(tǒng)的核心組成部分,意圖識(shí)別是實(shí)現(xiàn)自然語(yǔ)言理解的關(guān)鍵技術(shù)之一。隨著人機(jī)對(duì)話(huà)系統(tǒng)的不斷發(fā)展,越來(lái)越多的對(duì)話(huà)機(jī)器人產(chǎn)品走進(jìn)人們的生活中,但是人機(jī)對(duì)話(huà)時(shí)人類(lèi)多使用短句和省略詞。這些短文本存在內(nèi)容短、數(shù)據(jù)量大、表達(dá)不規(guī)范等特點(diǎn),這些特點(diǎn)導(dǎo)致在意圖識(shí)別時(shí)常面臨文本噪聲多、特征稀疏、一詞多義、前后對(duì)話(huà)信息不獨(dú)立等問(wèn)題。為解決上述問(wèn)題,本文首先針對(duì)人機(jī)對(duì)話(huà)中短文本向量化表示時(shí)不能表征一詞多義以及語(yǔ)義缺失的問(wèn)題,分別介紹了BERT模型和word2vec模型,以及兩個(gè)模型向量的融合方法,提出了基于BERT和word2vec的聯(lián)合模型的短文本向量化表示方法,實(shí)驗(yàn)表明融合后的向量化表示可以較大程度的提升分類(lèi)模型的分類(lèi)性能。其次針對(duì)人機(jī)對(duì)話(huà)的短文本包含多種意圖且特征稀疏的問(wèn)題,描述了CNN、LSTM意圖識(shí)別模型,重點(diǎn)闡述了多頭注意力機(jī)制對(duì)短文本序列進(jìn)行權(quán)重分配的過(guò)程,提出了基于多頭注意力機(jī)制和特征融合的多意圖識(shí)別方法,實(shí)驗(yàn)結(jié)果對(duì)比表明該方法的識(shí)別效果更好。最后針對(duì)前后文對(duì)話(huà)信息不獨(dú)立的問(wèn)題,基于BLSTM模型,通過(guò)分析經(jīng)常出現(xiàn)的兩種不同的多輪對(duì)話(huà)情況分別描述了兩個(gè)歷史存儲(chǔ)方法,并闡述了利...

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖1-1人機(jī)對(duì)話(huà)系統(tǒng)框架

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-1-第1章緒論1.1課題研究的背景和意義隨著互聯(lián)網(wǎng)與無(wú)線(xiàn)網(wǎng)絡(luò)的發(fā)展，人與智能設(shè)備之間的信息交互模式發(fā)生了變化。人機(jī)對(duì)話(huà)旨在為計(jì)算機(jī)搭載人類(lèi)和計(jì)算機(jī)語(yǔ)言之間溝通的橋梁，使人機(jī)交互更加直觀(guān)，從而減輕人們的負(fù)擔(dān)并創(chuàng)建直觀(guān)的交互模型。許多專(zhuān)家認(rèn)為未來(lái)它可能....

圖2-1意圖識(shí)別數(shù)學(xué)模型

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-7-第2章意圖識(shí)別相關(guān)理論與介紹2.1意圖識(shí)別概述近年來(lái)，意圖識(shí)別成為學(xué)術(shù)界和工業(yè)界新的研究熱點(diǎn)，為了正確理解人機(jī)對(duì)話(huà)系統(tǒng)中的用戶(hù)意圖，可以把意圖識(shí)別視作短文本分類(lèi)問(wèn)題來(lái)解決，即根據(jù)預(yù)先定義的主題類(lèi)別，按照某些特定的規(guī)則對(duì)不知類(lèi)別的文本自動(dòng)確定一個(gè)....

圖2-2意圖識(shí)別流程圖

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-8-圖2-2意圖識(shí)別流程圖Fig.2-2Intentrecognitionflowchart2.2文本預(yù)處理文本預(yù)處理處于整個(gè)意圖識(shí)別流程的開(kāi)始部分，很多文本數(shù)據(jù)中的異常數(shù)據(jù)或數(shù)值會(huì)直接或間接對(duì)下游任務(wù)的結(jié)果造成影響，因此對(duì)于常規(guī)的異常數(shù)據(jù)或數(shù)值來(lái)....

圖3-2BERT模型結(jié)構(gòu)圖

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-14-圖3-1BERT_word2vec模型結(jié)構(gòu)圖Fig.3-1StructurediagramoftheBERT_word2vecmodel3.2.1BERT模型BERT(BidirectionalEncoderRepresentationsfr....

本文編號(hào)：3966014