語(yǔ)言模型在很多人工智能領(lǐng)域都是一個(gè)基礎(chǔ)的研究主題。近年來(lái),受量子理論啟發(fā),在信息檢索領(lǐng)域種提出了一種量子語(yǔ)言模型。量子語(yǔ)言模型通過(guò)量子理論中的密度矩陣建模句子中的詞項(xiàng)依賴(lài),相比于傳統(tǒng)的n元語(yǔ)言模型,能夠在不增加模型參數(shù)的情況下表示出任意長(zhǎng)度的依賴(lài)關(guān)系。然而在量子語(yǔ)言模型中,詞項(xiàng)的表示是由one-hot得到的,只能建模局部的依賴(lài)。量子語(yǔ)言模型中的密度矩陣的求解是通過(guò)迭代過(guò)程估計(jì)得到,表示和匹配過(guò)程是分開(kāi)的,因此不能從整體上尋找最優(yōu)解,這限制了在其他相關(guān)任務(wù)上的應(yīng)用。為了擴(kuò)展量子語(yǔ)言模型的理論和應(yīng)用基礎(chǔ),本文提出了一種基于神經(jīng)網(wǎng)絡(luò)的量子語(yǔ)言模型,并將其應(yīng)用于問(wèn)答任務(wù)中。將一個(gè)句子看作是一個(gè)量子系統(tǒng),在神經(jīng)網(wǎng)絡(luò)中根據(jù)word embeddings構(gòu)造句子的密度矩陣表示,然后得到問(wèn)答對(duì)的聯(lián)合表示,利用卷積神經(jīng)網(wǎng)絡(luò)從聯(lián)合表示中提取出來(lái)的特征,來(lái)判斷問(wèn)句和答句的相似度。與原始的量子語(yǔ)言模型相比,這是一種端到端的模式,能更充分地利用大數(shù)據(jù)的優(yōu)勢(shì),并且在效果上得到了很大的提升。在TREC-QA和WIKI-QA這兩個(gè)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果驗(yàn)證了本文模型的有效性。

【文章頁(yè)數(shù)】：55 頁(yè)

【學(xué)位級(jí)別】：碩士

圖4-1單個(gè)句子的密度矩陣表示

圖4-2NNQLM-II如圖4-2所示，得到聯(lián)合表示的過(guò)程與第一個(gè)基于神經(jīng)網(wǎng)絡(luò)的量子語(yǔ)言

本文編號(hào)：3888386