在當今飛速發(fā)展的互聯(lián)網(wǎng)時代,隨著人們生活水平的不斷提高,人們在信息檢索、自動問答、對話系統(tǒng)等人工智能領(lǐng)域的需求越來越高,需要智能匹配算法來滿足用戶的多樣化需求。為解決這一問題,自然語言處理技術(shù)應(yīng)運而生,它能夠為用戶提供高效的信息檢索服務(wù)和舒適的人機交互體驗。文本匹配任務(wù)是自然語言處理技術(shù)中的核心問題,近年來隨著深度學習和文本詞向量技術(shù)的迅猛發(fā)展,基于深度神經(jīng)網(wǎng)絡(luò)的文本匹配逐漸成為一個新的研究方向。本文研究了文本匹配一些經(jīng)典的深度學習模型,基于ESIM、DSSM、Decomposable Attention、Siamese Network四種模型,根據(jù)Blending模型融合方法并在Blending上最后添加一層邏輯回歸,提出一種融合模型。主要工作包括:首先,研究了文本匹配相關(guān)技術(shù),包括詞向量技術(shù)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)以及模型融合技術(shù)。其次,分別介紹了四種模型的基本結(jié)構(gòu),并在此基礎(chǔ)上,針對本文實際問題進行模型構(gòu)造,對四種模型各個網(wǎng)絡(luò)層進行詳細闡述,對損失函數(shù)、優(yōu)化算法等進行說明。解釋本文所提出的模型的構(gòu)造過程。最后,根據(jù)2018螞蟻金服文本相似度比賽數(shù)據(jù)進行實驗,... 

【文章來源】：上海師范大學上海市

【文章頁數(shù)】：90 頁

【學位級別】：碩士

【部分圖文】：

本文模型框架

第2章文獻綜述和相關(guān)理論研究上海師范大學碩士學位論文16圖2.1神經(jīng)網(wǎng)絡(luò)語言模型NNLM的最終目標是優(yōu)化如下函數(shù)，見公式（2.3）：(2.3)公式（2.3）中，代表在某一個單詞序列中出現(xiàn)的第t個單詞，表示在某一個單詞序列中，從第1個單詞到第t個單詞進行相關(guān)的排列，從而形成一個子序列。在語言模型中需要滿足以下兩種條件，來對計算結(jié)果和計算過程進行約束：(2.4)(2.5)如上圖2.1所示，計算條件概率分布：(2.6)在上述公式中，使用矩陣來表示矩陣中的映射關(guān)系，可使用神經(jīng)網(wǎng)絡(luò)將語言模型中每一個詞都轉(zhuǎn)化為對應(yīng)的詞向量，這樣就有利于對詞向量進行分析。利用

第2章文獻綜述和相關(guān)理論研究上海師范大學碩士學位論文18絡(luò)類型的語言模型有較高的相似之處。嵌入式詞向量模型的工作原理也是將單詞轉(zhuǎn)化為相關(guān)的詞向量進行計算，同時該模型的核心計算方法和步驟也是利用神經(jīng)網(wǎng)絡(luò)模型進行計算。計算完成后，將所有的單詞數(shù)據(jù)存入相關(guān)的數(shù)據(jù)庫同時也可以將數(shù)據(jù)庫嵌入到一個空間之中。該模型可以保證每個單詞在嵌入的空間中都能表達出自己的意義，兩個單詞之間的距離也可以用來表示兩個單詞之間是否存在對應(yīng)關(guān)系。與神經(jīng)網(wǎng)絡(luò)模型相比，嵌入式模型具有更高的優(yōu)越性，這是因為兩個詞之間的空間距離可以用來進一步衡量兩個詞之間的關(guān)系。嵌入式詞向量模型由于可以有不同的輸入和輸出，到整個模型可以分為以下兩個種類，分別是跳字模型（Skip-gram）和連續(xù)詞袋（CBOW）模型。跳字模型可以通過對某個單詞結(jié)合上下文的信息進行分析。使用作為目標函數(shù)；而CBOW模型工作原理與上一模型恰好相反，前者的工作原理主要利用上下文的單詞含義，來進一步分析在上下文之間各個單詞代表的含義。使用作為目標函數(shù)。圖2.2CBOW模型圖


本文編號：3334068