隨著數(shù)字化社會(huì)的高速發(fā)展,人們在信息檢索,自動(dòng)問答,對(duì)話系統(tǒng)等人工智能領(lǐng)域的需求開始出現(xiàn),需要智能匹配算法來滿足用戶的高需求。為解決這一問題,自然語言處理技術(shù)應(yīng)運(yùn)而生,它能夠?yàn)橛脩籼峁└咝У男畔z索服務(wù)和舒適的人機(jī)交互體驗(yàn)。文本匹配算法是自然語言處理技術(shù)中的核心問題,傳統(tǒng)文本匹配領(lǐng)域中文本表示的維數(shù)災(zāi)難問題、數(shù)據(jù)稀疏問題等已經(jīng)影響自然語言處理領(lǐng)域的發(fā)展。近年來由于深度學(xué)習(xí)和文本詞向量表征技術(shù)的迅猛發(fā)展,基于深度神經(jīng)網(wǎng)絡(luò)的文本匹配逐漸成為一個(gè)新的研究方向。本文研究了文本匹配經(jīng)典的深度學(xué)習(xí)模型,并提出了基于多語義文檔表示的文本匹配算法和基于注意力機(jī)制的文本匹配算法。主要工作包括:首先,研究了基于分布式假說的詞表征技術(shù)。主要研究了詞的分布式表示（詞向量/詞表征）相關(guān)技術(shù),包括基于神經(jīng)網(wǎng)絡(luò)的詞表征（詞向量/詞的分布表示）技術(shù),基于矩陣的詞表征（詞向量/詞的分布表示）技術(shù)和基于聚類的詞表征（詞向量/詞的分布表示）技術(shù)。其次,提出了一種深度多視圖語義文檔表示模型（DMVSR）,DMVSR模型可以捕捉文本間長距離語義依賴關(guān)系,得到多粒度文本高維語義匹配信息。每個(gè)文本稠密向量由雙向長短期記憶神經(jīng)網(wǎng)絡(luò)進(jìn)... 

【文章來源】：中國科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁數(shù)】：77 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１?ＮＮＬＭ語言模型結(jié)構(gòu)圖??模型的訓(xùn)練是由一組詞序列叫，．．．，＼＾，州，ｅＦ作為輸入，其中Ｖ是所有詞匯的??

?ｉａｄｅｘｆｏｒｉｖｒ？２?ｉｎｄｅｘ?ｆｏｒ?ｗ，．?＼??圖２．１?ＮＮＬＭ語言模型結(jié)構(gòu)圖??模型的訓(xùn)練是由一組詞序列叫，．．．，＼＾，州，ｅＦ作為輸入，其中Ｖ是所有詞匯的??集合，Ｋ表示第／個(gè)詞匯。最大化似然：??尸（ｗ，．?｜ｖ＾＿？＋１ｍ）?（２－８）??其中ｗ，為目標(biāo)詞，??ｗ，＿？＋１，…，ｗＭ為輸入詞匯。??ＮＮＬＭ語言模型的前向傳播可分為特征映射和計(jì)算條件概率分布兩部。矩??陣Ｃｅ?７？ｌ＞｜ｘｍ將輸入的詞序列映射為一個(gè)特征向量，Ｃ（／）ｅ?＾表示第／個(gè)特征向??量，其中ｍ表示特征維度。通過特征映射的Ｃ（ｗ，直接合并成一個(gè)??（ｎ－ｌ）ｍ維的長向量（Ｃ（ｗ

回顧傳統(tǒng)神經(jīng)網(wǎng)絡(luò)語言模型，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)語言模型最大的問題在于從全連??接神經(jīng)網(wǎng)絡(luò)的隱藏層部分到輸出層部分的５Ｖ＃ｍａｘ計(jì)算成本很大，因?yàn)橐?jì)算所??有詞的概率。如下圖２－４所示，其中Ｋ是詞匯表的大小。??Ｉｎｐｕｔ?ｌａｙｅｒ?Ｈｉｄｄｅｎ?ｌａｙｅｒ?Ｏｕｔｐｕｔ?ｌａｙｅｒ??￣〇?命．一?°－ｖ－ｉ??５?Ｘ?４?Ｘ?５??＊＊?Ｃ?ｈ，?＇：?０．？／??．＇Ｖｒｖ．＼＝｛＇＇ｆｅ）?；）?｜?＇Ｖ：Ｓｖ，－｛ｗＶ｝．??圖２．４神經(jīng)網(wǎng)絡(luò)語言模型結(jié)構(gòu)圖??層次化｜２Ｋ｜可以大大的減少計(jì)算成本。層次化??Ｓ＾／ｉｗａｘ?（／ｆ／ｅｒａｎ：７〗／ｃａ／?Ｓｑ／ｈＨａｘ）使用霍夫曼樹代替從隱藏層到輸出層和／丨ｍａｘ層??的全連接矩陣映射。層次化和（Ｍｅｒａｒｃ／ｊ／ｃａ／?把語義模型中所有詞??匯從輸出層計(jì)算巧／ｈｒａｘ概率計(jì)算換成霍夫曼樹計(jì)算，因此Ｓｏｆｔｍａｘ概率計(jì)算主??要是采用沿著樹形結(jié)構(gòu)進(jìn)行就可以。如下圖２－５所示，可以沿著霍夫曼樹從最上??層的根節(jié)點(diǎn)一直沿著霍夫曼樹走到對(duì)應(yīng)的目標(biāo)葉子節(jié)點(diǎn)的詞％。??１３??

【參考文獻(xiàn)】：
期刊論文
[1]深度文本匹配綜述[J]. 龐亮,蘭艷艷,徐君,郭嘉豐,萬圣賢,程學(xué)旗.  計(jì)算機(jī)學(xué)報(bào). 2017(04)
[2]基于LDA模型的Ad hoc信息檢索方法研究[J]. 卜質(zhì)瓊,鄭波盡.  計(jì)算機(jī)應(yīng)用研究. 2015(05)
[3]語法和語義相結(jié)合的中文對(duì)話系統(tǒng)問題理解研究[J]. 黃沛杰,黃強(qiáng),吳秀鵬,吳桂盛,郭慶文,陳楠挺,陳楚萍.  中文信息學(xué)報(bào). 2014(06)
[4]一種面向社區(qū)型問句檢索的主題翻譯模型[J]. 張偉男,張宇,劉挺.  計(jì)算機(jī)學(xué)報(bào). 2015(02)
[5]任務(wù)型人機(jī)對(duì)話系統(tǒng)中的認(rèn)知技術(shù)——概念、進(jìn)展及其未來[J]. 俞凱,陳露,陳博,孫鍇,朱蘇.  計(jì)算機(jī)學(xué)報(bào). 2015(12)
[6]問答式檢索技術(shù)及評(píng)測研究綜述[J]. 吳友政,趙軍,段湘煜,徐波.  中文信息學(xué)報(bào). 2005(03)
[7]自動(dòng)問答綜述[J]. 鄭實(shí)福,劉挺,秦兵,李生.  中文信息學(xué)報(bào). 2002(06)

博士論文
[1]基于深度神經(jīng)網(wǎng)絡(luò)的文本表示及其應(yīng)用[D]. 戶保田.哈爾濱工業(yè)大學(xué) 2016
[2]基于深度學(xué)習(xí)的文本向量化研究與應(yīng)用[D]. 于政.華東師范大學(xué) 2016



本文編號(hào)：3584846