本文關(guān)鍵詞：基于神經(jīng)網(wǎng)絡(luò)的文本向量表示與建模研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：文本表示與建模是自然語言處理領(lǐng)域中的基礎(chǔ)任務(wù)。傳統(tǒng)的文本表示方法主要是基于詞袋模型,好處在于簡單高效,容易擴(kuò)展,但同時(shí)也面臨眾多嚴(yán)重的問題,如維度災(zāi)難、數(shù)據(jù)稀疏表示、缺失語義表達(dá)能力等。近年來隨著大數(shù)據(jù)和深度學(xué)習(xí)技術(shù)在語音、圖像、生物信息等領(lǐng)域取得重大的成果,研究者們也開始將深度神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用到自然語言處理領(lǐng)域。特別地,隨著2008年Collobert和Weston將基于深度神經(jīng)網(wǎng)絡(luò)的詞向量表示應(yīng)用到各類自然語言處理任務(wù)以及2013年谷歌研究員基于神經(jīng)網(wǎng)絡(luò)語言模型來學(xué)習(xí)分布式詞向量表示,越來越多基于神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)文本向量表示的方法出現(xiàn)。本文集中對(duì)基于神經(jīng)網(wǎng)絡(luò)語言模型的文本向量表示和主題建模問題進(jìn)行了研究。首先簡單介紹傳統(tǒng)N-Gram統(tǒng)計(jì)語言模型和基于神經(jīng)網(wǎng)絡(luò)的語言模型,并且回顧傳統(tǒng)詞向量表示方法以及學(xué)習(xí)分布式詞向量表示模型Word2Vec。隨后基于這些基礎(chǔ)模型與方法,本文進(jìn)行了多方面的擴(kuò)展：1.潛在狄利克雷分布(LDA)挖掘文檔中的主題結(jié)構(gòu),在自然語言處理和機(jī)器學(xué)習(xí)領(lǐng)域扮演重要的角色。然而,LDA中的概率分布表示僅僅描述語料中的共現(xiàn)統(tǒng)計(jì)關(guān)系,概率分布并不是特征表示的最好選擇。近來,基于向量表示的方法被提出來學(xué)習(xí)詞和文檔的概念和表示,例如Word2Vec向量表示方法已經(jīng)在眾多任務(wù)中相比類LDA的方法表現(xiàn)更好。Doc2Vec。因此,本文提出模型可以學(xué)習(xí)和詞向量表示在同一個(gè)語義空間的Topic2Vec主題向量表示,作為概率分布的替換。實(shí)驗(yàn)表明可以更好的建模Topic2Vec主題。2.分布式詞向量表示已經(jīng)在自然語言處理領(lǐng)域取得了重大的成果。然而,大多數(shù)模型只關(guān)注局部上下文屬性并且獨(dú)自地學(xué)習(xí)特定任務(wù)的表示,缺失融合多個(gè)屬性聯(lián)合學(xué)習(xí)的能力。因此,本文提出一個(gè)統(tǒng)一的框架可以聯(lián)合學(xué)習(xí)詞和詞的屬性的分布式表示。在模型中,我們考慮了三類屬性：主題、詞元和文檔。在學(xué)習(xí)屬性的分布式向量表示的同時(shí),我們發(fā)現(xiàn)利用附加的屬性對(duì)于提升詞的表示也是有益的。實(shí)驗(yàn)部分從多個(gè)方面分別評(píng)價(jià)了主題向量表示、文檔向量表示和提升的詞向量表示,結(jié)果表明我們的模型效果更好。3.感知任務(wù)例如視覺對(duì)象識(shí)別和文本理解在人類智能中起著重要的作用,后續(xù)任務(wù)則包括推斷、推理和決策制定等都要求更高層次的智能。過去幾年中,感知任務(wù)的主要進(jìn)展均采用了深度學(xué)習(xí)模型。而對(duì)于更高層次的推斷,帶有貝葉斯屬性的概率圖模型則更加強(qiáng)大和靈活。為了實(shí)現(xiàn)整合感知任務(wù)以及高層次推斷的智能,自然地希望將深度學(xué)習(xí)和貝葉斯模型緊密聯(lián)合起來。本文考慮融合基于神經(jīng)網(wǎng)絡(luò)的詞向量表示和潛在狄利克雷分布(LDA)。特別地,將詞向量表示應(yīng)用到LDA中來提升原有主題模型的效果,分別提出詞向量聚類先驗(yàn)LDA、上下文感知LDA和詞向量加強(qiáng)LDA等模型。實(shí)驗(yàn)表明利用詞向量表示的LDA表現(xiàn)更好。
【關(guān)鍵詞】：自然語言處理 文本表示 深度學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) 文本建模 主題模型 詞向量 主題 文檔 框架 潛在狄利克雷分布
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.1;TP183
【目錄】：

• 摘要4-6
• Abstract6-8
• 前言8-15
• 1 緒論15-19
• 1.1 研究背景15-16
• 1.2 研究內(nèi)容16-18
• 1.3 論文結(jié)構(gòu)18-19
• 2 語言模型與詞向量表示19-28
• 2.1 統(tǒng)計(jì)語言模型19-20
• 2.2 神經(jīng)網(wǎng)絡(luò)語言模型20-23
• 2.3 分布式詞向量表示23-27
• 2.4 本章小結(jié)27-28
• 3 學(xué)習(xí)主題的向量表示28-36
• 3.1 背景介紹28-29
• 3.1.1 潛在狄利克雷分布28
• 3.1.2 研究背景28-29
• 3.2 學(xué)習(xí)主題向量表示29-31
• 3.2.1 Topic2Vec模型29-31
• 3.3 實(shí)驗(yàn)及分析31-34
• 3.3.1 數(shù)據(jù)集31-32
• 3.3.2 評(píng)價(jià)方法32-33
• 3.3.3 實(shí)驗(yàn)結(jié)果分析33-34
• 3.4 本章小結(jié)34-36
• 4 聯(lián)合學(xué)習(xí)詞及其屬性的向量表示36-52
• 4.1 背景介紹36-38
• 4.2 框架與模型38-42
• 4.2.1 聯(lián)合學(xué)習(xí)詞和屬性向量表示的統(tǒng)一框架38-39
• 4.2.2 TW模型：學(xué)習(xí)主題向量表示39
• 4.2.3 DW模型：學(xué)習(xí)文檔向量表示39-40
• 4.2.4 提升詞向量表示的模型40-42
• 4.2.5 優(yōu)化和學(xué)習(xí)過程42
• 4.3 實(shí)驗(yàn)及分析42-49
• 4.3.1 數(shù)據(jù)集42-43
• 4.3.2 評(píng)估主題向量表示43-46
• 4.3.3 評(píng)估文檔向量表示46-47
• 4.3.4 評(píng)估提升的詞向量表示47-49
• 4.4 本章小結(jié)49-52
• 5 詞向量加強(qiáng)的主題模型52-68
• 5.1 背景介紹52-53
• 5.2 詞向量聚類先驗(yàn)潛在狄利克雷分布53-56
• 5.2.1 狄利克雷先驗(yàn)分布53-55
• 5.2.2 詞向量聚類先驗(yàn)潛在狄利克雷分布55-56
• 5.3 詞向量聚類先驗(yàn)實(shí)驗(yàn)與分析56-61
• 5.3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置56
• 5.3.2 主題詞評(píng)估56-57
• 5.3.3 主題一致性評(píng)估57-61
• 5.3.4 實(shí)驗(yàn)與分析61
• 5.4 詞向量加強(qiáng)的潛在狄利克雷分布61-66
• 5.4.1 上下文感知的潛在狄利克雷分布62-64
• 5.4.2 詞向量加強(qiáng)的潛在狄利克雷分布64-66
• 5.5 本章小結(jié)66-68
• 6 總結(jié)與展望68-70
• 致謝70-72
• 參考文獻(xiàn)72-79
• 簡歷與科研成果79-80

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

2 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

3 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報(bào);2003年02期

4 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

5 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

6 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

7 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

8 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

9 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

10 楊鐘瑾;;神經(jīng)網(wǎng)絡(luò)的過去、現(xiàn)在和將來[J];青年探索;2006年04期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 美國明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報(bào);2003年

4 中國科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國際先進(jìn)水平[N];中國電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報(bào);2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測(cè)算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測(cè)的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測(cè)及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測(cè)研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測(cè)研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

  本文關(guān)鍵詞：基于神經(jīng)網(wǎng)絡(luò)的文本向量表示與建模研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：446150