本文關(guān)鍵詞：基于Attention-Based LSTM模型的文本分類技術(shù)的研究

  更多相關(guān)文章： 文本分類 特征提取 深度學(xué)習(xí) 注意力概率分布 LSTM模型

【摘要】：文本分類是自然語(yǔ)言處理領(lǐng)域的一個(gè)經(jīng)典的研究方向,傳統(tǒng)的研究涉及到文本的預(yù)處理、文本特征的提取、機(jī)器學(xué)習(xí)分類器訓(xùn)練等方面。隨著深度學(xué)習(xí)技術(shù)在圖像識(shí)別,機(jī)器翻譯等領(lǐng)域取得了很大的進(jìn)展,深度學(xué)習(xí)模型被證明在數(shù)據(jù)預(yù)處理和特征提取方面有著很大優(yōu)勢(shì)。本文在研究分析和總結(jié)文本向量表示技術(shù)和深度學(xué)習(xí)模型LSTM原理的基礎(chǔ)上,對(duì)運(yùn)用深度學(xué)習(xí)模型解決文本分類問(wèn)題做了深入的研究。本文的主要研究工作如下：(1)針對(duì)文本分類中數(shù)據(jù)表示的高維度難以訓(xùn)練和向量表示特征無(wú)關(guān)的問(wèn)題,采用了Word Embedding機(jī)制,將文本數(shù)據(jù)映射到一個(gè)低維度的實(shí)數(shù)向量,避免了高維度的輸入導(dǎo)致LSTM模型產(chǎn)生維度災(zāi)難的問(wèn)題。同時(shí)Word Embedding機(jī)制訓(xùn)練出的詞向量具有同義詞向量相似的特征,作為L(zhǎng)STM模型的輸入,提高了分類器的性能。(2)針對(duì)文本分類的特征選擇問(wèn)題,本文設(shè)計(jì)了Attention-Based LSTM模型用于提取特征,其中LSTM模型解決了傳統(tǒng)RNN的梯度消失的問(wèn)題,通過(guò)3種“門”的控制,解決了RNN模型訓(xùn)練中的長(zhǎng)期依賴問(wèn)題。同時(shí)本文通過(guò)Attention-Based的方法,得到含有輸入序列節(jié)點(diǎn)注意力概率分布的語(yǔ)義編碼,并將其作為分類器的輸入,減少了特征向量提取過(guò)程中的信息丟失和信息冗余。(3)針對(duì)LSTM模型的前向依賴問(wèn)題,本文設(shè)計(jì)了組合正逆序Attention-Based LSTM模型,組合正逆序向量作為特征向量,將Bi-LSTM模型作為對(duì)比模型,探究文本上下文對(duì)文本分類的影響。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.1

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 楊健;汪海航;;基于隱馬爾可夫模型的文本分類算法[J];計(jì)算機(jī)應(yīng)用;2010年09期

2 侯漢清,黃剛;電子計(jì)算機(jī)與文獻(xiàn)分類[J];計(jì)算機(jī)與圖書館;1982年01期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 梅君;中文文本分類的研究與應(yīng)用[D];南昌大學(xué);2010年

，

本文編號(hào)：1264575