隨著互聯(lián)網(wǎng)的蓬勃發(fā)展,海量的文本信息正在不斷涌現(xiàn),這些信息在新聞資訊、電子商務(wù)、輿情監(jiān)測(cè)等場(chǎng)景具有重要的價(jià)值。分類(lèi)是對(duì)文本信息有效利用并解決上述實(shí)際場(chǎng)景需求的重要技術(shù)手段,而這些文本信息作為分類(lèi)對(duì)象往往以單個(gè)語(yǔ)句或若干個(gè)詞語(yǔ)拼接成的短句的形式出現(xiàn),因此構(gòu)建一個(gè)具有良好性能的句子分類(lèi)模型是尤為關(guān)鍵的。句子分類(lèi)的研究具有重要的應(yīng)用價(jià)值。由于句子普遍具有長(zhǎng)度短、新詞多、重復(fù)成分少等特點(diǎn),基于統(tǒng)計(jì)學(xué)習(xí)思想的句子分類(lèi)方法往往需要耗費(fèi)大量精力針對(duì)具體分類(lèi)任務(wù)中句子的特點(diǎn)進(jìn)行特征提取和選擇,同時(shí)對(duì)于新的分類(lèi)場(chǎng)景,需要重新構(gòu)建特征,普適性較差。這些缺點(diǎn)在一定程度上限制了此類(lèi)方法在句子分類(lèi)問(wèn)題中的應(yīng)用。深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的應(yīng)用推動(dòng)了句子分類(lèi)問(wèn)題的研究,近年來(lái)的研究表明,卷積神經(jīng)網(wǎng)絡(luò)能夠通過(guò)詞向量有效地應(yīng)用在句子分類(lèi)問(wèn)題中。用于句子分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)雖然能夠提取句子中的局部特征,但忽視了在具體分類(lèi)任務(wù)下,句子中不同的詞語(yǔ)對(duì)分類(lèi)結(jié)果的重要性有所不同,同時(shí)不同部分的詞語(yǔ)間往往存在關(guān)聯(lián)信息,此外,每個(gè)詞對(duì)應(yīng)的詞向量表示受限于單一詞向量訓(xùn)練方法,以上方面均影響最終提取的用于分類(lèi)的句子特征。本文針對(duì)上述存在... 

【文章來(lái)源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型整體結(jié)構(gòu)

圖 2.2 word2vec 兩種模型基本結(jié)構(gòu)ontext(w)中的 2c 個(gè)詞對(duì)應(yīng)的詞向量，令詞向量的維數(shù)為 m，則每個(gè)詞向量可為( ( ) ) ,1 2mtv Context w R t c。第二層是投影層，將輸入層中的詞向量進(jìn)行累加得到：

圖 2.3 基于層次 Softmax 的 CBOW 模型整體結(jié)構(gòu),..., {0,1}wwld 表示詞 w 的 1wl 位哈夫曼編碼，其中wjd 為路的編碼(根節(jié)點(diǎn)不對(duì)應(yīng)編碼)。,...,w m R 表示路徑wp 中非葉節(jié)點(diǎn)對(duì)應(yīng)的向量，其中w 為


本文編號(hào)：3400977