近年來(lái)計(jì)算科學(xué)飛速發(fā)展,尤其是計(jì)算機(jī)的計(jì)算能力大幅提升,機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的應(yīng)用越來(lái)越廣泛,因此我們?cè)谧匀徽Z(yǔ)言處理領(lǐng)域的研究越來(lái)越多的運(yùn)用了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法作為工具,在這樣的情況下,自然語(yǔ)言處理也得到了大幅度的發(fā)展。在自然語(yǔ)言處理中,如何將詞轉(zhuǎn)換為計(jì)算機(jī)能夠識(shí)別的語(yǔ)言是一項(xiàng)基礎(chǔ)性的研究,因此詞向量化和文本向量化方法的研究就顯得尤為重要。傳統(tǒng)針對(duì)文本數(shù)據(jù)的分析,往往基于詞頻、詞頻逆文本統(tǒng)計(jì)量作為文本的表示特征。這類方法往往只反映了文本的部分信息,忽略了文本的內(nèi)在語(yǔ)義特征。尤其是對(duì)于短文本數(shù)據(jù)而言,關(guān)鍵詞出現(xiàn)的頻率通常較低,這給基于詞頻原理的統(tǒng)計(jì)模型帶來(lái)了巨大的挑戰(zhàn)。因而,本文提出了中文詞語(yǔ)銜接的概率語(yǔ)言模型,其基本思想在于根據(jù)文本中詞語(yǔ)出現(xiàn)的先后順序進(jìn)行建模分析,該模型在短文本數(shù)據(jù)挖掘中能夠很好地針對(duì)文本語(yǔ)義進(jìn)行量化分析。主要解決兩類問(wèn)題:一、如何合理地將中文詞轉(zhuǎn)化為數(shù)字向量,并且保證中文近義詞在數(shù)字空間特征上的相似性;二、如何建立恰當(dāng)?shù)南蛄靠臻g,將中文文本的語(yǔ)義和結(jié)構(gòu)特征等信息保留在向量空間中。最后結(jié)合金庸小說(shuō)人物驗(yàn)證中文詞向量化的合理性;另一方面應(yīng)用某城市房屋管理部門(mén)留言板的... 

【文章來(lái)源】：華中師范大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：50 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．１：過(guò)去６年中ＡＣＬ，?ＥＭＮＬＰ，?ＥＡＣＬ，?ＮＡＡＣＬ深度學(xué)習(xí)論文的百分比（長(zhǎng)篇??

換句話說(shuō)，在文本中出現(xiàn)非常頻繁的詞在語(yǔ)義上很可能是沒(méi)有意義的，而稀??有詞占字典的主要部分，但出現(xiàn)的頻率卻不高。這個(gè)定律說(shuō)明了單詞在文本中的??分布情況。而這個(gè)定律也說(shuō)明了為什么需要去停用詞，圖２．１是去停用詞的工作原??理。??吆去廠＝界，—娜??／?＼?｜??Ｗ?，?＼??額＇義詞?＼?＾＾５疏詞??Ｚ?＾??詞：鋪陷，周頻越離越靠前??圖２．１：去停用詞??１１??

ｅｔ?＝?ｇ｛ＶＴｍｔ）?＋?￡．?（３．５）??這里，Ｗ代表圖３．２中的連接權(quán)，［／代表輸出層和隱藏層之間的連接權(quán)矩陣，??Ｖ＂代表隱藏層和輸出層之間的連接權(quán)矩陣，；ｒｔ代表ｉ時(shí)刻的輸入，ｍｔ代表ｉ時(shí)刻隱藏??層的輸出，ｅｔ代表ｔ時(shí)刻的后詞概率，／，５分別代表隱藏層到輸出層的激活函數(shù)，??通�？扇椋螅椋纾恚铮浜瘮�(shù)、雙曲正切函數(shù)等等，ｅ代表隨機(jī)誤差。從而問(wèn)題轉(zhuǎn)換為??ｎ??（Ｗ，Ｕ，Ｖ）?＝?ａｒｇ?ｍｉｎ＾Ｗｅｔ?－?ｇ（ｙＴｍｔ）＼＼ｌ，?（３．６）??ｔ＝ｌ??＝?ｆ（ＷＴｍｔ－ｉ?＋?ＵＴｘｔ），?ｔ?＝?１，?？?？?？?，?ｎ．?（３．７）??這里我們通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ）來(lái)求解該模型中的參數(shù)由??于Ｗ為隱藏層的記憶單元，其中包含了文本的主旨信息，因此可以被當(dāng)做文本向??２０??

【參考文獻(xiàn)】：
期刊論文
[1]中文分詞十年回顧[J]. 黃昌寧,趙海.  中文信息學(xué)報(bào). 2007(03)



本文編號(hào)：3215962