隨著蒙古文網(wǎng)絡(luò)資源的不斷增多,對(duì)蒙古文信息進(jìn)行新事件檢測(cè),進(jìn)而在龐大的信息源中及時(shí)掌握最新動(dòng)態(tài)的需求不斷增加。然而目前為止在國(guó)內(nèi)外對(duì)于蒙古文新事件檢測(cè)方法的研究仍處于起步階段,亟需對(duì)其進(jìn)行進(jìn)一步研究。在蒙古文新聞?lì)I(lǐng)域的新事件檢測(cè)中,優(yōu)化新聞內(nèi)容表示和充分利用新聞?wù)Z料信息是兩個(gè)核心問(wèn)題,其方法優(yōu)劣直接影響著最終的檢測(cè)結(jié)果。本文針對(duì)優(yōu)化蒙古文新聞內(nèi)容表示和充分利用語(yǔ)料信息這兩個(gè)核心問(wèn)題,對(duì)蒙古文新聞?lì)I(lǐng)域的新事件檢測(cè)方法展開(kāi)研究,具體研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下:首先,針對(duì)優(yōu)化新聞內(nèi)容表示,本文提出了基于特征詞權(quán)重優(yōu)化的向量空間模型的文本表示方法。本文以向量空間模型(Vector Space Model,VSM)為基礎(chǔ),對(duì)詞頻-逆文檔頻率(Term Frequency-Inverse Document Frequency,TF-IDF)算法進(jìn)行了改進(jìn),根據(jù)新聞的特點(diǎn),對(duì)新聞標(biāo)題、首段和每段的首句出現(xiàn)的特征詞特殊加權(quán),利用統(tǒng)計(jì)方法優(yōu)化不同新聞?lì)悇e中不同命名實(shí)體特征詞的權(quán)重系數(shù),根據(jù)新事件檢測(cè)任務(wù)特點(diǎn),使用類頻方差優(yōu)化不同新聞?lì)悇e中分布情況不同的特征詞權(quán)重系數(shù)。實(shí)驗(yàn)結(jié)果表明,相比傳統(tǒng)的VSM模型,該方法...

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.4LDA模型圖

面向新聞?lì)I(lǐng)域的蒙古文新事件檢測(cè)方法研究12(4)生成一個(gè)單詞,~(,)；圖2.4LDA模型圖Figure2.4SchematicdiagramofLDAmodel2.3新聞相似度計(jì)算新聞文本相似度的計(jì)算是新事件檢測(cè)過(guò)程中的重要一環(huán)。當(dāng)判斷兩篇新聞文本是否論述同一個(gè)話題時(shí)，通常使用....

圖3.2編碼轉(zhuǎn)換后的文檔

內(nèi)蒙古大學(xué)碩士學(xué)位論文17圖3.2編碼轉(zhuǎn)換后的文檔Figure3.2Transcodeddocument圖3.3對(duì)應(yīng)拉丁文檔Figure3.3CorrespondingLatindocument3.2.3文本校對(duì)在蒙古文中有很多發(fā)音相同形式不同和形式相同發(fā)音不同的蒙古文單詞，多數(shù)....

圖3.3對(duì)應(yīng)拉丁文檔

內(nèi)蒙古大學(xué)碩士學(xué)位論文17圖3.2編碼轉(zhuǎn)換后的文檔Figure3.2Transcodeddocument圖3.3對(duì)應(yīng)拉丁文檔Figure3.3CorrespondingLatindocument3.2.3文本校對(duì)在蒙古文中有很多發(fā)音相同形式不同和形式相同發(fā)音不同的蒙古文單詞，多數(shù)....

圖3.4校正完成后的文檔Figure3.4Correcteddocument

面向新聞?lì)I(lǐng)域的蒙古文新事件檢測(cè)方法研究18圖3.4校正完成后的文檔Figure3.4Correcteddocument3.3蒙古文新聞?wù)Z料的標(biāo)注及后續(xù)處理本文對(duì)蒙古文新聞?wù)Z料預(yù)處理之后，還需要對(duì)其進(jìn)行標(biāo)注、去除停用詞和切分詞綴的后續(xù)操作，具體流程如圖3.5：編碼轉(zhuǎn)換文本校對(duì)新聞?wù)Z....

本文編號(hào)：3931503