隨著蒙古文網(wǎng)絡(luò)資源的不斷增多,對蒙古文信息進(jìn)行新事件檢測,進(jìn)而在龐大的信息源中及時(shí)掌握最新動態(tài)的需求不斷增加。然而目前為止在國內(nèi)外對于蒙古文新事件檢測方法的研究仍處于起步階段,亟需對其進(jìn)行進(jìn)一步研究。在蒙古文新聞?lì)I(lǐng)域的新事件檢測中,優(yōu)化新聞內(nèi)容表示和充分利用新聞?wù)Z料信息是兩個(gè)核心問題,其方法優(yōu)劣直接影響著最終的檢測結(jié)果。本文針對優(yōu)化蒙古文新聞內(nèi)容表示和充分利用語料信息這兩個(gè)核心問題,對蒙古文新聞?lì)I(lǐng)域的新事件檢測方法展開研究,具體研究內(nèi)容和創(chuàng)新點(diǎn)如下:首先,針對優(yōu)化新聞內(nèi)容表示,本文提出了基于特征詞權(quán)重優(yōu)化的向量空間模型的文本表示方法。本文以向量空間模型(Vector Space Model,VSM)為基礎(chǔ),對詞頻-逆文檔頻率(Term Frequency-Inverse Document Frequency,TF-IDF)算法進(jìn)行了改進(jìn),根據(jù)新聞的特點(diǎn),對新聞標(biāo)題、首段和每段的首句出現(xiàn)的特征詞特殊加權(quán),利用統(tǒng)計(jì)方法優(yōu)化不同新聞?lì)悇e中不同命名實(shí)體特征詞的權(quán)重系數(shù),根據(jù)新事件檢測任務(wù)特點(diǎn),使用類頻方差優(yōu)化不同新聞?lì)悇e中分布情況不同的特征詞權(quán)重系數(shù)。實(shí)驗(yàn)結(jié)果表明,相比傳統(tǒng)的VSM模型,該方法...

【文章頁數(shù)】：72 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2.4LDA模型圖

面向新聞?lì)I(lǐng)域的蒙古文新事件檢測方法研究12(4)生成一個(gè)單詞,~(,)；圖2.4LDA模型圖Figure2.4SchematicdiagramofLDAmodel2.3新聞相似度計(jì)算新聞文本相似度的計(jì)算是新事件檢測過程中的重要一環(huán)。當(dāng)判斷兩篇新聞文本是否論述同一個(gè)話題時(shí)，通常使用....

圖3.2編碼轉(zhuǎn)換后的文檔

內(nèi)蒙古大學(xué)碩士學(xué)位論文17圖3.2編碼轉(zhuǎn)換后的文檔Figure3.2Transcodeddocument圖3.3對應(yīng)拉丁文檔Figure3.3CorrespondingLatindocument3.2.3文本校對在蒙古文中有很多發(fā)音相同形式不同和形式相同發(fā)音不同的蒙古文單詞，多數(shù)....

圖3.3對應(yīng)拉丁文檔

內(nèi)蒙古大學(xué)碩士學(xué)位論文17圖3.2編碼轉(zhuǎn)換后的文檔Figure3.2Transcodeddocument圖3.3對應(yīng)拉丁文檔Figure3.3CorrespondingLatindocument3.2.3文本校對在蒙古文中有很多發(fā)音相同形式不同和形式相同發(fā)音不同的蒙古文單詞，多數(shù)....

圖3.4校正完成后的文檔Figure3.4Correcteddocument

面向新聞?lì)I(lǐng)域的蒙古文新事件檢測方法研究18圖3.4校正完成后的文檔Figure3.4Correcteddocument3.3蒙古文新聞?wù)Z料的標(biāo)注及后續(xù)處理本文對蒙古文新聞?wù)Z料預(yù)處理之后，還需要對其進(jìn)行標(biāo)注、去除停用詞和切分詞綴的后續(xù)操作，具體流程如圖3.5：編碼轉(zhuǎn)換文本校對新聞?wù)Z....

本文編號：3931503