“互聯(lián)網(wǎng)+”時代,網(wǎng)絡(luò)新媒體得到了迅速發(fā)展,網(wǎng)絡(luò)新聞逐漸成為人們獲取信息的主要來源。高校學生作為網(wǎng)民中的主力軍,對于新聞信息的獲取更加依賴于網(wǎng)絡(luò)。因此,如何從高校學生瀏覽的社會新聞中挖掘出不同的話題類型,及時掌握高校學生對于社會新聞話題的關(guān)注度及異常關(guān)注情況,引導(dǎo)學生正確看待社會新聞事件,對于高校思想教育工作的開展具有十分重要的意義。本文以學生瀏覽的社會新聞為研究對象,采用能夠進行語義挖掘的LDA主題模型來對新聞文本進行表示,在對現(xiàn)階段話題發(fā)現(xiàn)流程中涉及到的技術(shù)進行深入研究后,針對高校新聞話題發(fā)現(xiàn)技術(shù)中存在的問題提出了改進方案,使高校新聞話題發(fā)現(xiàn)的結(jié)果更為準確,具體工作開展如下:(1)針對標準LDA對新聞文本建模存在主題分布向高頻詞傾斜的問題,本文在優(yōu)化了數(shù)據(jù)預(yù)處理流程的基礎(chǔ)上提出一種基于標題加權(quán)的LDA主題模型。首先,通過整合停用詞表及權(quán)值過濾的方式對文本建模的預(yù)處理流程進行優(yōu)化,達到文本特征降維的目的,并在一定程度上降低無效高頻詞在主題中的分布概率。其次,由于新聞標題對新聞內(nèi)容具有高度概括的作用,利用這一特點在LDA模型中引入了標題加權(quán)策略,建立標題-權(quán)值索引表對模型訓練過程中的Gi...

【文章頁數(shù)】：73 頁

【學位級別】：碩士

【部分圖文】：

圖1一高校新聞話題發(fā)現(xiàn)流程

在ＬＤＡ主題模型及其在話題檢測與跟蹤方面的應(yīng)用研宄也取得了一系列的研宄成??果［３？５］，清華大學的王嘉琦％］提出了一種基于ＬＤＡ的增量式話題檢測方法，在??ＬＤＡ主題模型中加入了以降維為手段的文本信息，結(jié)合時間衰減函數(shù)，實現(xiàn)了在??語料庫不斷積累的過程中文本數(shù)目保持不變的目的，....

圖２－１新聞話題發(fā)現(xiàn)基本流程??Ｆｉｇｕｒｅ?２－１?Ｂａｓｉｃ?ｐｒｏｃｅｓｓ?ｏｆ?ｎｅｗｓ?ｔｏｐｉｃ?ｄｉｓｃｏｖｅｒｙ??

了常見的話題類型［３８］，并且說明了話題可以是可預(yù)知的，例如涉及到選舉的話題；??也可以是不可預(yù)知的，例如涉及到自然災(zāi)害的話題。??話題發(fā)現(xiàn)的一般流程主要分以下幾步，如圖２－１所示：??々．Ｃ?ＡＣ?ＡＣ??３？ｒ?３？ｒ????｜?聞?聞?聞????新聞?wù)Z料收集—卜預(yù)一卜，＿＿....

圖２－２新聞文本采集過程??Ｆｉｇｕｒｅ?２－２?Ｎｅｗｓ?ｔｅｘｔ?ｃｏｌｌｅｃｔｉｏｎ?ｐｒｏｃｅｓｓ??

ＢｅａｕｔｉｆｕｌＳｏｕｐ是Ｐｙｔｈｏｎ中的一個模塊，該模塊用于接收一個ＨＴＭＬ或ＸＭＬ??字符串，然后將其進行格式化，之后便可以使用它提供的方法進行快速查找指定元??素，從而使得在ＨＴＭＬ或ＸＭＬ中查找指定元素變得簡單。圖２－２為采用Ｐｙｔｈｏｎ??語言采集新聞數(shù)據(jù)的流程及所用....

圖2一向量空間模型

通大學碩士學位論文?相關(guān)理論向量空間模型??文本表示模型中，由于結(jié)構(gòu)簡單并且方便計算，向量空間模型（Ｖｅｃｔｏｒ，ＶＳＭ）?在文本處理領(lǐng)域得到了廣泛應(yīng)用。該模型可以將新聞數(shù)據(jù)化為空間中的向量表示，然后以向量在空間上的相似度來表征文本。??ＶＳＭ模型中，每篇文檔可以表示成《維向量，....

本文編號：4027168