發(fā)布時間：2024-02-24 08:02

　　短文本媒體逐漸成為人們?nèi)粘Ｉ钪幸环N重要的信息來源,從短文本語料中挖掘潛在主題對于許多基于內(nèi)容的分析任務(wù)來說十分重要。與傳統(tǒng)的新聞報道和科技文獻(xiàn)等長文本相比,短文本通常具備內(nèi)容簡短隨意、實時性強(qiáng)和數(shù)據(jù)量大等特點(diǎn),這無疑給基于短文本的主題分析任務(wù)帶來了巨大的挑戰(zhàn)�，F(xiàn)有的短文本主題模型往往無法對一個主題進(jìn)行全面、具體的分析,也無法很好地解決短文本中的稀疏性問題。并且,模型主要針對固定的短文本語料進(jìn)行建模,屬于離線式模型,無法很好地處理實際場景中實時更新的短文本流。此外,現(xiàn)有的短文本主題模型往往基于單機(jī)訓(xùn)練,而短文本由于生成成本相對較低、用戶參與度較高,數(shù)據(jù)規(guī)模通常很大,導(dǎo)致模型的訓(xùn)練過程性能較低。因此,針對以上問題,本文研究提出一種基于詞性特征與語義增強(qiáng)的短文本主題模型,包括離線和在線兩種模式,同時基于Spark分布式平臺研究實現(xiàn)了大規(guī)模場景下短文本主題模型的并行化訓(xùn)練算法,并將研究成果應(yīng)用于江蘇省市民熱線服務(wù)平臺的實際系統(tǒng)中。本文的主要研究工作和貢獻(xiàn)點(diǎn)包括:(1)針對固定的短文本語料,研究提出一種基于詞性特征與語義增強(qiáng)的離線式短文本主題模型PFE-DMM。該模型通過自定義詞性特征,能有效...

【文章頁數(shù)】：95 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－?１?ＬＤＡ概率圖模型??其中，Ｍ代表文檔數(shù)，／Ｖｍ代表每篇文檔中的單詞數(shù)，／Ｃ代表設(shè)定的主題數(shù)，??

圖２－?１?ＬＤＡ概率圖模型??文檔數(shù)，／Ｖｍ代表每篇文檔中的單詞數(shù)，／Ｃ代表設(shè)定中的第ｎ個單詞，其對應(yīng)的主題分配為？％＾。文檔下的布分別表示為＆和，分別服從于參數(shù)為３和及的狄生成過程可以表示為：??ｒｉｔｈｍ?３：?ＬＤＡ?生成過程??于每個主題ｆｃ?ｅ?［１，欠］：??采樣對....

圖２－?２?ＣＢＯＷ模型和Ｓｋｉｐ－ｇｒａｍ模型??

優(yōu)化設(shè)計使得Ｓｐａｒｋ的計算能力提升了?１－２個數(shù)量級。??由于ＲＤＤ具有豐富的表達(dá)能力，伯克利在Ｓｐａｒｋ?Ｃｏｒｅ的基礎(chǔ)上衍生出了一??套能夠處理不同場景的統(tǒng)一大數(shù)據(jù)處理平臺，其生態(tài)系統(tǒng)組件如圖２－３所示。其??中，Ｓｐａｒｋ?Ｃｏｒｅ是整個系統(tǒng)的核心組件，提供了多種編程語言....

圖２－?３?Ｓｐａｒｋ生態(tài)系統(tǒng)組件??，

ＣＢＯＷ?Ｓｋｉｐ－ｇｒａｍ??圖２－?２?ＣＢＯＷ模型和Ｓｋｉｐ－ｇｒａｍ模型??２．３大數(shù)據(jù)相關(guān)技術(shù)??信息化時代數(shù)據(jù)量爆炸性增長，單臺計算機(jī)的處理能力和Ｉ／Ｏ性能已遠(yuǎn)遠(yuǎn)不??能滿足大規(guī)模數(shù)據(jù)的處理要求，于是各種大數(shù)據(jù)平臺應(yīng)運(yùn)而生。本節(jié)主要介紹本??文使用到的分布式計算框架Ｓ....

圖２－?４?ＨＤＦＳ系統(tǒng)架構(gòu)??

?ＢＢｉＢｂＭＢ??圖２－?３?Ｓｐａｒｋ生態(tài)系統(tǒng)組件??本文提出的模型在訓(xùn)練過程中涉及多輪迭代計算，而基于內(nèi)存分布式計算的??Ｓｐａｒｋ系統(tǒng)非常適用于迭代計算，中間結(jié)果直接存儲在內(nèi)存中。同時，構(gòu)建于Ｓｐａｒｋ??Ｃｏｒｅ之上的ＭＵｉｂ是一個針對大規(guī)模機(jī)器學(xué)習(xí)通用快速的計算引擎，....

本文編號：3908684