主題模型是一種挖掘文本語義信息的有效方法,屬于文本挖掘的研究范疇,被廣泛地應(yīng)用于信息檢索、自然語言處理等多個領(lǐng)域。經(jīng)過近二十年的發(fā)展,該領(lǐng)域已產(chǎn)生了一系列較為成熟且適用于長文本的模型與算法。然而,隨著在線社交網(wǎng)絡(luò)的興起,越來越多的數(shù)據(jù)以短文本的形式出現(xiàn),為主題模型的研究帶來了新的困難和挑戰(zhàn)。首先,每個短文本文檔僅由很少的單詞構(gòu)成,上下文信息匱乏,產(chǎn)生了稀疏性問題,導(dǎo)致長文本主題模型失效。因此短文本主題模型的設(shè)計與優(yōu)化成為了一個新興的研究分支。已有工作一般從數(shù)據(jù)層與模型層的角度進(jìn)行改進(jìn),通用性較差、語義信息利用不充分,存在可改進(jìn)和提升的空間。其次,傳統(tǒng)主題模型一般使用一組一元單詞描述主題信息,表述有歧義、閱讀體驗較差。因此主題信息的表示也是一個重要的研究問題。已有工作一般使用一組詞組描述主題,但是大部分工作存在模型復(fù)雜度高以及通用性差的不足。因此,有必要展開提升主題可讀性的研究。針對短文本的稀疏性問題,本文結(jié)合由詞嵌入模型、語言模型等提供的語義信息,從兩個方面展開模型改進(jìn)的研究:基于單詞建模主題以及基于單詞對建模主題。針對主題的可讀性問題,本文結(jié)合豐富的語義信息,從主題詞組生成的思路展開... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：138 頁

【學(xué)位級別】：博士

【部分圖文】：

圖２．１：主題模型文檔生成關(guān)系示例??

?／?＼?１??圖２．１：主題模型文檔生成關(guān)系示例??２．３主題模型代表算法??主題模型的提出最早可追溯到Ｈｏｆｍａｎｎ等人在１９９９年發(fā)表的工作［１０］，該項??工作提出了經(jīng)典的ｐＬＳＡ模型，提供了以無監(jiān)督學(xué)習(xí)方式進(jìn)行文本主題挖掘和潛??在語義表示的新思路。此后，有關(guān)主題模型的工作得到了大量研宄人員的關(guān)注，??并經(jīng)歷了快速地發(fā)展，通過分析其早年的發(fā)展脈絡(luò)，相關(guān)研宂主要可分為以下??三個方面：??１．放寬原有模型的假設(shè)：其一，傳統(tǒng)主題模型大都基于詞袋模型的假設(shè)，即??不考慮單詞在文檔中出現(xiàn)的先后順序，顯然如果能夠加入對單詞先后順序??的考慮，模型的設(shè)計會更加合理，因此ＧｒｉｆｆＵｈｓ等人［７６］和Ｗａｌｌａｃｈ等人［６７］??針對這一問題

（ｂ）根據(jù)“主題－單詞”概率分布（／＞采樣單詞叫？Ｄｉｒｉｃｈｌｅｔ（＜／〇。??ＬＤＡ模型通過上述的生成方式重復(fù)采樣，直至生成一個完整的文檔，其概??率圖模型如圖２．３所示。??Ｐ?Ｋ＿??Ｏ－—Ｏ??？?ｚ?ｗ?＼Ｗ?ｄ＼?????圖２．３：?ＬＤＡ概率圖模型??圖２．３中加陰影部分的ｗ為可觀測到的單詞，白色圓圈中的０和０是需要學(xué)習(xí)??的“文檔－主題”概率分布以及“主題－單詞”概率分布。Ｓｔｅｙｖｅｒｓ等人提出可以??使用吉布斯采樣算法（ｇｉｂｂｓ?ｓａｍｐｌｉｎｇ）?［９８］進(jìn)行參數(shù)學(xué)習(xí)。在給定文檔和單詞??的條件下，計算主題分配的條件概率如公式（２．５）所示：??ｐｉｚｌｚ＾ｗ＾ｄ．ａｊ）＾??：－一＋，ｊ＾．?（２．５）??ＥＬ?ｎ＿Ｗｉ．２ｋｌｄ?＋?Ｋａ?ｎ＿Ｗ］Ｍｚ?＋?＼Ｗ＼ｆｔ??其中表示除當(dāng)前訓(xùn)練樣本單詞斯外，文檔ｄ中被分配為主題２的單詞個??數(shù)；則表示除當(dāng)前訓(xùn)練樣本單詞叫外，單詞被分配為主題２的次數(shù)。因??此，“文檔－主題”概率分布、“主題－單詞”概率分布可通過公式（２．６）和公式??（２．７）計算得到：??，?ｎｚ?＼ｄ?＋?ａ??ｅｄｚ?＝??．?（２．６）??Ｊ?Ｅｔ＝ｉ?ｎｚｋ＼ｄ?＋?Ｋａ??（ｋｚｊ?—?ｎ＇ｗｉ＼ｚｉ?＾??（２?７）??０１?—?Ｅ


本文編號：3122867