隨著互聯(lián)網(wǎng)上電子文檔數(shù)量的爆炸式增長(zhǎng),如何有效地理解和挖掘這些電子文檔的隱含語意,已經(jīng)成為機(jī)器學(xué)習(xí)、自然語言處理等領(lǐng)域的熱點(diǎn)問題。潛在狄利克雷分布（Latent Dirichlet Allocation,LDA）定義每篇文檔由所有主題混合而成,其中主題定義為詞典上特異的概率分布,混合比例θ可作為文檔在主題空間的特征表示。監(jiān)督主題模型利用文檔監(jiān)督信息,同時(shí)對(duì)文檔詞語和標(biāo)簽建模,能夠獲得更有預(yù)測(cè)能力的文檔主題低秩表示。本文對(duì)主題模型及其應(yīng)用展開深入研究,主要貢獻(xiàn)如下:（1）本文提出一種結(jié)合深度學(xué)習(xí)的監(jiān)督主題模型（DL-sLDA）框架,利用深度網(wǎng)絡(luò)強(qiáng)大的非線性擬合能力建立文檔主題分布與標(biāo)簽之間的映射關(guān)系,通過改變網(wǎng)絡(luò)結(jié)構(gòu)和激活函數(shù)的類型,DL-sLDA可用于分類和回歸任務(wù)。在無監(jiān)督主題模型的基礎(chǔ)上,DL-sLDA在模型生成假設(shè)中加入描述文檔主題分布與標(biāo)簽映射關(guān)系的步驟,使之能夠同時(shí)對(duì)文檔詞語與標(biāo)簽建模;對(duì)于模型參數(shù)的求解,本文提出一種基于平均場(chǎng)理論（Mean Field Theory）的變分期望最大化（EM）結(jié)合深度網(wǎng)絡(luò)訓(xùn)練的方法共同完成貝葉斯框架下模型參數(shù)的近似。實(shí)驗(yàn)表明:DL-sLDA既... 

【文章來源】：寧波大學(xué)浙江省

【文章頁數(shù)】：72 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

詞的二義性質(zhì)Fig1.1Theambiguousnatureoftheword

狄利克雷分布

寧波大學(xué)碩士學(xué)位論文-17-2.置信度傳播(Beliefpropagation)方法。利用消息傳遞過程中各個(gè)節(jié)點(diǎn)之間產(chǎn)生的概率生成影響，去改變相鄰節(jié)點(diǎn)的分布形式。經(jīng)過多次傳播使得每個(gè)節(jié)點(diǎn)的變量值趨于穩(wěn)定狀態(tài)。3.蒙特卡洛采樣（montecarlosampling）。與以上基于優(yōu)化的方法不同，蒙特卡洛采樣法直接通過依據(jù)未知的概率分布利用計(jì)算機(jī)去大量采樣樣本出來，來分析隱變量的統(tǒng)計(jì)學(xué)特性，如均值、方差等。這種辦法的好處是能夠?qū)φ麄�(gè)分布進(jìn)行全局最優(yōu)的刻畫。圖2.2概率有向圖示例Fig2.2DirectedGraphicalModel2.6深度神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介圖2.3深度神經(jīng)網(wǎng)絡(luò)圖示Fig2.3DeepNetwork近些年，深度學(xué)習(xí)[26]（DeepLearning）作為一種具有多層結(jié)構(gòu)的非線性模型，由于其強(qiáng)大的對(duì)任意復(fù)雜數(shù)據(jù)分布的逼近能力，即可以學(xué)習(xí)到更為復(fù)雜的映射關(guān)系，已經(jīng)被廣泛地應(yīng)用在計(jì)算機(jī)視覺[27]、自然語言處理[28]等領(lǐng)域。深度網(wǎng)絡(luò)的示意圖如圖2.3所示，包含輸入層、隱藏層以及輸出層，每一


本文編號(hào)：2960613