隨著web2.0的日益發(fā)展,新領(lǐng)域用戶自創(chuàng)內(nèi)容（User Generated Content,UGC）的情感分類任務逐漸體現(xiàn)出巨大的學術(shù)意義和商業(yè)價值。針對新領(lǐng)域UGC缺乏標注語料導致情感分類性能差的問題,本文通過跨領(lǐng)域情感分類任務進行了探索和研究,提出了“共享知識學習和遷移模型（Shared Knowledge Learning and Transfer Model,SKLT）”,實驗結(jié)果證明SKLT模型可以有效的提高新領(lǐng)域情感分類性能。在跨領(lǐng)域情感分類任務中,本文基于遷移學習（Transfer Learning）的方法,利用多個相關(guān)領(lǐng)域的已標注數(shù)據(jù),結(jié)合改進的生成對抗網(wǎng)絡（Generative Adversarial Net,GAN）,提取出領(lǐng)域無關(guān)的共享情感知識,遷移應用到新領(lǐng)域之后,提升了新領(lǐng)域情感分類任務的準確率。本文主要完成了以下3個方面的工作:在SKLT模型的共享知識學習部分,本文以bi-GRU情感分類模型為基礎(chǔ),通過優(yōu)化判別器的方法改進了“生成對抗網(wǎng)絡GAN”,提取出了領(lǐng)域無關(guān)的“共享知識”,然后基于向量正交實現(xiàn)了冗余特征懲罰,得到了無冗余的共享知識和領(lǐng)域特有知識。在S... 

【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：67 頁

【學位級別】：碩士

【部分圖文】：

圖２－］?ＭＬＰ結(jié)構(gòu)示意圖??

用共享參數(shù)的方式維持長期記憶，理論上能夠?qū)θ我忾L度的時序數(shù)據(jù)進行處理，??但在實際應用中，為了降低復雜性往往假設當前狀態(tài)只與之前若干個狀態(tài)相關(guān)。??ＲＮＮ結(jié)構(gòu)如圖２－３所示。??ｒ￣＼．?輸出層?，??ＯＤＤ?輸?＾?？??圖２－３?ＲＮＮ結(jié)構(gòu)示意圖??長短期記憶網(wǎng)絡（Ｌｏｎｇ?Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?ｎｅｔｗｏｒｋｓ，?ＬＳＴＭ）?［２Ｇ’２１］在?ＲＮＮ??基礎(chǔ)上進行了改進，通過內(nèi)部的門路控制能夠?qū)㈤L距離信息有效傳遞，并使用??ＬＳＴＭ單元替代傳統(tǒng)ＲＮＮ中隱藏層的神經(jīng)元，有效解決了?ＲＮＮ長期依賴的問??題。目前ＬＳＴＭ的這種結(jié)構(gòu)是主流的ＲＮＮ優(yōu)化結(jié)構(gòu)。本課題將采用ＬＳＴＭ作為??對比模型，用于檢驗ＳＫＬＴ模型在情感分類任務中的效果。ＬＳＴＭ單元結(jié)構(gòu)如圖??２－４所示。??９??

?〇??〇??圖２－２?ＣＮＮ結(jié)構(gòu)示意圖??傳統(tǒng)的前饋神經(jīng)網(wǎng)絡認為樣本數(shù)據(jù)之間是相互獨立的，循環(huán)神經(jīng)網(wǎng)絡??（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ，?１１１州）［１＆１９］不同于傳統(tǒng)的前饋神經(jīng)網(wǎng)絡，ＲＮＮ考慮??到了樣本數(shù)據(jù)之間的序列關(guān)系，可處理輸入之間前后關(guān)聯(lián)的問題。ＲＮＮ通過使??用共享參數(shù)的方式維持長期記憶，理論上能夠?qū)θ我忾L度的時序數(shù)據(jù)進行處理，??但在實際應用中，為了降低復雜性往往假設當前狀態(tài)只與之前若干個狀態(tài)相關(guān)。??ＲＮＮ結(jié)構(gòu)如圖２－３所示。??ｒ￣＼．?輸出層?，??ＯＤＤ?輸?＾?？??圖２－３?ＲＮＮ結(jié)構(gòu)示意圖??長短期記憶網(wǎng)絡（Ｌｏｎｇ?Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?ｎｅｔｗｏｒｋｓ，?ＬＳＴＭ）?［２Ｇ’２１］在?ＲＮＮ??基礎(chǔ)上進行了改進


本文編號：3414165