文本分類是自然語言處理中較為基礎常見的任務,但由于詞向量空間的單一性,使得分類系統(tǒng)不能在不同語言上通用。若分別對每種語言單獨訓練分類模型,則會導致大量的成本和時間問題;并且分類模型作為監(jiān)督學習方法,需要大量的訓練樣本訓練模型,而由于不同語言的資源分布不均,使得資源較少的語言無法構建單語言分類模型;另外,主流跨語言詞嵌入模型需要依賴成本昂貴的平行語料庫,在不同語種間拓展性差。因此,針對以上問題,本文對于分類系統(tǒng),跨語言詞嵌入等進行了深入的研究,提出引入注意力機制的單語言神經(jīng)網(wǎng)絡分類方法,與兩種不基于平行語料庫的跨語言文本分類方法,如下:（1）針對單語言分類,本文提出雙向的GRU神經(jīng)網(wǎng)絡模型,并將注意力機制引入到分類模型中。通過與傳統(tǒng)機器學習方法,以及注意力機制的對比實驗,雙向GRU模型以及注意力機制均對于分類模型有著不同程度的提升,由此,將該模型作為跨語言分類模型的基礎。（2）針對不基于平行語料庫的跨語言分類,本文提出僅使用單語言文本語料來構建雙語詞嵌入模型,而拋棄對平行語料庫的依賴。在目前對抗學習的研究基礎上,引入普魯克分析方法和跨域相似度局部縮放的方法,來對對抗學習得到的結果進行微調... 

【文章來源】：云南大學云南省 211工程院校

【文章頁數(shù)】：68 頁

【學位級別】：碩士

【部分圖文】：

圖２．３：降維展示空間內(nèi)同義詞與反義詞分布??（左圖為在英語單語空間內(nèi)的分布情況，右圖?

但大多數(shù)研宄都是在單一的特征分布上解決該問題。然而在文獻［４４］中，作??者提出通過雙方鄰域（Ｑ，（奶ｃｓ／ｒ），，將給定字典的每個單詞連接到另??一種語言的Ｋ階最近鄰。在這個雙方鄰域圖中（如圖４．３），示的是??映射詞向量的Ｋ階向量域，且該向量域中的Ｋ個向量均為目標語言詞向量。??同理，Ｑｓ〇Ｖ）指的是目標語言詞向量的Ｋ階目標語言詞向量域＾??３８??

因此源語言映射詞向量與其Ｋ階目標詞向量的平均近似值為：??「ｒ（Ｄ＝?士?Ｚ?Ｃ０Ｓｄ，＞Ｖ）?（４．１八?＞Ｖｅｎ，ｄ＞??同理目標語言詞向量與其Ｋ階詞向量的平均近似值為：??「“．？）＝士?Ｚ?ｃ〇ｓ（ｗ，：，）?（４－２最后，將公式整合起來，跨域距離計算公式為：??ＣＳＬＳ｛Ｗｘｓｒｃ，?ｙ，ｇｌ）?＝?２?ｏｏｓ｛Ｗｘｓｒｃ，?ｙｌｇｌ?）－ＶＴ｛?Ｗｘｓｒｃ）?－?Ｆｓ?ｉｙｌｇ，）?（４．３．３微調對抗模型??主，習習從語目語??

【參考文獻】：
期刊論文
[1]基于TF-IDF特征提取的短文本分類方法[J]. 曹姍.  工業(yè)控制計算機. 2018(04)
[2]基于LSTM-Attention神經(jīng)網(wǎng)絡的文本特征提取方法[J]. 趙勤魯,蔡曉東,李波,呂璐.  現(xiàn)代電子技術. 2018(08)
[3]結合注意力機制的長文本分類方法[J]. 盧玲,楊武,王遠倫,雷子鑒,李瑩.  計算機應用. 2018(05)
[4]稀疏正交普魯克回歸處理跨姿態(tài)人臉識別問題[J]. 張娟.  計算機科學. 2017(02)
[5]中文文本分類中TF-IDF方法的改進與應用[J]. 宋章浩.  科技展望. 2014(22)
[6]跨語言文本分類技術研究進展[J]. 高影繁,王惠臨,徐紅姣.  情報理論與實踐. 2010(11)
[7]基于機器學習的文本分類技術研究進展[J]. 蘇金樹,張博鋒,徐昕.  軟件學報. 2006(09)

碩士論文
[1]基于詞向量和主題向量的文本分類算法研究[D]. 郭宏運.華中科技大學 2016



本文編號：3340552