發(fā)布時(shí)間：2021-11-28 07:19

　　詞向量在自然語言處理各類任務(wù)中有著非常重要的作用,其本質(zhì)是語料庫中的單詞或者短語映射到實(shí)數(shù)空間所得到的向量。詞向量是自然語言處理領(lǐng)域的基礎(chǔ),詞向量的好壞直接影響著各種自然語言處理任務(wù)完成的效果,所以詞向量的研究一直是重點(diǎn)和熱點(diǎn)。英文詞向量的研究發(fā)展比較早,產(chǎn)生了很多重要的模型,比如Bengio模型、word2vec模型、fasttext模型。中文詞向量的研究起步較晚,大多數(shù)中文詞向量的研究都是在已有的英文詞向量模型基礎(chǔ)上進(jìn)行的。對(duì)于中文詞向量的研究,最關(guān)鍵的是要理解中英文之間的差異,英文中的每個(gè)單詞均由26個(gè)字母組成,文字本身并不會(huì)包含語義信息,而中文是象形文字,其本身存在很多的語義信息,所以中文詞向量的研究主要集中在如何利用中文詞語內(nèi)部的語義信息這一方面。本文首先利用漢字象形文字的特點(diǎn),從漢字的字形和讀音兩個(gè)方面來進(jìn)行中文詞向量的改進(jìn)。字形主要考慮組成中文詞語的每一個(gè)漢字,讀音考慮每個(gè)漢字的不帶聲調(diào)的拼音,然后利用CBOW模型得到字向量以及拼音向量,再將字向量、拼音向量直接與CBOW模型得到的詞向量進(jìn)行加和,得到三組詞向量。評(píng)價(jià)詞向量好壞主要有兩種方法,分別是進(jìn)行詞相似性任務(wù)和類比推... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：66 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

部首處理列表[17]

電子科技大學(xué)碩士學(xué)位論文12第二章word2vec詞向量模型及相關(guān)理論2.1神經(jīng)網(wǎng)絡(luò)模型及反向傳播理論2.1.1神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡(jiǎn)寫為ANNs）是一種對(duì)動(dòng)物神經(jīng)網(wǎng)絡(luò)的行為特征模擬得到的一種進(jìn)行分布式并行信息處理的數(shù)學(xué)模型算法。這種網(wǎng)絡(luò)可以利用系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)數(shù)量以及節(jié)點(diǎn)之間相互連接的參數(shù)，來近一步達(dá)到信息處理這樣的目的。神經(jīng)網(wǎng)絡(luò)主要由三個(gè)部分組成，它們分別是單元(神經(jīng)元)，連接(權(quán)重/參數(shù))，偏置項(xiàng)，網(wǎng)絡(luò)中也會(huì)使用到兩個(gè)重要的函數(shù)，分別是激勵(lì)函數(shù)(ActivationFunction)和代價(jià)函數(shù)(LossFunction)。在神經(jīng)網(wǎng)絡(luò)的分類上，大致可以分為有監(jiān)督的神經(jīng)網(wǎng)絡(luò)和無監(jiān)督/半監(jiān)督的神經(jīng)網(wǎng)絡(luò)，這幾者之間的主要區(qū)別在于模型作用的學(xué)習(xí)任務(wù)是否具有已知標(biāo)簽。其中有監(jiān)督的神經(jīng)網(wǎng)絡(luò)應(yīng)用比較廣的主要有普通神經(jīng)網(wǎng)絡(luò)，比如最早出現(xiàn)的單層神經(jīng)網(wǎng)絡(luò)感知機(jī)(Perceptron)；深度神經(jīng)網(wǎng)絡(luò)，其主要特點(diǎn)則是隱藏層有多層；循環(huán)神經(jīng)網(wǎng)絡(luò)[21,22,23](RecurrentNeuralNetworks)，其在機(jī)器翻譯等NLP中使用較多；遞歸神經(jīng)網(wǎng)絡(luò)[24](RecursiveNeuralNetworks)；以及多用于計(jì)算機(jī)視覺領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)[25](ConvolutionalNeuralNetworks)，大部分中文詞向量的研究都是在word2vec兩個(gè)基礎(chǔ)模型上進(jìn)行的，而word2vec的，兩個(gè)基礎(chǔ)模型實(shí)際上都是使用含有一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，即其第一層為輸入層，然后連接單個(gè)隱藏層，最后連接到輸出層。2.1.1.1神經(jīng)元神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的最基本的組成，如下圖所示：圖2-1神經(jīng)元模型上圖為一個(gè)基本神經(jīng)元結(jié)構(gòu)，其中ix表示整個(gè)神經(jīng)元的輸入，iw則表示每個(gè)

第二章word2vec詞向量模型及相關(guān)理論13對(duì)神經(jīng)元的輸入所對(duì)應(yīng)的權(quán)重，最右側(cè)的箭頭表示輸出。2.1.1.2激勵(lì)函數(shù)(ActivationFunction)神經(jīng)元的輸入和輸出之間是有一定的規(guī)則，在不同的條件下會(huì)有不同的輸出，這樣的規(guī)則我們則用函數(shù)關(guān)系來進(jìn)行表示，這個(gè)函數(shù)則就稱為激勵(lì)函數(shù)[21]。神經(jīng)網(wǎng)絡(luò)模型本身其實(shí)是非線性的模型，所以對(duì)其應(yīng)用會(huì)有局限性，但是有了激勵(lì)函數(shù)之后，激勵(lì)函數(shù)可以作用于神經(jīng)網(wǎng)絡(luò)的相鄰兩層之間，上一層首先輸出，然后讓其輸出通過激勵(lì)函數(shù)作用，再將其當(dāng)成輸入直接輸入到下一層中。這樣的神經(jīng)網(wǎng)絡(luò)有了激勵(lì)函數(shù)，就可以克服非線性的特點(diǎn)，使得神經(jīng)網(wǎng)絡(luò)也可以進(jìn)行很多線性模型的擬合，應(yīng)用范圍增加很多。常用的激勵(lì)函數(shù)主要有：（1）Sigmoid函數(shù)Sigmoid函數(shù)[26]是最常用的激勵(lì)函數(shù)之一，被稱為S型函數(shù)，其函數(shù)可以將輸入映射到0和1之間，函數(shù)表達(dá)形式如（2-1）所示為：()11xSxe-=+（2-1）對(duì)于(xS)求導(dǎo)可以使用自身來進(jìn)行表示，如公式（2-2）所示：()()()(())211xxeSxSxSxe--￠==-+（2-2）其圖像表現(xiàn)為：圖2-2sigmoid函數(shù)圖像

【參考文獻(xiàn)】：
期刊論文
[1]基于BERT的古文斷句研究與應(yīng)用[J]. 俞敬松,魏一,張永偉.  中文信息學(xué)報(bào). 2019(11)
[2]融合TF-IDF和LDA的中文FastText短文本分類方法[J]. 馮勇,屈渤浩,徐紅艷,王嶸冰,張永剛.  應(yīng)用科學(xué)學(xué)報(bào). 2019(03)
[3]用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的設(shè)計(jì)[J]. 王紅霞,周家奇,辜承昊,林泓.  浙江大學(xué)學(xué)報(bào)(工學(xué)版). 2019(07)
[4]基于ArcReLU函數(shù)的神經(jīng)網(wǎng)絡(luò)激活函數(shù)優(yōu)化研究[J]. 許赟杰,徐菲菲.  數(shù)據(jù)采集與處理. 2019(03)
[5]數(shù)字圖像識(shí)別的代價(jià)函數(shù)選擇和性能評(píng)價(jià)[J]. 李仲德,盧向日,崔桂梅.  電光與控制. 2019(12)
[6]基于深度卷積神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景理解[J]. 吳宗勝,傅衛(wèi)平,韓改寧.  計(jì)算機(jī)工程與應(yīng)用. 2017(22)
[7]梯度下降法的分析和改進(jìn)[J]. 郭躍東,宋旭東.  科技展望. 2016(15)
[8]基于3種訓(xùn)練神經(jīng)網(wǎng)絡(luò)方法解決異或問題的研究[J]. 劉漢軍,吳海鋒,王陽.  云南民族大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(03)
[9]Word2vec的工作原理及應(yīng)用探究[J]. 周練.  科技情報(bào)開發(fā)與經(jīng)濟(jì). 2015(02)
[10]基于視覺單詞共生矩陣的圖像分類方法[J]. 朱道廣,李弼程,蔣敏,劉欽安.  信息工程大學(xué)學(xué)報(bào). 2013(04)



本文編號(hào)：3523968