基于深度學(xué)習(xí)的依存句法分析研究模型
發(fā)布時間:2021-05-31 23:02
隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展和全球化普及,大量語料呈爆炸式的涌現(xiàn)在網(wǎng)絡(luò)上,從語料中提取出有價值的信息并進行相應(yīng)的處理已成為當(dāng)前計算機領(lǐng)域中的一項重要研究內(nèi)容,由此自然語言處理技術(shù)應(yīng)運而生。句法分析是自然語言處理領(lǐng)域中的一項關(guān)鍵技術(shù),而依存句法因其簡潔明了的表現(xiàn)形式以及對詞語之間修飾關(guān)系的展現(xiàn)而使得該方法在多個領(lǐng)域都取得了廣泛的應(yīng)用。隨著近年來深度學(xué)習(xí)在計算機各個領(lǐng)域所取得的突破性進展,基于深度學(xué)習(xí)的依存句法分析模型也為處理句法分析中出現(xiàn)的問題帶來了新的解決思路。針對當(dāng)前依存句法的發(fā)展趨勢,本文提出設(shè)計并實現(xiàn)一種基于深度學(xué)習(xí)的依存句法聯(lián)合分析模型。首先,使用基于雙向長短期記憶網(wǎng)絡(luò)對句法結(jié)構(gòu)及序列標(biāo)注進行統(tǒng)一建模;然后,通過詞性標(biāo)注和深度圖相結(jié)合來處理依存句法分析問題,可以在較大程度上減少在提取特征時因為詞性標(biāo)注所帶來的錯誤蔓延并解決多層次特征無法獲取的問題;最后,使用多個多層感知機分別預(yù)測依存弧和依存標(biāo)簽。本文在依存句法分析模型基礎(chǔ)上設(shè)計的句法分析系統(tǒng)利用React、ES6和SVG等技術(shù)實現(xiàn)前端用戶界面的顯示及用戶登錄、文本訓(xùn)練、文本預(yù)測、依存圖的展示等功能,并實現(xiàn)服務(wù)器端與客戶端數(shù)據(jù)的交互...
【文章來源】:沈陽工業(yè)大學(xué)遼寧省
【文章頁數(shù)】:60 頁
【學(xué)位級別】:碩士
【部分圖文】:
依存圖
語、句子之中是普遍存在的,這就說明了依存句法的關(guān)系存在于各種語言系依存句法舍棄了喬姆斯基[18](Chomsky)所提出的形式化重寫規(guī)則,在詞典中出近乎所有的語言知識,它所表現(xiàn)的是句子中詞語之間的修飾關(guān)系,由此就句子中每個詞語的距離搭配信息。 依存句法分析方法1 基于移進-規(guī)約的依存分析方法依存分析就是通過語言模型來自動分析出給定的句子結(jié)構(gòu),并將分析好的句對應(yīng)的依存樹的過程[19]。目前主流的依存句法研究主要集中在數(shù)據(jù)驅(qū)動的依析方法上,即在訓(xùn)練數(shù)據(jù)集上進行迭代學(xué)習(xí),從而得到依存句法分析器,但不針對依存句法相關(guān)理論的研究[20],該方法的分析過程如下圖 2.2 所示。McDoiver[22]所建立的基于數(shù)據(jù)驅(qū)動的依存分析方法中主要包括以下兩種:基于移依存分析方法[23](Transition-based Dependency Parsing)和基于圖的依存分析Graph-based Dependency Parsing)。
第 2 章 依存句法分析概述, ,( , ) ( , , )h mh mw w lb yScore x y Score w w lb (在上面的式子中,hw 為核心詞,mw 為修飾詞, lb 為前兩者之間有指向的依式就表示上述三者所構(gòu)成的依存關(guān)系。一階分解模型也被稱為邊分解模型[26]ored model),在一般情況下想獲得最優(yōu)依存樹通常采用動態(tài)規(guī)劃的方法。一階分解模型表示簡單,但只能針對依存邊進行特征的選取,這就導(dǎo)致了評分取與分析過程中有所限制。為解決這一問題,在一階分解模型的基礎(chǔ)上,研究究出了二階、三階分解模型[27],分別對應(yīng)在圖 2.3 的(a)、(b)、(c)。于一階分解模型中各個依存邊是相互獨立的這一特點,二階分解模型中同一兄弟結(jié)點存在著某種特定關(guān)聯(lián),失去了依存邊的部分獨立性,三階分解模型的關(guān)聯(lián)較二階模型更近一步,但在更好的進行特征選取與處理遠(yuǎn)距離依存關(guān),也會以犧牲算法的時空復(fù)雜度為代價。所以在實際應(yīng)用過程當(dāng)中,要具體情析,在模型的精確度與復(fù)雜度之間取得一個平衡。
【參考文獻】:
期刊論文
[1]基于Word2Vec技術(shù)隱性特征挖掘及潛在升級投訴用戶識別研究[J]. 蘇良良,雷蕾,李景文,黃敏杰. 電信技術(shù). 2018(12)
[2]循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理. 計算機應(yīng)用. 2018(S2)
[3]基于Bi-LSTM和分布式表示的網(wǎng)頁主題相關(guān)度計算[J]. 王鋒,白宇,蔡東風(fēng),王鐵錚. 計算機應(yīng)用與軟件. 2018(07)
[4]基于注意力長短時記憶網(wǎng)絡(luò)的中文詞性標(biāo)注模型[J]. 司念文,王衡軍,李偉,單義棟,謝鵬程. 計算機科學(xué). 2018(04)
[5]Syntactic word embedding based on dependency syntax and polysemous analysis[J]. Zhong-lin YE,Hai-xing ZHAO. Frontiers of Information Technology & Electronic Engineering. 2018(04)
[6]基于雙向LSTM的圖結(jié)構(gòu)依存句法分析[J]. 諶志群,王冰,王榮波,黃孝喜. 杭州電子科技大學(xué)學(xué)報(自然科學(xué)版). 2018(01)
[7]基于深度學(xué)習(xí)的圖解碼依存分析研究進展[J]. 常寶寶. 山西大學(xué)學(xué)報(自然科學(xué)版). 2017(03)
[8]基于語言學(xué)的依存分析結(jié)果動賓關(guān)系補全研究[J]. 張丹,周俏麗,張桂平. 計算機應(yīng)用研究. 2018(04)
[9]基于依存句法分析的病理報告結(jié)構(gòu)化處理方法[J]. 田馳遠(yuǎn),陳德華,王梅,樂嘉錦. 計算機研究與發(fā)展. 2016(12)
[10]用于微博情感分析的一種情感語義增強的深度學(xué)習(xí)模型[J]. 何炎祥,孫松濤,牛菲菲,李飛. 計算機學(xué)報. 2017(04)
博士論文
[1]中文詞法句法語義聯(lián)合分析模型研究[D]. 張梅山.哈爾濱工業(yè)大學(xué) 2014
碩士論文
[1]基于句法結(jié)構(gòu)的術(shù)語關(guān)系抽取方法研究[D]. 周雯.北京交通大學(xué) 2017
[2]高性能漢語依存句法分析方法的研究[D]. 羅特.北京交通大學(xué) 2017
[3]基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析模型研究[D]. 張俊馳.湖北大學(xué) 2016
[4]漢語依存句法分析技術(shù)研究[D]. 郭振.北京交通大學(xué) 2015
本文編號:3209143
【文章來源】:沈陽工業(yè)大學(xué)遼寧省
【文章頁數(shù)】:60 頁
【學(xué)位級別】:碩士
【部分圖文】:
依存圖
語、句子之中是普遍存在的,這就說明了依存句法的關(guān)系存在于各種語言系依存句法舍棄了喬姆斯基[18](Chomsky)所提出的形式化重寫規(guī)則,在詞典中出近乎所有的語言知識,它所表現(xiàn)的是句子中詞語之間的修飾關(guān)系,由此就句子中每個詞語的距離搭配信息。 依存句法分析方法1 基于移進-規(guī)約的依存分析方法依存分析就是通過語言模型來自動分析出給定的句子結(jié)構(gòu),并將分析好的句對應(yīng)的依存樹的過程[19]。目前主流的依存句法研究主要集中在數(shù)據(jù)驅(qū)動的依析方法上,即在訓(xùn)練數(shù)據(jù)集上進行迭代學(xué)習(xí),從而得到依存句法分析器,但不針對依存句法相關(guān)理論的研究[20],該方法的分析過程如下圖 2.2 所示。McDoiver[22]所建立的基于數(shù)據(jù)驅(qū)動的依存分析方法中主要包括以下兩種:基于移依存分析方法[23](Transition-based Dependency Parsing)和基于圖的依存分析Graph-based Dependency Parsing)。
第 2 章 依存句法分析概述, ,( , ) ( , , )h mh mw w lb yScore x y Score w w lb (在上面的式子中,hw 為核心詞,mw 為修飾詞, lb 為前兩者之間有指向的依式就表示上述三者所構(gòu)成的依存關(guān)系。一階分解模型也被稱為邊分解模型[26]ored model),在一般情況下想獲得最優(yōu)依存樹通常采用動態(tài)規(guī)劃的方法。一階分解模型表示簡單,但只能針對依存邊進行特征的選取,這就導(dǎo)致了評分取與分析過程中有所限制。為解決這一問題,在一階分解模型的基礎(chǔ)上,研究究出了二階、三階分解模型[27],分別對應(yīng)在圖 2.3 的(a)、(b)、(c)。于一階分解模型中各個依存邊是相互獨立的這一特點,二階分解模型中同一兄弟結(jié)點存在著某種特定關(guān)聯(lián),失去了依存邊的部分獨立性,三階分解模型的關(guān)聯(lián)較二階模型更近一步,但在更好的進行特征選取與處理遠(yuǎn)距離依存關(guān),也會以犧牲算法的時空復(fù)雜度為代價。所以在實際應(yīng)用過程當(dāng)中,要具體情析,在模型的精確度與復(fù)雜度之間取得一個平衡。
【參考文獻】:
期刊論文
[1]基于Word2Vec技術(shù)隱性特征挖掘及潛在升級投訴用戶識別研究[J]. 蘇良良,雷蕾,李景文,黃敏杰. 電信技術(shù). 2018(12)
[2]循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理. 計算機應(yīng)用. 2018(S2)
[3]基于Bi-LSTM和分布式表示的網(wǎng)頁主題相關(guān)度計算[J]. 王鋒,白宇,蔡東風(fēng),王鐵錚. 計算機應(yīng)用與軟件. 2018(07)
[4]基于注意力長短時記憶網(wǎng)絡(luò)的中文詞性標(biāo)注模型[J]. 司念文,王衡軍,李偉,單義棟,謝鵬程. 計算機科學(xué). 2018(04)
[5]Syntactic word embedding based on dependency syntax and polysemous analysis[J]. Zhong-lin YE,Hai-xing ZHAO. Frontiers of Information Technology & Electronic Engineering. 2018(04)
[6]基于雙向LSTM的圖結(jié)構(gòu)依存句法分析[J]. 諶志群,王冰,王榮波,黃孝喜. 杭州電子科技大學(xué)學(xué)報(自然科學(xué)版). 2018(01)
[7]基于深度學(xué)習(xí)的圖解碼依存分析研究進展[J]. 常寶寶. 山西大學(xué)學(xué)報(自然科學(xué)版). 2017(03)
[8]基于語言學(xué)的依存分析結(jié)果動賓關(guān)系補全研究[J]. 張丹,周俏麗,張桂平. 計算機應(yīng)用研究. 2018(04)
[9]基于依存句法分析的病理報告結(jié)構(gòu)化處理方法[J]. 田馳遠(yuǎn),陳德華,王梅,樂嘉錦. 計算機研究與發(fā)展. 2016(12)
[10]用于微博情感分析的一種情感語義增強的深度學(xué)習(xí)模型[J]. 何炎祥,孫松濤,牛菲菲,李飛. 計算機學(xué)報. 2017(04)
博士論文
[1]中文詞法句法語義聯(lián)合分析模型研究[D]. 張梅山.哈爾濱工業(yè)大學(xué) 2014
碩士論文
[1]基于句法結(jié)構(gòu)的術(shù)語關(guān)系抽取方法研究[D]. 周雯.北京交通大學(xué) 2017
[2]高性能漢語依存句法分析方法的研究[D]. 羅特.北京交通大學(xué) 2017
[3]基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析模型研究[D]. 張俊馳.湖北大學(xué) 2016
[4]漢語依存句法分析技術(shù)研究[D]. 郭振.北京交通大學(xué) 2015
本文編號:3209143
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3209143.html
最近更新
教材專著