基于深度學(xué)習(xí)的依存句法分析研究模型
發(fā)布時(shí)間:2021-05-31 23:02
隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展和全球化普及,大量語(yǔ)料呈爆炸式的涌現(xiàn)在網(wǎng)絡(luò)上,從語(yǔ)料中提取出有價(jià)值的信息并進(jìn)行相應(yīng)的處理已成為當(dāng)前計(jì)算機(jī)領(lǐng)域中的一項(xiàng)重要研究?jī)?nèi)容,由此自然語(yǔ)言處理技術(shù)應(yīng)運(yùn)而生。句法分析是自然語(yǔ)言處理領(lǐng)域中的一項(xiàng)關(guān)鍵技術(shù),而依存句法因其簡(jiǎn)潔明了的表現(xiàn)形式以及對(duì)詞語(yǔ)之間修飾關(guān)系的展現(xiàn)而使得該方法在多個(gè)領(lǐng)域都取得了廣泛的應(yīng)用。隨著近年來深度學(xué)習(xí)在計(jì)算機(jī)各個(gè)領(lǐng)域所取得的突破性進(jìn)展,基于深度學(xué)習(xí)的依存句法分析模型也為處理句法分析中出現(xiàn)的問題帶來了新的解決思路。針對(duì)當(dāng)前依存句法的發(fā)展趨勢(shì),本文提出設(shè)計(jì)并實(shí)現(xiàn)一種基于深度學(xué)習(xí)的依存句法聯(lián)合分析模型。首先,使用基于雙向長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)句法結(jié)構(gòu)及序列標(biāo)注進(jìn)行統(tǒng)一建模;然后,通過詞性標(biāo)注和深度圖相結(jié)合來處理依存句法分析問題,可以在較大程度上減少在提取特征時(shí)因?yàn)樵~性標(biāo)注所帶來的錯(cuò)誤蔓延并解決多層次特征無法獲取的問題;最后,使用多個(gè)多層感知機(jī)分別預(yù)測(cè)依存弧和依存標(biāo)簽。本文在依存句法分析模型基礎(chǔ)上設(shè)計(jì)的句法分析系統(tǒng)利用React、ES6和SVG等技術(shù)實(shí)現(xiàn)前端用戶界面的顯示及用戶登錄、文本訓(xùn)練、文本預(yù)測(cè)、依存圖的展示等功能,并實(shí)現(xiàn)服務(wù)器端與客戶端數(shù)據(jù)的交互...
【文章來源】:沈陽(yáng)工業(yè)大學(xué)遼寧省
【文章頁(yè)數(shù)】:60 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
依存圖
語(yǔ)、句子之中是普遍存在的,這就說明了依存句法的關(guān)系存在于各種語(yǔ)言系依存句法舍棄了喬姆斯基[18](Chomsky)所提出的形式化重寫規(guī)則,在詞典中出近乎所有的語(yǔ)言知識(shí),它所表現(xiàn)的是句子中詞語(yǔ)之間的修飾關(guān)系,由此就句子中每個(gè)詞語(yǔ)的距離搭配信息。 依存句法分析方法1 基于移進(jìn)-規(guī)約的依存分析方法依存分析就是通過語(yǔ)言模型來自動(dòng)分析出給定的句子結(jié)構(gòu),并將分析好的句對(duì)應(yīng)的依存樹的過程[19]。目前主流的依存句法研究主要集中在數(shù)據(jù)驅(qū)動(dòng)的依析方法上,即在訓(xùn)練數(shù)據(jù)集上進(jìn)行迭代學(xué)習(xí),從而得到依存句法分析器,但不針對(duì)依存句法相關(guān)理論的研究[20],該方法的分析過程如下圖 2.2 所示。McDoiver[22]所建立的基于數(shù)據(jù)驅(qū)動(dòng)的依存分析方法中主要包括以下兩種:基于移依存分析方法[23](Transition-based Dependency Parsing)和基于圖的依存分析Graph-based Dependency Parsing)。
第 2 章 依存句法分析概述, ,( , ) ( , , )h mh mw w lb yScore x y Score w w lb (在上面的式子中,hw 為核心詞,mw 為修飾詞, lb 為前兩者之間有指向的依式就表示上述三者所構(gòu)成的依存關(guān)系。一階分解模型也被稱為邊分解模型[26]ored model),在一般情況下想獲得最優(yōu)依存樹通常采用動(dòng)態(tài)規(guī)劃的方法。一階分解模型表示簡(jiǎn)單,但只能針對(duì)依存邊進(jìn)行特征的選取,這就導(dǎo)致了評(píng)分取與分析過程中有所限制。為解決這一問題,在一階分解模型的基礎(chǔ)上,研究究出了二階、三階分解模型[27],分別對(duì)應(yīng)在圖 2.3 的(a)、(b)、(c)。于一階分解模型中各個(gè)依存邊是相互獨(dú)立的這一特點(diǎn),二階分解模型中同一兄弟結(jié)點(diǎn)存在著某種特定關(guān)聯(lián),失去了依存邊的部分獨(dú)立性,三階分解模型的關(guān)聯(lián)較二階模型更近一步,但在更好的進(jìn)行特征選取與處理遠(yuǎn)距離依存關(guān),也會(huì)以犧牲算法的時(shí)空復(fù)雜度為代價(jià)。所以在實(shí)際應(yīng)用過程當(dāng)中,要具體情析,在模型的精確度與復(fù)雜度之間取得一個(gè)平衡。
【參考文獻(xiàn)】:
期刊論文
[1]基于Word2Vec技術(shù)隱性特征挖掘及潛在升級(jí)投訴用戶識(shí)別研究[J]. 蘇良良,雷蕾,李景文,黃敏杰. 電信技術(shù). 2018(12)
[2]循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理. 計(jì)算機(jī)應(yīng)用. 2018(S2)
[3]基于Bi-LSTM和分布式表示的網(wǎng)頁(yè)主題相關(guān)度計(jì)算[J]. 王鋒,白宇,蔡?hào)|風(fēng),王鐵錚. 計(jì)算機(jī)應(yīng)用與軟件. 2018(07)
[4]基于注意力長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的中文詞性標(biāo)注模型[J]. 司念文,王衡軍,李偉,單義棟,謝鵬程. 計(jì)算機(jī)科學(xué). 2018(04)
[5]Syntactic word embedding based on dependency syntax and polysemous analysis[J]. Zhong-lin YE,Hai-xing ZHAO. Frontiers of Information Technology & Electronic Engineering. 2018(04)
[6]基于雙向LSTM的圖結(jié)構(gòu)依存句法分析[J]. 諶志群,王冰,王榮波,黃孝喜. 杭州電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(01)
[7]基于深度學(xué)習(xí)的圖解碼依存分析研究進(jìn)展[J]. 常寶寶. 山西大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(03)
[8]基于語(yǔ)言學(xué)的依存分析結(jié)果動(dòng)賓關(guān)系補(bǔ)全研究[J]. 張丹,周俏麗,張桂平. 計(jì)算機(jī)應(yīng)用研究. 2018(04)
[9]基于依存句法分析的病理報(bào)告結(jié)構(gòu)化處理方法[J]. 田馳遠(yuǎn),陳德華,王梅,樂嘉錦. 計(jì)算機(jī)研究與發(fā)展. 2016(12)
[10]用于微博情感分析的一種情感語(yǔ)義增強(qiáng)的深度學(xué)習(xí)模型[J]. 何炎祥,孫松濤,牛菲菲,李飛. 計(jì)算機(jī)學(xué)報(bào). 2017(04)
博士論文
[1]中文詞法句法語(yǔ)義聯(lián)合分析模型研究[D]. 張梅山.哈爾濱工業(yè)大學(xué) 2014
碩士論文
[1]基于句法結(jié)構(gòu)的術(shù)語(yǔ)關(guān)系抽取方法研究[D]. 周雯.北京交通大學(xué) 2017
[2]高性能漢語(yǔ)依存句法分析方法的研究[D]. 羅特.北京交通大學(xué) 2017
[3]基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析模型研究[D]. 張俊馳.湖北大學(xué) 2016
[4]漢語(yǔ)依存句法分析技術(shù)研究[D]. 郭振.北京交通大學(xué) 2015
本文編號(hào):3209143
【文章來源】:沈陽(yáng)工業(yè)大學(xué)遼寧省
【文章頁(yè)數(shù)】:60 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
依存圖
語(yǔ)、句子之中是普遍存在的,這就說明了依存句法的關(guān)系存在于各種語(yǔ)言系依存句法舍棄了喬姆斯基[18](Chomsky)所提出的形式化重寫規(guī)則,在詞典中出近乎所有的語(yǔ)言知識(shí),它所表現(xiàn)的是句子中詞語(yǔ)之間的修飾關(guān)系,由此就句子中每個(gè)詞語(yǔ)的距離搭配信息。 依存句法分析方法1 基于移進(jìn)-規(guī)約的依存分析方法依存分析就是通過語(yǔ)言模型來自動(dòng)分析出給定的句子結(jié)構(gòu),并將分析好的句對(duì)應(yīng)的依存樹的過程[19]。目前主流的依存句法研究主要集中在數(shù)據(jù)驅(qū)動(dòng)的依析方法上,即在訓(xùn)練數(shù)據(jù)集上進(jìn)行迭代學(xué)習(xí),從而得到依存句法分析器,但不針對(duì)依存句法相關(guān)理論的研究[20],該方法的分析過程如下圖 2.2 所示。McDoiver[22]所建立的基于數(shù)據(jù)驅(qū)動(dòng)的依存分析方法中主要包括以下兩種:基于移依存分析方法[23](Transition-based Dependency Parsing)和基于圖的依存分析Graph-based Dependency Parsing)。
第 2 章 依存句法分析概述, ,( , ) ( , , )h mh mw w lb yScore x y Score w w lb (在上面的式子中,hw 為核心詞,mw 為修飾詞, lb 為前兩者之間有指向的依式就表示上述三者所構(gòu)成的依存關(guān)系。一階分解模型也被稱為邊分解模型[26]ored model),在一般情況下想獲得最優(yōu)依存樹通常采用動(dòng)態(tài)規(guī)劃的方法。一階分解模型表示簡(jiǎn)單,但只能針對(duì)依存邊進(jìn)行特征的選取,這就導(dǎo)致了評(píng)分取與分析過程中有所限制。為解決這一問題,在一階分解模型的基礎(chǔ)上,研究究出了二階、三階分解模型[27],分別對(duì)應(yīng)在圖 2.3 的(a)、(b)、(c)。于一階分解模型中各個(gè)依存邊是相互獨(dú)立的這一特點(diǎn),二階分解模型中同一兄弟結(jié)點(diǎn)存在著某種特定關(guān)聯(lián),失去了依存邊的部分獨(dú)立性,三階分解模型的關(guān)聯(lián)較二階模型更近一步,但在更好的進(jìn)行特征選取與處理遠(yuǎn)距離依存關(guān),也會(huì)以犧牲算法的時(shí)空復(fù)雜度為代價(jià)。所以在實(shí)際應(yīng)用過程當(dāng)中,要具體情析,在模型的精確度與復(fù)雜度之間取得一個(gè)平衡。
【參考文獻(xiàn)】:
期刊論文
[1]基于Word2Vec技術(shù)隱性特征挖掘及潛在升級(jí)投訴用戶識(shí)別研究[J]. 蘇良良,雷蕾,李景文,黃敏杰. 電信技術(shù). 2018(12)
[2]循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理. 計(jì)算機(jī)應(yīng)用. 2018(S2)
[3]基于Bi-LSTM和分布式表示的網(wǎng)頁(yè)主題相關(guān)度計(jì)算[J]. 王鋒,白宇,蔡?hào)|風(fēng),王鐵錚. 計(jì)算機(jī)應(yīng)用與軟件. 2018(07)
[4]基于注意力長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的中文詞性標(biāo)注模型[J]. 司念文,王衡軍,李偉,單義棟,謝鵬程. 計(jì)算機(jī)科學(xué). 2018(04)
[5]Syntactic word embedding based on dependency syntax and polysemous analysis[J]. Zhong-lin YE,Hai-xing ZHAO. Frontiers of Information Technology & Electronic Engineering. 2018(04)
[6]基于雙向LSTM的圖結(jié)構(gòu)依存句法分析[J]. 諶志群,王冰,王榮波,黃孝喜. 杭州電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(01)
[7]基于深度學(xué)習(xí)的圖解碼依存分析研究進(jìn)展[J]. 常寶寶. 山西大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(03)
[8]基于語(yǔ)言學(xué)的依存分析結(jié)果動(dòng)賓關(guān)系補(bǔ)全研究[J]. 張丹,周俏麗,張桂平. 計(jì)算機(jī)應(yīng)用研究. 2018(04)
[9]基于依存句法分析的病理報(bào)告結(jié)構(gòu)化處理方法[J]. 田馳遠(yuǎn),陳德華,王梅,樂嘉錦. 計(jì)算機(jī)研究與發(fā)展. 2016(12)
[10]用于微博情感分析的一種情感語(yǔ)義增強(qiáng)的深度學(xué)習(xí)模型[J]. 何炎祥,孫松濤,牛菲菲,李飛. 計(jì)算機(jī)學(xué)報(bào). 2017(04)
博士論文
[1]中文詞法句法語(yǔ)義聯(lián)合分析模型研究[D]. 張梅山.哈爾濱工業(yè)大學(xué) 2014
碩士論文
[1]基于句法結(jié)構(gòu)的術(shù)語(yǔ)關(guān)系抽取方法研究[D]. 周雯.北京交通大學(xué) 2017
[2]高性能漢語(yǔ)依存句法分析方法的研究[D]. 羅特.北京交通大學(xué) 2017
[3]基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析模型研究[D]. 張俊馳.湖北大學(xué) 2016
[4]漢語(yǔ)依存句法分析技術(shù)研究[D]. 郭振.北京交通大學(xué) 2015
本文編號(hào):3209143
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3209143.html
最近更新
教材專著