基于神經(jīng)網(wǎng)絡(luò)和語句特征融合的漢語復(fù)句關(guān)系詞自動識別
發(fā)布時(shí)間:2021-04-16 05:38
關(guān)系詞是復(fù)句在語表形式上的標(biāo)記,是復(fù)句中標(biāo)示關(guān)系的一個(gè)重要構(gòu)件,它在很大程度上影響著分句的語義和復(fù)句層次關(guān)系的識別。關(guān)系詞的自動識別有助于劃清句子的語法成分,弄清復(fù)句表達(dá)的語義,從而有利于提高機(jī)器翻譯的準(zhǔn)確度。同時(shí),復(fù)句是連接篇章的橋梁,關(guān)系詞的識別對促進(jìn)篇章研究有十分重要的意義。目前,漢語復(fù)句關(guān)系詞識別方法有基于規(guī)則的方法與基于統(tǒng)計(jì)的方法,這些方法過度依賴于人工總結(jié)的規(guī)則。本文探討使用深度學(xué)習(xí)的方法進(jìn)行關(guān)系詞識別。針對復(fù)句關(guān)系詞識別方法都依賴于人工提取的語句特征的問題,提出了將神經(jīng)網(wǎng)絡(luò)引入關(guān)系詞自動識別的方法。該方法將復(fù)句語料庫中提取的特征融合到詞向量中,將詞向量輸入到構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。為了探究神經(jīng)網(wǎng)絡(luò)模型中不同語句特征組合和不同詞向量對關(guān)系詞識別的影響,利用哈爾濱工業(yè)大學(xué)語言平臺(LTP)對現(xiàn)代漢語復(fù)句語料庫(CCCS)中的復(fù)句進(jìn)行語句分析,提取出四種常見的語句特征建立語句特征庫;再從語句特征庫抽取特征并將特征進(jìn)行組合,將組合后的語句特征分別與CBOW和BERT詞向量矩陣進(jìn)行語句特征融合,并輸入到神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練;最終通過分析不同的訓(xùn)練模型測試結(jié)果來挖掘彼此的聯(lián)系,獲...
【文章來源】:華中師范大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】:55 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2.2?BERT模型結(jié)構(gòu)(左)Transformer結(jié)構(gòu)(右)圖??為了使得模型更加有效,還添加了兩項(xiàng)新的預(yù)訓(xùn)練任務(wù)目標(biāo):遮蓋語言模型??(MLM)和預(yù)測下一個(gè)句子
Zi^§|k\項(xiàng)士學(xué)位論文??MASTER'S?THESIS??CBOW模型,以此作為初級模型;然后將CCCS語料庫放入該初級模型進(jìn)行再訓(xùn)??練,獲得最終的CBOW詞向量模型。該模型不僅涵蓋了搜狗語料庫大量語句的范??圍,能表示更多詞的語義,同時(shí)又兼具CCCS復(fù)句語料庫的特點(diǎn),更加適合關(guān)系詞??自動識別任務(wù)。其詞向量訓(xùn)練效果如圖2.3所示。??與"計(jì)篝機(jī)"?相似的前icH'-?與"男生■?思相似的前1奸詞??£6??0.7699730396270752?女生?0.9045362472S3418??軟件?0.66S833S924148S6?女同學(xué)?0.7064820528030396??微機(jī)?0.6428780555725098?女孩子?0.686104953289032??0.6325061321258545?同學(xué)?0.6693482398986816??交換機(jī)?0.62187802791?S9546?女孩?0.66S3SS066SS88379??系統(tǒng)軟件?0.6123274564743042?女老師?0.638964176177978S??打印機(jī)?0.5991623401641846?學(xué)生?0.6232960820198059??芯片?0.S93342661857605?男孩?0.6147264838218689??電子?0.S904868245124817?高中生?0.6108670234680176??因特網(wǎng)?0.5882048606872SS9?初中生?0.S8209SS038070679??圖2.3詞向量的訓(xùn)練效果檢驗(yàn)示例??由圖2.3可知,“計(jì)算機(jī)”最相近的詞是“電腦”,對應(yīng)詞向量的余弦相似度為??0.77,
以句子??的語義角度出發(fā),挖掘出句子中每個(gè)語言單位之間即詞與詞之間的語義關(guān)聯(lián),不受??語法框架所束縛,同樣也不需要去抽象描述每個(gè)詞匯所在句中的扮演的角色。通過??以語法框架的角度來描繪詞匯,不受論元數(shù)目所影響,對詞的刻畫更為細(xì)致,突破??了句子表層句法結(jié)構(gòu)的束縛,能獲得句子的深層語義。??復(fù)句和復(fù)句關(guān)系詞在語義上是相互制約,通過語義依存關(guān)系角度,可以更加深??刻的認(rèn)識到詞在復(fù)句中扮演的語義角色,進(jìn)而為判斷關(guān)系詞提供有力的支撐。分析??例(3.3)和例(3.4)的語義依存關(guān)系,結(jié)果如圖3.5和圖3.6所示。????.??—??......一一??f?4?i?W?i?%?t?f?r?'、.?★廣?,?,?r?'t??Root?7- ̄9_?一?s?7-A?ss?a?Wa?il*?=1S?生?1??圖3.5例句(3.3)的語義依存圖???-??bSocc???—????、、、??''、、、?一?二咖?','?’”_、?、、、'??,-伽|^?,?’?M3rf。停幔颍拢、,mPnnc?-^r〇?nPm,?'?.?^nnc??r?t?/?????t?*???f?f?l_?’?’?’?零?t?T??Root?itB?^???-S?藝子辟管2?-?市場????圖3.6例句(3.4)的語義依存圖??由圖3.5可知,例句(3.3)的準(zhǔn)關(guān)系詞“一面/—面”與其支配詞“積壓”的語義??依存關(guān)系分別為“mTime(時(shí)間標(biāo)記)”,“eSucc(順承關(guān)系)”,其中時(shí)間標(biāo)記一般不作??為句子成分,是常見關(guān)系詞和支配詞之間語
【參考文獻(xiàn)】:
期刊論文
[1]基于神經(jīng)網(wǎng)絡(luò)的關(guān)系詞非充盈態(tài)復(fù)句層次的自動識別[J]. 楊進(jìn)才,楊璐璐,汪燕燕,沈顯君. 計(jì)算機(jī)科學(xué). 2019(S2)
[2]一種結(jié)構(gòu)和語義兼顧的綜合分析思想在復(fù)句依存句法分析中的運(yùn)用[J]. 李源,黃文燦,胡金柱. 計(jì)算機(jī)與數(shù)字工程. 2019(03)
[3]漢語復(fù)句關(guān)系詞的依存樹特征分析[J]. 楊進(jìn)才,羅越群,陳忠忠,胡金柱. 計(jì)算機(jī)與數(shù)字工程. 2017(08)
[4]基于依存關(guān)系規(guī)則的漢語復(fù)句關(guān)系詞自動識別[J]. 楊進(jìn)才,涂馨丹,沈顯君,胡金柱. 計(jì)算機(jī)應(yīng)用研究. 2018(06)
[5]面向自然語言處理的深度學(xué)習(xí)研究[J]. 奚雪峰,周國棟. 自動化學(xué)報(bào). 2016(10)
[6]基于貝葉斯模型的復(fù)句關(guān)系詞自動識別與規(guī)則挖掘[J]. 楊進(jìn)才,郭凱凱,沈顯君,胡金柱. 計(jì)算機(jī)科學(xué). 2015(07)
[7]漢語復(fù)句關(guān)系詞自動識別中規(guī)則的約束條件研究[J]. 胡金柱,舒江波,胡泉,楊進(jìn)才,謝芳,李源. 語言文字應(yīng)用. 2015(01)
[8]基于規(guī)則的復(fù)句關(guān)系詞的自動標(biāo)識[J]. 賈遂民,雷利利,胡明生. 中文信息學(xué)報(bào). 2015(01)
[9]復(fù)句關(guān)系詞自動識別中規(guī)則的表示方法研究[J]. 胡金柱,舒江波,胡泉,李源,楊進(jìn)才,謝芳. 計(jì)算機(jī)工程與應(yīng)用. 2016(01)
[10]人工神經(jīng)網(wǎng)絡(luò)原理、分類及應(yīng)用[J]. 王磊. 科技資訊. 2014(03)
博士論文
[1]面向中文信息處理的復(fù)句關(guān)系詞自動標(biāo)識研究[D]. 舒江波.華中師范大學(xué) 2011
[2]復(fù)句關(guān)系標(biāo)記的搭配研究與相關(guān)解釋[D]. 姚雙云.華中師范大學(xué) 2006
[3]中文信息處理中若干關(guān)鍵技術(shù)的研究[D]. 王建會.復(fù)旦大學(xué) 2004
碩士論文
[1]基于決策樹方法的漢語復(fù)句關(guān)系詞自動識別[D]. 鄒艷軍.華中師范大學(xué) 2018
[2]基于搭配強(qiáng)度的復(fù)句關(guān)系詞自動標(biāo)識方法研究[D]. 宋林森.華中師范大學(xué) 2014
[3]復(fù)句關(guān)系詞自動標(biāo)識系統(tǒng)中規(guī)則庫及其維護(hù)方法研究[D]. 陳江曼.華中師范大學(xué) 2012
[4]復(fù)句關(guān)系詞自動標(biāo)識系統(tǒng)中規(guī)則解析器的研究[D]. 雷利利.華中師范大學(xué) 2012
本文編號:3140848
【文章來源】:華中師范大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】:55 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2.2?BERT模型結(jié)構(gòu)(左)Transformer結(jié)構(gòu)(右)圖??為了使得模型更加有效,還添加了兩項(xiàng)新的預(yù)訓(xùn)練任務(wù)目標(biāo):遮蓋語言模型??(MLM)和預(yù)測下一個(gè)句子
Zi^§|k\項(xiàng)士學(xué)位論文??MASTER'S?THESIS??CBOW模型,以此作為初級模型;然后將CCCS語料庫放入該初級模型進(jìn)行再訓(xùn)??練,獲得最終的CBOW詞向量模型。該模型不僅涵蓋了搜狗語料庫大量語句的范??圍,能表示更多詞的語義,同時(shí)又兼具CCCS復(fù)句語料庫的特點(diǎn),更加適合關(guān)系詞??自動識別任務(wù)。其詞向量訓(xùn)練效果如圖2.3所示。??與"計(jì)篝機(jī)"?相似的前icH'-?與"男生■?思相似的前1奸詞??£6??0.7699730396270752?女生?0.9045362472S3418??軟件?0.66S833S924148S6?女同學(xué)?0.7064820528030396??微機(jī)?0.6428780555725098?女孩子?0.686104953289032??0.6325061321258545?同學(xué)?0.6693482398986816??交換機(jī)?0.62187802791?S9546?女孩?0.66S3SS066SS88379??系統(tǒng)軟件?0.6123274564743042?女老師?0.638964176177978S??打印機(jī)?0.5991623401641846?學(xué)生?0.6232960820198059??芯片?0.S93342661857605?男孩?0.6147264838218689??電子?0.S904868245124817?高中生?0.6108670234680176??因特網(wǎng)?0.5882048606872SS9?初中生?0.S8209SS038070679??圖2.3詞向量的訓(xùn)練效果檢驗(yàn)示例??由圖2.3可知,“計(jì)算機(jī)”最相近的詞是“電腦”,對應(yīng)詞向量的余弦相似度為??0.77,
以句子??的語義角度出發(fā),挖掘出句子中每個(gè)語言單位之間即詞與詞之間的語義關(guān)聯(lián),不受??語法框架所束縛,同樣也不需要去抽象描述每個(gè)詞匯所在句中的扮演的角色。通過??以語法框架的角度來描繪詞匯,不受論元數(shù)目所影響,對詞的刻畫更為細(xì)致,突破??了句子表層句法結(jié)構(gòu)的束縛,能獲得句子的深層語義。??復(fù)句和復(fù)句關(guān)系詞在語義上是相互制約,通過語義依存關(guān)系角度,可以更加深??刻的認(rèn)識到詞在復(fù)句中扮演的語義角色,進(jìn)而為判斷關(guān)系詞提供有力的支撐。分析??例(3.3)和例(3.4)的語義依存關(guān)系,結(jié)果如圖3.5和圖3.6所示。????.??—??......一一??f?4?i?W?i?%?t?f?r?'、.?★廣?,?,?r?'t??Root?7- ̄9_?一?s?7-A?ss?a?Wa?il*?=1S?生?1??圖3.5例句(3.3)的語義依存圖???-??bSocc???—????、、、??''、、、?一?二咖?','?’”_、?、、、'??,-伽|^?,?’?M3rf。停幔颍拢、,mPnnc?-^r〇?nPm,?'?.?^nnc??r?t?/?????t?*???f?f?l_?’?’?’?零?t?T??Root?itB?^???-S?藝子辟管2?-?市場????圖3.6例句(3.4)的語義依存圖??由圖3.5可知,例句(3.3)的準(zhǔn)關(guān)系詞“一面/—面”與其支配詞“積壓”的語義??依存關(guān)系分別為“mTime(時(shí)間標(biāo)記)”,“eSucc(順承關(guān)系)”,其中時(shí)間標(biāo)記一般不作??為句子成分,是常見關(guān)系詞和支配詞之間語
【參考文獻(xiàn)】:
期刊論文
[1]基于神經(jīng)網(wǎng)絡(luò)的關(guān)系詞非充盈態(tài)復(fù)句層次的自動識別[J]. 楊進(jìn)才,楊璐璐,汪燕燕,沈顯君. 計(jì)算機(jī)科學(xué). 2019(S2)
[2]一種結(jié)構(gòu)和語義兼顧的綜合分析思想在復(fù)句依存句法分析中的運(yùn)用[J]. 李源,黃文燦,胡金柱. 計(jì)算機(jī)與數(shù)字工程. 2019(03)
[3]漢語復(fù)句關(guān)系詞的依存樹特征分析[J]. 楊進(jìn)才,羅越群,陳忠忠,胡金柱. 計(jì)算機(jī)與數(shù)字工程. 2017(08)
[4]基于依存關(guān)系規(guī)則的漢語復(fù)句關(guān)系詞自動識別[J]. 楊進(jìn)才,涂馨丹,沈顯君,胡金柱. 計(jì)算機(jī)應(yīng)用研究. 2018(06)
[5]面向自然語言處理的深度學(xué)習(xí)研究[J]. 奚雪峰,周國棟. 自動化學(xué)報(bào). 2016(10)
[6]基于貝葉斯模型的復(fù)句關(guān)系詞自動識別與規(guī)則挖掘[J]. 楊進(jìn)才,郭凱凱,沈顯君,胡金柱. 計(jì)算機(jī)科學(xué). 2015(07)
[7]漢語復(fù)句關(guān)系詞自動識別中規(guī)則的約束條件研究[J]. 胡金柱,舒江波,胡泉,楊進(jìn)才,謝芳,李源. 語言文字應(yīng)用. 2015(01)
[8]基于規(guī)則的復(fù)句關(guān)系詞的自動標(biāo)識[J]. 賈遂民,雷利利,胡明生. 中文信息學(xué)報(bào). 2015(01)
[9]復(fù)句關(guān)系詞自動識別中規(guī)則的表示方法研究[J]. 胡金柱,舒江波,胡泉,李源,楊進(jìn)才,謝芳. 計(jì)算機(jī)工程與應(yīng)用. 2016(01)
[10]人工神經(jīng)網(wǎng)絡(luò)原理、分類及應(yīng)用[J]. 王磊. 科技資訊. 2014(03)
博士論文
[1]面向中文信息處理的復(fù)句關(guān)系詞自動標(biāo)識研究[D]. 舒江波.華中師范大學(xué) 2011
[2]復(fù)句關(guān)系標(biāo)記的搭配研究與相關(guān)解釋[D]. 姚雙云.華中師范大學(xué) 2006
[3]中文信息處理中若干關(guān)鍵技術(shù)的研究[D]. 王建會.復(fù)旦大學(xué) 2004
碩士論文
[1]基于決策樹方法的漢語復(fù)句關(guān)系詞自動識別[D]. 鄒艷軍.華中師范大學(xué) 2018
[2]基于搭配強(qiáng)度的復(fù)句關(guān)系詞自動標(biāo)識方法研究[D]. 宋林森.華中師范大學(xué) 2014
[3]復(fù)句關(guān)系詞自動標(biāo)識系統(tǒng)中規(guī)則庫及其維護(hù)方法研究[D]. 陳江曼.華中師范大學(xué) 2012
[4]復(fù)句關(guān)系詞自動標(biāo)識系統(tǒng)中規(guī)則解析器的研究[D]. 雷利利.華中師范大學(xué) 2012
本文編號:3140848
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3140848.html
最近更新
教材專著