【摘要】：語篇關(guān)系是指兩個(gè)文本單元之間的語義邏輯關(guān)系,如因果關(guān)系、轉(zhuǎn)折關(guān)系等。語篇解析以自由文本為輸入,返回文本中蘊(yùn)含的語篇關(guān)系。語篇解析可以廣泛應(yīng)用于許多自然語言處理任務(wù),如問答系統(tǒng)、統(tǒng)計(jì)機(jī)器翻譯和自動(dòng)文摘等。以往的研究工作多集中在語篇解析的各個(gè)子任務(wù),如語篇連接詞識別、論元標(biāo)記、顯性或隱性語篇關(guān)系語義識別等。本文的第一個(gè)工作是構(gòu)建一個(gè)精心設(shè)計(jì)的英文語篇解析器,在Lin等[7]的語篇解析器基礎(chǔ)上,提出并設(shè)計(jì)更多有效特征和組件,這一系統(tǒng)在2015年的CoNLL英文語篇解析競賽中獲得第一名。為進(jìn)一步構(gòu)造面向?qū)嵱玫娘@性語篇解析器,本文分別對兩個(gè)論元抽取不同特征,構(gòu)建不同的分類器,顯著提升性能,這一部分工作在2015年的KSEM(CCF-C類)會議上獲得"最佳論文獎(jiǎng)"。由于缺乏中文標(biāo)注語料,中文語篇關(guān)系的相關(guān)研究很少。隨著CDTB語料庫的發(fā)布,本文的第二個(gè)工作是深入分析中英文的不同特點(diǎn),構(gòu)建一個(gè)有效的中文語篇解析器,這一系統(tǒng)在2016年CoNLL的中文語篇解析競賽中獲得第二名。隱性語篇解析是整個(gè)語篇解析的瓶頸,以往采用語言學(xué)特征結(jié)合機(jī)器學(xué)習(xí)的方法,需要專家領(lǐng)域知識,系統(tǒng)泛化性差。隨著深度學(xué)習(xí)在自然語言處理領(lǐng)域的深入發(fā)展,本文的第三個(gè)工作首先提出使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行隱性語篇關(guān)系的語義識別,該系統(tǒng)在2016年CoNLL的英文語篇解析競賽中獲得第二名。進(jìn)而,本文又提出基于關(guān)注機(jī)制的神經(jīng)網(wǎng)絡(luò)來提升隱性語篇關(guān)系語義識別性能。深度學(xué)習(xí)需要大量的訓(xùn)練樣本,為了解決人工標(biāo)注數(shù)據(jù)量的局限性,本文的第四個(gè)工作提出多任務(wù)的神經(jīng)網(wǎng)絡(luò)模型,利用大量人工合成的隱性語篇關(guān)系數(shù)據(jù),進(jìn)一步提升識別性能。第三和第四個(gè)工作目前已投稿2017年的EMNLP會議。本文在中文和英文語篇解析上,進(jìn)行了大量的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,本文提出的端到端英文和中文語篇解析的有效性,進(jìn)而采用基于關(guān)注機(jī)制和多任務(wù)的深度神經(jīng)網(wǎng)絡(luò)模型,能夠幫助提升中英文隱性語篇關(guān)系的語義識別性能。
[Abstract]:Textual relations refer to the semantic logical relationships between two text units, such as causality, transition, etc. Text parsing takes the free text as input and returns the textual relationship contained in the text. Discourse parsing can be widely used in many natural language processing tasks, such as question-answering systems, statistical machine translation and automatic abstracts. Previous studies have focused on the subtasks of discourse parsing, such as textual conjunction recognition, argument meta-marker, explicit or implicit textual relation semantic recognition, and so on. The first work of this paper is to construct a carefully designed English text parser, which proposes and designs more effective features and components on the basis of Lin et al. [7]. This system won the first place in the CoNLL English discourse Analysis Competition in 2015. In order to construct a pragmatic explicit discourse parser, this paper extracts different features from two arguments, constructs different classifiers, and improves performance significantly. This part of the work won the "best paper award" at the KSEM (CCF-C class) conference in 2015. Due to the lack of Chinese tagging data, there is little research on the relationship between Chinese texts. With the release of the CDTB corpus, the second work of this thesis is to analyze the different features of Chinese and English, and construct an effective Chinese text parser, which is the second place in the 2016 CoNLL Chinese discourse parsing contest. Implicit discourse parsing is the bottleneck of the whole text parsing. In the past, the method of combining linguistic features with machine learning requires expert domain knowledge, and the system generalization is poor. With the development of deep learning in the field of natural language processing, the third work of this paper first proposes the use of convolutional neural networks for semantic recognition of recessive discourse relations. The system won the second place in the 2016 CoNLL English discourse Analysis contest. Furthermore, this paper proposes a neural network based on attention mechanism to improve the semantic recognition performance of recessive discourse relations. In order to solve the limitation of artificial tagging data, the fourth work of this paper proposes a multi-task neural network model, which uses a large number of artificial synthetic recessive text relational data. Further improve the recognition performance. The third and fourth jobs are currently contributing to the 2017 EMNLP meeting. In this paper, a large number of experiments have been carried out in Chinese and English discourse analysis. The experimental results show that the proposed end-to-end English and Chinese discourse parsing is effective, and the depth neural network model based on attention mechanism and multitasking can help to improve the semantic recognition performance of implicit discourse relations in both Chinese and English.
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.1;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報(bào);2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

8 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

相關(guān)會議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動(dòng)化會議論文集（上冊）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

5 鐘義信;;知識論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動(dòng)化會議論文集（第七分冊）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國明尼蘇達(dá)大學(xué)社會學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報(bào);2003年

4 中國科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日報(bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日報(bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國際先進(jìn)水平[N];中國電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號：2156821