事件時序關系識別是對具有時序關聯(lián)的事件對進行識別,并對它們之間的時序關系進行分類的一項任務。它對任何試圖深入理解自然語言的系統(tǒng)來說都至關重要,如自動問答、信息抽取、文本摘要等。早期的事件時序關系識別研究通常專注于提取各種語言學特征,這些研究工作嚴重依賴人工標注的特征和外部知識庫,而對形式上更加靈活且更具泛化能力的神經(jīng)網(wǎng)絡的應用卻相對較少。本文工作聚焦于神經(jīng)網(wǎng)絡方法在事件時序關系識別任務上的應用,研究內容如下:（1）基于深度雙向長短期記憶網(wǎng)絡的事件時序關系識別方法與傳統(tǒng)的基于特征工程的統(tǒng)計機器學習方法相比,神經(jīng)網(wǎng)絡方法在事件時序關系識別上顯現(xiàn)出明顯的優(yōu)勢。但是,現(xiàn)有的神經(jīng)網(wǎng)絡架構往往較為淺顯（如單層循環(huán)神經(jīng)網(wǎng)絡或卷積神經(jīng)網(wǎng)絡）,導致它們可能無法在不同的抽象層次上探索潛在的語義表示空間。針對這一問題,本文提出使用深度雙向長短期記憶網(wǎng)絡進行事件時序關系識別。該方法將多層網(wǎng)絡中的所有前置層輸出進行拼接作為后續(xù)層的輸入,從而使其中的信息充分流動。實驗結果表明該方法能有效提升事件時序關系的識別性能。（2）結合自注意力和神經(jīng)網(wǎng)絡的事件時序關系識別方法對于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡或卷積神經(jīng)網(wǎng)絡而言,處理結構... 

【文章來源】：蘇州大學江蘇省 211工程院校

【文章頁數(shù)】：70 頁

【學位級別】：碩士

【部分圖文】：

圖２－１事件研究的三個層次??

象表示：在自然語??言處理領域中，卷積神經(jīng)Ｎ絡模型最早應用子文本分類任務上，取得了十分出色的效??果。在大量的自然文本中，有用的信息特征通常處于文本的局部位置，且一個信息實??體往往由連續(xù)的字（詞）組成，因此具備局部連續(xù)的特點。??基礎的卷枳神經(jīng)Ｎ絡迪常由卷積層（Ｃｏｎｖｏｌｕｔｉｏｎ?Ｌａｙｅｒ）和池化Ｓ?（Ｐｏｏｌｉｎｇ?Ｌａｙｅｒ）??兩部分組成。其中卷積層的作用是提取各種特征，池化層的作用是對原始的特征信號??進行抽象，從而大幅度減少訓練參數(shù)，并且還可以緩解模型的過擬合問題。圖２－５展??示了?？種簡單的卷積神經(jīng)Ｍ絡模型框架。??，???／＿？ｎ?、、門、??Ｉ?Ｉ?Ｉ?Ｉ?／?一一一?—??］／????／????：?／?—?——??？??ＣＬｚ??１?１?１?１?１?Ｌ＿??Ｉ?｜?ｉ?ｉ?ｉ?ｉ?ｉ?ｉ??向量表示?卷積層?池化層分類層??圖２－５?—個簡單的卷積神經(jīng)網(wǎng)絡模型框架??１５??

絡適用于對句法依存樹進行編碼，從詞的層面去刻畫句子的語法信息，來產(chǎn)生??句子中單詞的潛在特征表示。??（３）注意力機制??注意力機制（Ａｔｔｅｎｔｉｏｎ）最近在各個領域被廣泛使用，無論是圖像處理、語音識??別還是自然語言處理各種不同類型的任務中。從本質上講注意力機制借鑒了人類的選??擇性視覺注意力機制，其目的也是從眾多信息中選擇出對當前任務更有用的信息。在??自然語言處理領域中，注意力函數(shù)的本質可以被描述為一個查詢（ｑｕｅｒｙ）到一系列鍵??（ｋｅｙ）—值（ｖａｌｕｅ）對的映射，如圖２－６所不。??Ｋｅｙｌ?Ｋｅｙ２?Ｋ．ｅｙ３?Ｋｅｙ４?！??，?Ａｔｔｅｎｔｉｏｎ??Ｑｕｅｒｙ?－｛?＾?Ｖａｌｕｅ????｜??＾＾＾??｜????ｉｎｎｎｎｉ??Ｖａｌｕｅｌ?Ｖａｌｕｅ２?Ｖａｌｕｅ３?Ｖａｌｕｅ４?Ｉ??Ｓｏｕｒｃｅ??ｉ?１??圖２－６注意力函數(shù)計算??對注意力值（Ａｔｔｅｎｔｉｏｎ?Ｖａｌｕｅ）的計算主要分為三個步驟：首先將ｑｕｅｒｙ和每個??ｋｅｙ進行相似度計算得到權重，常用的相似度計算函數(shù)有點積、拼接、感知機等；接??著使用Ｓｏｆｔｍａｘ函數(shù)對上一步得到的權重進行歸一化；最后將權重和相應的鍵值ｖａｌｕｅ??進行加權求和（Ｗｅｉｇｈｔｅｄ?Ｓｕｍ）得到最后的注意力值。在自然語言處理任務中，ｋｅｙ與??ｖａｌｕｅ通常都是相同的。整個計算過程可以表示為：??１６??

【參考文獻】：
期刊論文
[1]事件因果與時序關系識別的聯(lián)合推理模型[J]. 黃一龍,李培峰,朱巧明.  計算機科學. 2018(06)
[2]基于全局優(yōu)化的中文事件時序關系推理方法[J]. 鄭新,李培峰,朱巧明.  中文信息學報. 2016(05)
[3]中文事件時序關系的標注和分類方法[J]. 鄭新,李培峰,朱巧明.  計算機科學. 2015(07)
[4]基于最大熵的句內時間關系識別[J]. 王風娥,譚紅葉,錢揖麗.  計算機工程. 2012(04)
[5]中文事件抽取技術研究[J]. 趙妍妍,秦兵,車萬翔,劉挺.  中文信息學報. 2008(01)

博士論文
[1]面向事件的知識處理研究[D]. 付劍鋒.上海大學 2010



本文編號：3401431