本文關(guān)鍵詞：基于免疫學(xué)原理的詞表示及其應(yīng)用研究

  更多相關(guān)文章： 詞表示 詞主體 詞相似度 關(guān)系相似度 命名實體識別 適應(yīng)性免疫學(xué)原理 基于主體建模

【摘要】：自然語言處理研究主要應(yīng)用機器學(xué)習(xí)方法,需要對詞進(jìn)行數(shù)學(xué)表示。詞表示就是采用數(shù)學(xué)形式用詞的屬性對詞進(jìn)行的表示,在現(xiàn)有研究中,詞一般表示成向量,向量的每一維對應(yīng)詞的屬性。詞表示的學(xué)習(xí)可以事先獨立于具體任務(wù)和模型,一旦詞表示學(xué)習(xí)完畢,學(xué)習(xí)到的詞表示可以共享給其他研究人員并整合到現(xiàn)有的自然語言處理研究中。詞表示對自然語言處理研究至關(guān)重要,已廣泛應(yīng)用于詞相似度計算、關(guān)系相似度計算、詞性標(biāo)注、句法分析、命名實體識別、情感分析等自然語言處理任務(wù)。詞表示方法的理論根源是分布式語義假設(shè),即出現(xiàn)在相同上下文的詞傾向于表達(dá)相似的意義。所以現(xiàn)有詞表示研究大多基于大規(guī)模語料,應(yīng)用統(tǒng)計機器學(xué)習(xí)方法從詞的上下文中學(xué)習(xí)詞的向量表示。由于大多數(shù)統(tǒng)計機器學(xué)習(xí)方法缺乏持續(xù)學(xué)習(xí)能力,詞表示只能是在給定規(guī)模的語料上一次性學(xué)習(xí)完成。所以現(xiàn)有詞表示方法最大的問題就是缺乏持續(xù)學(xué)習(xí)能力,適應(yīng)性較差,制約了詞表示的進(jìn)一步應(yīng)用。本文借鑒人體適應(yīng)性免疫學(xué)原理,構(gòu)建多詞主體自治學(xué)習(xí)模型從語料中學(xué)習(xí)詞表示,試圖解決這一問題。首先,本文系統(tǒng)地分析了語言和免疫系統(tǒng)的一致性,奠定本文研究的理論基礎(chǔ);然后,基于一致性,把詞模擬成免疫細(xì)胞,引入克隆選擇原理和免疫網(wǎng)絡(luò)理論構(gòu)建多詞主體自治學(xué)習(xí)模型學(xué)習(xí)詞表示;其次,在詞相似度計算和關(guān)系相似度計算這兩個任務(wù)上對本文提出的詞表示方法進(jìn)行了評價,這兩個任務(wù)同時也是詞表示的直接應(yīng)用;最后把詞表示應(yīng)用到中文電子病歷命名實體識別這一代表性的信息抽取任務(wù)中。主要研究內(nèi)容包括以下五個方面:1.系統(tǒng)地比較了語言和免疫系統(tǒng)的一致性,深入分析了語言和免疫系統(tǒng)的一致性對詞表示研究的重要啟發(fā)。語言和免疫系統(tǒng)的一致性是本課題的理論基礎(chǔ),一致性對比分析從三個方面展開,首先是學(xué)習(xí)特點的一致性,都具有持續(xù)學(xué)習(xí)特性;其次是作為語言的最小單位詞和免疫系統(tǒng)的重要細(xì)胞B細(xì)胞存在深刻的一致性;最后是由詞組成的語言網(wǎng)絡(luò)和由B細(xì)胞組成的額免疫網(wǎng)絡(luò)都具有復(fù)雜網(wǎng)絡(luò)特性。這三方面的一致性對模型的設(shè)計提供了重要啟發(fā),指導(dǎo)詞表示學(xué)習(xí)模型的構(gòu)建。2.提出基于免疫學(xué)原理的詞表示方法和多詞主體自治學(xué)習(xí)模型學(xué)習(xí)詞的表示。在面向自治計算框架下采用主體建模方法,引入適應(yīng)性免疫學(xué)原理(克隆選擇原理和免疫網(wǎng)絡(luò)理論),構(gòu)建多詞主體自治學(xué)習(xí)模型,該模型是一種在線學(xué)習(xí)模型。模型將詞模擬成B細(xì)胞,將詞的屬性表示支配屬性向量和依賴屬性向量,并模擬成B細(xì)胞受體,詞之間的依存關(guān)系模擬成B細(xì)胞之間的識別關(guān)系,識別方式是一個詞的支配屬性向量和另一個詞的依賴屬性向量進(jìn)行匹配。在免疫學(xué)原理的作用下,模型調(diào)節(jié)詞之間的結(jié)合強度,進(jìn)而學(xué)習(xí)詞的表示。3.基于本文的詞表示方法提出一種詞相似度計算方法,并通過實驗驗證詞表示方法和詞相似度計算方法的有效性。本文的詞表示方法把詞表示成兩個向量,一個代表詞的支配屬性向量,另一個代表依賴屬性向量;本文擴展分布式語義假設(shè)為“具有相似的支配上下文和相似的依賴上下文的兩個詞是相似的”,因此詞相似度值需要考慮兩個詞在支配屬性向量上的相似度和依賴屬性上的相似度。該方法在評價數(shù)據(jù)上取得了有效的評價結(jié)果。4.基于本文的詞表示方法提出一種詞關(guān)系表示方法和詞關(guān)系相似度計算方法,并通過實驗驗證詞表示方法和詞關(guān)系相似度計算方法的有效性。本文把詞的結(jié)合關(guān)系泛化成語義關(guān)系,因而把一個詞的支配屬性向量和另一個詞的依賴屬性向量匹配后得到的向量作為關(guān)系的表示。詞之間的關(guān)系存在方向性,因此本研究把詞的關(guān)系表示成兩個向量,一個代表詞之間的正向關(guān)系,一個代表詞之間的反向關(guān)系,分別對應(yīng)于詞之間的兩種結(jié)合方式;基于這樣的關(guān)系表示,本文認(rèn)為只有在正向關(guān)系上和反向關(guān)系上同時相似的兩個關(guān)系對才相似,因此關(guān)系相似度值需要考慮兩個關(guān)系對在正向關(guān)系向量上的相似度和反向關(guān)系向量上的相似度。該方法在評價數(shù)據(jù)上取得了有效的評價結(jié)果。5.基于本文的詞表示方法,引入詞表示到命名實體識別模型中,提升中文電子病歷命名實體識別的性能。本文首先抽取電子病歷中的詞,然后從新聞?wù)Z料上學(xué)習(xí)到的詞表示集中取得詞的向量表示,對病歷中的詞進(jìn)行聚類,然后把詞的聚類作為命名實體識別模型的特征,實現(xiàn)了領(lǐng)域間知識的遷移。對比實驗表明本文的詞表示能有效提升中文電子病歷命名實體識別的性能。綜上所述,針對現(xiàn)有詞表示方法缺乏持續(xù)學(xué)習(xí)能力這一不足,本文受語言和免疫系統(tǒng)的一致性啟發(fā),把詞模擬成免疫細(xì)胞,基于適應(yīng)性免疫學(xué)原理構(gòu)建多詞主體自治學(xué)習(xí)模型學(xué)習(xí)詞的表示,并在詞相似度計算、詞關(guān)系相似度計算驗證有效,而且成功應(yīng)用于中文電子病歷命名實體識別,取得了一些初步的研究成果。我們期待這些研究成果能夠進(jìn)一步推動自然語言處理領(lǐng)域持續(xù)學(xué)習(xí)研究的發(fā)展。
【關(guān)鍵詞】：詞表示 詞主體 詞相似度 關(guān)系相似度 命名實體識別 適應(yīng)性免疫學(xué)原理 基于主體建模
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP391.1
【目錄】：

• 摘要4-6
• ABSTRACT6-15
• 第1章 緒論15-36
• 1.1 課題背景與意義15-17
• 1.1.1 課題的背景15-17
• 1.1.2 課題的意義17
• 1.2 研究現(xiàn)狀及分析17-33
• 1.2.1 詞表示與應(yīng)用研究18-27
• 1.2.2 人工免疫系統(tǒng)研究27-33
• 1.3 本文的研究內(nèi)容33-35
• 1.4 本文的章節(jié)安排35-36
• 第2章 語言和免疫系統(tǒng)的一致性研究36-48
• 2.1 引言36-37
• 2.2 語言和免疫系統(tǒng)的一致性對比37-42
• 2.2.1 學(xué)習(xí)特點的一致性37
• 2.2.2 詞和免疫細(xì)胞的一致性37-39
• 2.2.3 語言和免疫系統(tǒng)宏觀特性的一致性39-42
• 2.3 語言和免疫系統(tǒng)的一致性對本研究的啟發(fā)42-46
• 2.3.1 模型的在線學(xué)習(xí)框架42
• 2.3.2 詞模擬成B細(xì)胞42-43
• 2.3.3 詞之間的依存關(guān)系模擬成B細(xì)胞之間的識別關(guān)系43-44
• 2.3.4 語言網(wǎng)絡(luò)模擬成免疫網(wǎng)絡(luò)44-45
• 2.3.5 采用多主體建模方法45-46
• 2.4 本章小結(jié)46-48
• 第3章 基于免疫學(xué)原理的詞表示及其自治學(xué)習(xí)模型48-64
• 3.1 引言48-49
• 3.2 基于免疫學(xué)原理的詞表示方法49-50
• 3.3 多詞主體自治學(xué)習(xí)模型50-57
• 3.3.1 模型定義51
• 3.3.2 環(huán)境51-52
• 3.3.3 詞主體52-55
• 3.3.4 系統(tǒng)目標(biāo)函數(shù)55-56
• 3.3.5 模型概要與參數(shù)56-57
• 3.4 實驗結(jié)果與分析57-63
• 3.4.1 實驗數(shù)據(jù)和實驗設(shè)計57-58
• 3.4.2 實驗結(jié)果58-62
• 3.4.3 分析62-63
• 3.5 本章小結(jié)63-64
• 第4章 基于B細(xì)胞詞表示的詞相似度計算64-74
• 4.1 引言64
• 4.2 相關(guān)工作64-66
• 4.3 基于B細(xì)胞詞表示的詞相似度計算66-67
• 4.4 實驗結(jié)果與分析67-73
• 4.4.1 初步實驗結(jié)果67-69
• 4.4.2 在Sem Eval-2012 Task 4 數(shù)據(jù)上的實驗結(jié)果69-73
• 4.4.3 分析73
• 4.5 本章小結(jié)73-74
• 第5章 基于B細(xì)胞詞表示的關(guān)系相似度計算74-90
• 5.1 引言74-75
• 5.2 相關(guān)工作75-77
• 5.3 基于B細(xì)胞詞表示的關(guān)系相似度計算77-80
• 5.3.1 關(guān)系的表示78-79
• 5.3.2 關(guān)系相似度計算79-80
• 5.4 實驗結(jié)果與分析80-89
• 5.4.1 在Sem Eval-2012 Task 2 數(shù)據(jù)上的實驗結(jié)果80-88
• 5.4.2 分析88-89
• 5.5 本章小結(jié)89-90
• 第6章 引入B細(xì)胞詞表示的中文電子病歷命名實體識別90-102
• 6.1 引言90-92
• 6.2 相關(guān)工作92-94
• 6.3 中文電子病歷命名實體識別94-97
• 6.3.1 中文電子病歷命名實體分類體系94-95
• 6.3.2 中文電子病歷文本中詞的聚類方法95-97
• 6.3.3 基于詞聚類的中文電子病歷命名實體識別97
• 6.4 實驗結(jié)果與分析97-101
• 6.4.1 實驗數(shù)據(jù)和評價指標(biāo)97-98
• 6.4.2 實驗結(jié)果98-100
• 6.4.3 分析100-101
• 6.5 本章小結(jié)101-102
• 結(jié)論102-104
• 參考文獻(xiàn)104-121
• 攻讀博士學(xué)位期間發(fā)表的論文及其它成果121-124
• 致謝124-126
• 個人簡歷126

，

本文編號：776408