常識性因果推理在人工智能領(lǐng)域是一個(gè)十分具有挑戰(zhàn)性的問題,它在人們?nèi)粘Ｐ袨榧皼Q策中扮演著重要角色。因果推理基于對現(xiàn)實(shí)生活中各種事件或行為及其之間的相關(guān)關(guān)系的深入理解。這些事件或行為在文本中通常表現(xiàn)為單詞、短語或句子。因果關(guān)系通常由原因和結(jié)果兩個(gè)部分組成,在文本數(shù)據(jù)中通常體現(xiàn)為文本片段。然而事件及因果關(guān)系都蘊(yùn)含在自然語言語料中,必須經(jīng)過處理和分析才能得到其中有價(jià)值的知識。常識性因果知識,一方面因?yàn)楸蝗耸熘哂袕?qiáng)大的潛在推理能力,另一方面因?yàn)槠湓谡Z料中的稀疏性、歧義性和隱晦性很難被直接獲取。本論文研究的常識性因果推理主要是對普通知識（常識）所蘊(yùn)含的因果關(guān)系及因果語義進(jìn)行的深入解析。這種解析包括常識性因果關(guān)系的檢測、識別與提取,并能夠在此基礎(chǔ)上判斷事件之間是否有潛在的因果關(guān)系。我們將建立兩種不同的因果知識庫來幫助解決因果推理任務(wù)。第一是直接建立具有因果關(guān)系強(qiáng)度的大規(guī)模因果網(wǎng)絡(luò)作為常識性因果關(guān)系知識庫（CausalNet）。這個(gè)知識庫主要基于傳統(tǒng)的頻率統(tǒng)計(jì)、條件概率方法。在知識庫中,單詞作為節(jié)點(diǎn),節(jié)點(diǎn)之間由具有方向性的邊相連,邊上的權(quán)重即為起點(diǎn)原因到終點(diǎn)結(jié)果之間的因果強(qiáng)度。第二是學(xué)習(xí)因果詞向量... 

【文章來源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：65 頁

【學(xué)位級別】：碩士

【部分圖文】：

–1句法分析示例

圖 3–1 因果詞對在因果提示詞上的分布為了驗(yàn)證因果提示詞的質(zhì)量，我們標(biāo)注了 ConceptNet 中的因果事件作為正確的標(biāo)準(zhǔn)（groundtruth）。ConceptNet 4 中含有 74336 個(gè)沒有還原成原始形態(tài)的英文單詞，一共有 375135 個(gè)獨(dú)立的概念，概念之間共有 610397 個(gè)表示不同關(guān)系的邊。我們僅提取了其中由 “Causes”，“CausesDesire” 和“HasPrerequisite” 等關(guān)連接的 52778 個(gè)因果關(guān)系詞對。在 ConceptNet 中，每一個(gè)因果詞對還對應(yīng)著志愿者們的投票，其中正向投票被標(biāo)注為正樣本（例如因果對（listen to musicc , relaxe ）），負(fù)向投票的被標(biāo)注為負(fù)樣本（例如因果對 (listen to musicc, soda cane)）因?yàn)樵?ConceptNet 中的因果事件不都是用單詞表示，有時(shí)以詞組的形式出現(xiàn)。我們考慮因果對(x, y)（其中 x，y 均為文本片段）被一個(gè)因果提示詞抽取到的前提是，至少 x 中有一個(gè)單詞 u、y 中有一個(gè)單詞 v 被作為原因和結(jié)果被該提示詞抽取出來。我們繪制了不同的因果提示詞對于 ConceptNet中的正負(fù)樣本的抽取情況，如圖 3–2。圖中，左邊藍(lán)色的條狀表示該因果提示詞抽取了占比多少的正樣本；右邊的橘色條狀表示該因果提示詞抽取了占比多少的負(fù)樣本。顯然，我們希望能夠抽取的正樣本越多越好，負(fù)樣本越少越好。圖 3–2 表明，我們的因果提示詞可以有效的把 ConceptNet 中的正負(fù)樣本區(qū)分開來。對于因果提示詞 “hence” 和 “consequence” 表現(xiàn)一般是由于它們抽取的主要為粗粒

圖 3–2 因果提示詞針對 ConceptNet 中正負(fù)因果樣本的抽取情況set）各 500 個(gè)。COPA 數(shù)據(jù)集的例子可見例 4和例 2。這個(gè)數(shù)據(jù)集的兩個(gè)選項(xiàng)被人為設(shè)置得十分接近，使這項(xiàng)任務(wù)很難用傳統(tǒng)的相關(guān)性方法來解決。我們首先用 500 個(gè)校正集的句子來訓(xùn)練公式 2–13中的λ，再在測試集上進(jìn)行測試。為了顯示因果關(guān)系網(wǎng)絡(luò)的優(yōu)越性，我們將我們的方法與之間最優(yōu)秀的 PMI 的方法進(jìn)行比較。傳統(tǒng) PMI 方法并不考慮因果知識的存在，而簡單的采用相關(guān)關(guān)系來代替因果關(guān)系。他們僅考慮在一定的滑窗內(nèi)，兩個(gè)單詞同時(shí)出現(xiàn)的頻率。為了保持比較的一致性，對于 PMI 的方法，我們考慮采用共生詞對，對于 CausalNet 的方法，我們考慮采用因果共生詞對。在計(jì)算句間因果強(qiáng)度的時(shí)候，我們采用章節(jié) 2.5.1中提到的全匹配算法，即：CSallp(A, B) =1A + B∑c A∑e BCS(c, e)在訓(xùn)練的過程中，對于采用因果共生詞對計(jì)算因果強(qiáng)度時(shí)，λ取 0.9 和 1.0 獲得了同樣好的結(jié)果；而采用 PMI 工程詞對計(jì)算因果強(qiáng)度時(shí)，λ 取 0.5 效果更好。表格 3–3顯示在 CausalNet 和其他方法在


本文編號：2965503