為解決假負(fù)例和零損失問題,將Transformer網(wǎng)絡(luò)結(jié)構(gòu)用于提取知識庫中的實體描述信息,用帶有約束性的自注意力機制尋找最能表達(dá)實體意義的表示子空間以增強實體的表示能力,引入對抗生成網(wǎng)絡(luò)思想生成負(fù)樣本,提升了知識表示能力。該方法在公共計算機課程知識圖譜的構(gòu)建中,清楚描繪了課程知識點間的內(nèi)在關(guān)系,對于指導(dǎo)課程設(shè)置與進(jìn)度安排,引導(dǎo)學(xué)生學(xué)習(xí)具有十分重要的意義。

【文章頁數(shù)】：6 頁

【部分圖文】：

圖1 Encoder組件

Transformer是一種encoder-decoder結(jié)構(gòu)，encoder結(jié)構(gòu)負(fù)責(zé)抽取帶有描述信息的實體表示。一個transformer的encoder部分包含6個encoder組件，每個encoder組件由輸入層、multi-headattention層、全連接層構(gòu)成，結(jié)....

圖2 TBTS模型架構(gòu)圖

筆者設(shè)計了一種基于Transformer的文本監(jiān)督表示學(xué)習(xí)模型，將帶有實體描述和三元組結(jié)構(gòu)的兩種實體表示相結(jié)合，形成實體的最終表示，而關(guān)系表示在這兩種情況下是共享的。TBTS模型結(jié)構(gòu)如圖2所示。分別定義三元組結(jié)構(gòu)信息的打分函數(shù)(采用TransE)和實體描述信息的打分函數(shù)。最終得....

圖3 對抗生成負(fù)樣本模型架構(gòu)

在訓(xùn)練過程中，傳統(tǒng)的負(fù)樣本生成策略采用伯努利采樣[6]，這種方法容易出現(xiàn)如下問題:1)負(fù)樣本實際上是一個真實存在于知識庫中的真樣本，這樣的負(fù)樣本會導(dǎo)致模型的訓(xùn)練出現(xiàn)偏差，即假負(fù)例;2)負(fù)樣本與實際相差過大，模型可輕易分辨出該負(fù)樣本，導(dǎo)致模型訓(xùn)練效率不佳，即零損失。因此筆者采用了對....

本文編號：4044376