隨著知識圖譜技術(shù)的發(fā)展,領(lǐng)域知識圖譜的構(gòu)建逐漸成為研究熱點。然而,以往在構(gòu)建知識圖譜時,往往只注重文本中的知識,而忽視了圖像、視頻等多媒體數(shù)據(jù)中存在的視覺知識。因此,這些知識圖譜在一些可視化問答等方面發(fā)揮的作用是有限的。本文將從圖像描述文本和圖像視覺中獲得的實體及語義三元組視為圖像的相關(guān)語義信息,基于這些語義信息提出了一種多模態(tài)知識圖譜構(gòu)建方法,并以與人的行為相關(guān)的領(lǐng)域數(shù)據(jù)為例,獲取圖像的相關(guān)語義信息用于構(gòu)建多模態(tài)知識圖譜。本文做了以下研究工作。1)設計了多種信息融合策略,對利用不同信息抽取工具從圖像描述文本中抽取的文本語義和關(guān)系進行融合。圖像描述文本描述了圖像的視覺語義信息,利用OpenIE和Reverb兩種信息抽取工具分別抽取圖像描述文本中的文本實體、關(guān)系和文本語義三元組,設計多種策略分別對以上抽取的內(nèi)容進行融合以獲得最佳的融合結(jié)果。最后,利用圖像描述文本和融合后的文本語義三元組訓練詞向量模型。2)設計了一種基于三元組拼接和篩選策略生成圖像視覺語義三元組。利用已訓練的物體識別模型Inception-V4獲得圖像視覺實體標簽,利用已經(jīng)獲得的關(guān)系集合作為圖像視覺實體之間關(guān)系的取值來源,通...

【文章頁數(shù)】：75 頁

【學位級別】：碩士

【部分圖文】：

圖3-1開放信息抽取

11第3章基于OpenIE和Reverb的文本語義抽取3.1問題描述文本作為一種常用的表達信息的手段，在日常生活中扮演著重要的角色。文本中詞的集合、短語的集合、信息抽取的結(jié)果、文本的詞向量等均可用來表達一段文本的語義信息。然而，由于知識圖譜中的語義信息是以三元組<主語，謂語，賓語....

圖3-5信息抽取結(jié)果評測

g1和arg2構(gòu)成實體集合E，rel的所有值構(gòu)成關(guān)系集合R。對于任意圖像Gi的st（s,r,p）_Gi集合中的任意一條語義三元組t（s,r,p），若實體s和p包含于E，r包含于R，則將此條語義三元組歸并到當前圖像的reV（arg1,rel,arg2）<sub>....

圖3-7使用均值法處理前后語義三元組正確率的對比結(jié)果

173.3實驗分析及評價3.3.1評估均值法對解決工具差異性問題的有效性工具差異性問題是指由于抽取工具的評分機制不同，導致對同一條句子抽取的相同的語義三元組卻有著不同的置信度值。本文利用均值法均衡不同工具的特點，為相同的語義三元組重新賦予置信度值，以獲得更為準確的語義三元組置信度....

圖3-8不同條件下三元組置信度對比圖

18圖3-8不同條件下三元組置信度對比圖Average是指對數(shù)據(jù)集中不同的文本經(jīng)信息抽取后擁有不同置信度值的相同的語義三元組采用平均值法為語義三元組的置信度重新賦值，而Max則是指對以上三元組采用最大值法為語義三元組的置信度重新賦值�？傮w數(shù)據(jù)是指在整個數(shù)據(jù)集下，按照以上兩種方法為....

本文編號：4031764