發(fā)布時(shí)間：2025-02-08 18:07

　　隨著知識(shí)圖譜技術(shù)的發(fā)展,領(lǐng)域知識(shí)圖譜的構(gòu)建逐漸成為研究熱點(diǎn)。然而,以往在構(gòu)建知識(shí)圖譜時(shí),往往只注重文本中的知識(shí),而忽視了圖像、視頻等多媒體數(shù)據(jù)中存在的視覺(jué)知識(shí)。因此,這些知識(shí)圖譜在一些可視化問(wèn)答等方面發(fā)揮的作用是有限的。本文將從圖像描述文本和圖像視覺(jué)中獲得的實(shí)體及語(yǔ)義三元組視為圖像的相關(guān)語(yǔ)義信息,基于這些語(yǔ)義信息提出了一種多模態(tài)知識(shí)圖譜構(gòu)建方法,并以與人的行為相關(guān)的領(lǐng)域數(shù)據(jù)為例,獲取圖像的相關(guān)語(yǔ)義信息用于構(gòu)建多模態(tài)知識(shí)圖譜。本文做了以下研究工作。1)設(shè)計(jì)了多種信息融合策略,對(duì)利用不同信息抽取工具從圖像描述文本中抽取的文本語(yǔ)義和關(guān)系進(jìn)行融合。圖像描述文本描述了圖像的視覺(jué)語(yǔ)義信息,利用OpenIE和Reverb兩種信息抽取工具分別抽取圖像描述文本中的文本實(shí)體、關(guān)系和文本語(yǔ)義三元組,設(shè)計(jì)多種策略分別對(duì)以上抽取的內(nèi)容進(jìn)行融合以獲得最佳的融合結(jié)果。最后,利用圖像描述文本和融合后的文本語(yǔ)義三元組訓(xùn)練詞向量模型。2)設(shè)計(jì)了一種基于三元組拼接和篩選策略生成圖像視覺(jué)語(yǔ)義三元組。利用已訓(xùn)練的物體識(shí)別模型Inception-V4獲得圖像視覺(jué)實(shí)體標(biāo)簽,利用已經(jīng)獲得的關(guān)系集合作為圖像視覺(jué)實(shí)體之間關(guān)系的取值來(lái)源,通...

【文章頁(yè)數(shù)】：75 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3-1開(kāi)放信息抽取

11第3章基于OpenIE和Reverb的文本語(yǔ)義抽取3.1問(wèn)題描述文本作為一種常用的表達(dá)信息的手段，在日常生活中扮演著重要的角色。文本中詞的集合、短語(yǔ)的集合、信息抽取的結(jié)果、文本的詞向量等均可用來(lái)表達(dá)一段文本的語(yǔ)義信息。然而，由于知識(shí)圖譜中的語(yǔ)義信息是以三元組<主語(yǔ)，謂語(yǔ)，賓語(yǔ)....

圖3-5信息抽取結(jié)果評(píng)測(cè)

g1和arg2構(gòu)成實(shí)體集合E，rel的所有值構(gòu)成關(guān)系集合R。對(duì)于任意圖像Gi的st（s,r,p）_Gi集合中的任意一條語(yǔ)義三元組t（s,r,p），若實(shí)體s和p包含于E，r包含于R，則將此條語(yǔ)義三元組歸并到當(dāng)前圖像的reV（arg1,rel,arg2）<sub>....

圖3-7使用均值法處理前后語(yǔ)義三元組正確率的對(duì)比結(jié)果

173.3實(shí)驗(yàn)分析及評(píng)價(jià)3.3.1評(píng)估均值法對(duì)解決工具差異性問(wèn)題的有效性工具差異性問(wèn)題是指由于抽取工具的評(píng)分機(jī)制不同，導(dǎo)致對(duì)同一條句子抽取的相同的語(yǔ)義三元組卻有著不同的置信度值。本文利用均值法均衡不同工具的特點(diǎn)，為相同的語(yǔ)義三元組重新賦予置信度值，以獲得更為準(zhǔn)確的語(yǔ)義三元組置信度....

圖3-8不同條件下三元組置信度對(duì)比圖

18圖3-8不同條件下三元組置信度對(duì)比圖Average是指對(duì)數(shù)據(jù)集中不同的文本經(jīng)信息抽取后擁有不同置信度值的相同的語(yǔ)義三元組采用平均值法為語(yǔ)義三元組的置信度重新賦值，而Max則是指對(duì)以上三元組采用最大值法為語(yǔ)義三元組的置信度重新賦值。總體數(shù)據(jù)是指在整個(gè)數(shù)據(jù)集下，按照以上兩種方法為....

本文編號(hào)：4031764