基于詞序列拼積木模型的圖像句子標注研究
本文選題:自然語言生成 + 詞序列拼積木W(wǎng)SBB; 參考:《北京理工大學學報》2017年11期
【摘要】:用句子標注圖像,建立圖像與文本間的跨媒體關(guān)聯(lián),以提升信息檢索準確率,改善用戶檢索交互體驗.利用KDES模型抽取圖像特征,在多核學習模型中融合出MK-KDES特征,準確刻畫圖像視覺特性;設(shè)計自然語言生成模型:詞序列拼積木,評估單詞與圖像內(nèi)容的相關(guān)性,優(yōu)選單詞,并根據(jù)單詞間的語義相關(guān)性與句法模式約束,將單詞組合成N元詞序列;把N元詞序列輸入模板生成句子.結(jié)果表明:MK-KDES-1特征聚焦于圖像的紋理及形狀視覺特性,它是改善句子BLEU-1評分的關(guān)鍵;而單詞間的語義相關(guān)性與句法模式約束是提升句子BLEU-2評分的重要前提.
[Abstract]:In order to improve the accuracy of information retrieval and improve the interactive experience of user retrieval, a cross-media association between image and text is established by tagging images with sentences. KDES model is used to extract image features, MK-KDES features are fused in the multi-core learning model to accurately depict the visual characteristics of images, and a natural language generation model is designed: word sequence building blocks, evaluating the correlation between words and image content, and selecting words. According to the semantic correlation between words and the constraints of syntactic patterns, the words are combined into N-meta word sequences, and the N meta-word sequences are input into templates to generate sentences. The results show that: MK-KDES-1 features focus on the texture and shape visual characteristics of the image, which is the key to improve the sentence BLEU-1 score, and the semantic correlation between words and syntactic pattern constraints are the important prerequisites to improve the sentence BLEU-2 score.
【作者單位】: 華東交通大學軟件學院;武漢大學計算機學院;
【基金】:國家自然科學基金資助項目(61373108,61173062) 教育部人文社科基金資助項目(16YJAZH029,17YJAZH117) 江西省科技廳科技攻關(guān)項目(20142BBG70011) 江西省社科規(guī)劃基金資助項目(16TQ02) 江西省高校人文社科基金資助項目(XW1502、TQ1503) 江西省教育廳科技項目(GJJ160497,GJJ160509,GJJ160531) 江西省研究生創(chuàng)新基金(YC2016-S262)
【分類號】:TP391.41
【相似文獻】
相關(guān)期刊論文 前5條
1 張磊;夏士雄;周勇;夏戰(zhàn)國;;基于語義相關(guān)性的關(guān)聯(lián)規(guī)則挖掘研究(英文)[J];Journal of Southeast University(English Edition);2008年03期
2 曾曉寧;藺旭東;李密生;裴彩燕;薄靜儀;;一種基于節(jié)點語義相關(guān)性的XML關(guān)鍵字查詢算法[J];電腦知識與技術(shù);2009年11期
3 田楓;沈旭昆;劉賢梅;;大規(guī)模圖像語義相關(guān)性自動標注[J];計算機輔助設(shè)計與圖形學學報;2013年02期
4 周繼鵬;自然語言生成中的知識表示[J];微電子學與計算機;1993年11期
5 許華東,劉貴全,陳小平,湯小文;動態(tài)實時環(huán)境下的自然語言生成[J];計算機工程;2002年10期
相關(guān)碩士學位論文 前4條
1 朱運運;基于維基百科的語義相關(guān)性度量算法研究[D];江西財經(jīng)大學;2015年
2 胡雷;基于語義相關(guān)性的變異體約簡理論及其應(yīng)用[D];中國礦業(yè)大學;2016年
3 李辛;基于語義相關(guān)性的XML關(guān)鍵字查詢的研究與實現(xiàn)[D];北京交通大學;2009年
4 章建;基于上下文的話題和話題關(guān)系的演化研究[D];上海交通大學;2013年
,本文編號:1785360
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/1785360.html