天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

當(dāng)前位置:主頁 > 科技論文 > 搜索引擎論文 >

基于深度學(xué)習(xí)的圖文匹配方法研究

發(fā)布時(shí)間:2020-05-24 18:36
【摘要】:隨著信息技術(shù)的快速發(fā)展,圖像和文本數(shù)據(jù)大幅度增長,但是這些數(shù)據(jù)對于計(jì)算機(jī)而言是難以理解和使用。為了能更好的對這些數(shù)據(jù)進(jìn)行理解、查找和管理,本文利用深度學(xué)習(xí)的相關(guān)方法判斷圖像和文本在語義上是否具有相似性,本文的主要研究工作及成果如下:1.設(shè)計(jì)了一種可以識別圖像中主體目標(biāo)的評價(jià)模型。通過分析圖像的目標(biāo)檢測和識別方法,發(fā)現(xiàn)這些方法無法準(zhǔn)確識別圖像中的主體目標(biāo)。針對這一問題,本文設(shè)計(jì)了一套可以識別復(fù)雜背景圖像中主體目標(biāo)的評價(jià)模型CNN-Main。利用選擇性搜索算法分割圖像,提取圖像中不同目標(biāo)的候選區(qū)域并利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)識別圖像的多目標(biāo)類別。提取圖像目標(biāo)后,利用顯著性區(qū)域視覺模型建立主體目標(biāo)評價(jià)體系計(jì)算每個(gè)目標(biāo)的主體評分,取最高評分的目標(biāo)作為主體目標(biāo)。并通過實(shí)驗(yàn),發(fā)現(xiàn)CNN-Main相比其他方法具有更優(yōu)秀的表達(dá)效果。2.提出了一種融合圖像主體目標(biāo)和場景知識的圖像語義提取模型。通過研究目前圖像語義提取的方法,發(fā)現(xiàn)提取的圖像語義質(zhì)量普遍不高,且規(guī)避了主體目標(biāo)。為了能產(chǎn)生高質(zhì)量的圖像語義,本文融合圖像主體目標(biāo)和場景的先驗(yàn)信息生成圖像的語義,提出了一種MS-Net模型。讓雙向循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型在產(chǎn)生圖像的語義序列時(shí),先驗(yàn)信息更加豐富。并通過實(shí)驗(yàn),發(fā)現(xiàn)MS-Net提取的圖像語義,相比其他方法在BLUE、METEOR和CIDEr評價(jià)指標(biāo)上更具優(yōu)勢。3.設(shè)計(jì)了一種圖像和文本相似度的計(jì)算方法。目前,圖像和文本相似度計(jì)算的方法是先提取圖像和文本的主要語義,然后計(jì)算它們之間的語義相似度,但是由于不同的限制條件使相似度計(jì)算方法存在很大誤差。針對這一問題,本文設(shè)計(jì)了一種方法分別從兩個(gè)不同的角度計(jì)算圖像和文本相似度。首先使用WordNet本體分類樹,對圖像和文本的主要語義進(jìn)行擴(kuò)展,通過放大語義信息提高圖文相似度的準(zhǔn)確率。然后分析循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型,結(jié)合長短時(shí)記憶網(wǎng)絡(luò)依據(jù)上下文信息推測句子語義,從而達(dá)到提高準(zhǔn)確率的目的。為驗(yàn)證本文提出的方法,構(gòu)建了相應(yīng)的數(shù)據(jù)集,實(shí)驗(yàn)結(jié)果表明,該方法在準(zhǔn)確率,召回率和F值上的表現(xiàn)優(yōu)于其他方法。綜上,本文主要以深度學(xué)習(xí)為技術(shù)手段,以圖像和文本為研究對象,分析圖文匹配的關(guān)鍵問題,并給出相應(yīng)的解決方案,通過實(shí)驗(yàn)驗(yàn)證其具有良好的效果。
【圖文】:

系統(tǒng)搜索,百度,圖像


前對于圖文匹配的問題,國內(nèi)外分別對圖像搜索和圖像語義提取究。對于圖像搜索的研究目前已經(jīng)應(yīng)用于商業(yè)化模式,格局較為語義提取的研究還處于理論階段,目前市場上還無法大量的應(yīng)用圖像搜索研究究人員一直在致力于尋找一種能夠從海量數(shù)據(jù)中迅速定位到用戶索技術(shù)。早期搜索圖像主要依靠圖像的標(biāo)注信息,將文本和圖像的匹配,這種技術(shù)稱為文本的圖像搜索技術(shù)(TBIR)。TBIR 主要利用行標(biāo)注,當(dāng)用戶查詢的時(shí)候輸入相應(yīng)的描述關(guān)鍵字,然后系統(tǒng)對輸圖像的標(biāo)注進(jìn)行精確或模糊匹配。如果對這種大規(guī)模的圖像信息,將會產(chǎn)生巨大的人力物力消耗,而且人工標(biāo)注存在很大的缺陷像的理解存在較大的不同,并沒有統(tǒng)一的標(biāo)準(zhǔn)。面對這樣的問題學(xué)習(xí)方法應(yīng)時(shí)而生,已經(jīng)實(shí)現(xiàn)圖像的自動化標(biāo)注,并且取得較好的在的百度、谷歌等公司的圖像搜索系統(tǒng)都利用 TBIR 實(shí)現(xiàn)的。如百度通過 TBIR 進(jìn)行圖像搜索的結(jié)果。

圖像主體,目標(biāo)檢測,主體目標(biāo)


第 2 章 基于深度學(xué)習(xí)的圖像主體目標(biāo)識別模型研究人類可以很容易的了解圖像里面的主要目標(biāo)和圖像所表達(dá)的含義。但是對于機(jī)器而言這是一項(xiàng)十分困難的任務(wù)。圖文匹配需要機(jī)器理解圖像中的主體目標(biāo)及其所表達(dá)的含義,這樣便于將圖像和類似文本信息進(jìn)行匹配。一般情況下,在復(fù)雜環(huán)境中,圖像存在較多的目標(biāo),如何將這些目標(biāo)中的主體目標(biāo)識別出來并理解主體目標(biāo)和輔目標(biāo)之間的關(guān)系是本章研究的重點(diǎn)。如圖 2-1 是從數(shù)據(jù)集flickr30k 中隨機(jī)選取的 3 張圖像。左圖中主體目標(biāo)是一只狗,輔目標(biāo)是雪地,圖像表達(dá)含義是一只狗在雪地上玩耍。另外兩張圖像中標(biāo)記的目標(biāo)為主體目標(biāo),其他為輔助目標(biāo)。本章主要對基于改進(jìn)的 Fast R-CNN[14]的圖像目標(biāo)檢測模型建立主體目標(biāo)評價(jià)體系進(jìn)行介紹,我們將此模型定義為 CNN-Main。
【學(xué)位授予單位】:武漢理工大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2018
【分類號】:TP391.41;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王宇;張煥君;黃海新;;基于深度學(xué)習(xí)的圖像語義分割算法綜述[J];電子技術(shù)應(yīng)用;2019年06期

2 田萱;王亮;丁琪;;基于深度學(xué)習(xí)的圖像語義分割方法綜述[J];軟件學(xué)報(bào);2019年02期

3 熊志勇;張國豐;王江晴;;基于多尺度特征提取的圖像語義分割[J];中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2017年03期

4 郭克華;段桂華;;圖像語義提取與描述的研究現(xiàn)狀及趨勢[J];新型工業(yè)化;2012年09期

5 趙生輝;侯希文;;唐卡圖像語義信息的描述框架研究[J];知識管理論壇;2015年01期

6 鄧s,

本文編號:2678814


資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/2678814.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶afd13***提供,本站僅收錄摘要或目錄,作者需要?jiǎng)h除請E-mail郵箱bigeng88@qq.com
亚洲熟女诱惑一区二区| 欧美精品二区中文乱码字幕高清| 国产不卡的视频在线观看| 欧美综合色婷婷欧美激情| 中文字幕欧美精品人妻一区| 欧美一级特黄特色大色大片| 日韩欧美综合中文字幕| 免费高清欧美一区二区视频| 欧美日韩国产黑人一区| 亚洲国产丝袜一区二区三区四| 亚洲视频一级二级三级| 开心五月激情综合婷婷色| 亚洲最新中文字幕在线视频 | 欧美成人免费夜夜黄啪啪| 欧美午夜一级特黄大片| 免费特黄一级一区二区三区| 人人爽夜夜爽夜夜爽精品视频| 午夜日韩在线观看视频| 91后入中出内射在线| 亚洲黄片在线免费小视频| 日本人妻精品有码字幕| 亚洲天堂精品在线视频| 色婷婷丁香激情五月天| 国产成人免费高潮激情电| 亚洲色图欧美另类人妻| 亚洲欧洲日韩综合二区| 好吊日在线观看免费视频| 欧美日韩有码一二三区| 91欧美日韩中在线视频| 亚洲欧美日韩熟女第一页| 国产综合香蕉五月婷在线| 国产免费一区二区三区av大片 | 暴力三级a特黄在线观看| 最近的中文字幕一区二区| 一本色道久久综合狠狠躁| 亚洲国产精品av在线观看| 亚洲第一区二区三区女厕偷拍| 亚洲品质一区二区三区| 欧美日韩国产二三四区| 狠狠做五月深爱婷婷综合| 国产精品一区二区三区激情|