引入視覺(jué)顯著機(jī)制的圖像檢索架構(gòu)研究
發(fā)布時(shí)間:2022-01-13 19:52
隨著互聯(lián)網(wǎng)的不斷發(fā)展,多媒體信息在網(wǎng)絡(luò)上日益增多。圖像作為一個(gè)重要的多媒體信息元素,更是與人們的生活密切相關(guān)。網(wǎng)絡(luò)上每時(shí)每刻都有著成千上萬(wàn)的數(shù)據(jù)量上傳與下載,那么,如何在一個(gè)巨大的數(shù)據(jù)庫(kù)中進(jìn)行媒體數(shù)據(jù)的搜索一直是一個(gè)重要的課題。基于內(nèi)容的圖像搜索技術(shù)從圖像內(nèi)容出發(fā),提取圖像的關(guān)鍵信息再進(jìn)行相似性度量以此來(lái)搜索到用戶想要查詢的相似圖像。這種圖像搜索方法比基于文本的圖像檢索方法更加的簡(jiǎn)單快捷,準(zhǔn)確率高。但是,這種基于內(nèi)容的圖像檢索方法需要充分地挖掘圖像的內(nèi)容信息,從而找到真正相似的圖像,這就對(duì)圖像內(nèi)容理解有著很高的要求。視覺(jué)顯著性作為一種人所關(guān)注的信息,能夠挖掘圖像的重要信息。本文主要將視覺(jué)顯著性信息引入到圖像檢索架構(gòu)中,主要研究工作包括:(1)嵌入訓(xùn)練視覺(jué)顯著性的CNN架構(gòu)研究。本文提出了一種嵌入訓(xùn)練視覺(jué)顯著性的CNN架構(gòu),將DeepFixNet模型與VGG模型相結(jié)合,在DeepFixNet模型的第八層之后添加新的卷積層以此來(lái)訓(xùn)練出適用于圖像搜索任務(wù)的顯著圖信息,與VGG模型相結(jié)合嵌入訓(xùn)練的顯著性信息。在六種經(jīng)典的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證,得到了嵌入的顯著性信息的有效性。在泛化實(shí)驗(yàn)中,利用模...
【文章來(lái)源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:61 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2-1詞包模型架構(gòu)??Figure?2-1?Bag?of?word?framework??
'64??圖2-2VGG-16網(wǎng)絡(luò)模型??Figure?2-2?VGG-16?framework??2.3.1卷積層??卷積層是CNN中一個(gè)重要的層,就是利用卷積核來(lái)對(duì)圖像進(jìn)行卷積求和的過(guò)??程,以此來(lái)得到圖像的全局特征等信息,這也是在模擬人腦思考感知機(jī)制的一個(gè)仿??真過(guò)程。整個(gè)卷積層的計(jì)算過(guò)程如圖2-3所示。??假設(shè)圖2-3最左邊的4X4矩陣是一幅特征圖,卷積的過(guò)程中,首先進(jìn)行補(bǔ)零??操作,對(duì)4X4的矩陣四周進(jìn)行補(bǔ)零,形成6X6的矩陣,再利用圖2-3中3X3的??卷積核(里面的數(shù)值就是CNN中常說(shuō)的權(quán)重參數(shù))來(lái)進(jìn)行卷積操作,將3X3的模板??與特征圖中3X3的子塊進(jìn)行匹配,相應(yīng)進(jìn)行相乘相加的操作,得到一個(gè)數(shù)字作為??新的特征圖左上角的第一個(gè)數(shù)字,然后模板進(jìn)行滑動(dòng),按照上述過(guò)程進(jìn)行卷積,最??終得到新的特征圖。??0?I?0?1?0?1?0?I?0?1?0??1?h?[2?IT]?Z工工I工A?mi丨1丨1丨2丨4??AA?AA?上土丄土I]區(qū)替?。?_?I了了I??丄丄丄_1丄丁反土_1?___?—i?YTTT??4?I?3?[?I?5?I?"〇 ̄?4?3?[?1?5?0???^??0?I?0?I?0?I?0?I?0?[?0?I??圖2-3卷積層過(guò)程??Figure?2-3?Convolutional?layer??卷積層操作能夠得到圖像中的一些特定信息
卷積層是CNN中一個(gè)重要的層,就是利用卷積核來(lái)對(duì)圖像進(jìn)行卷積求和的過(guò)??程,以此來(lái)得到圖像的全局特征等信息,這也是在模擬人腦思考感知機(jī)制的一個(gè)仿??真過(guò)程。整個(gè)卷積層的計(jì)算過(guò)程如圖2-3所示。??假設(shè)圖2-3最左邊的4X4矩陣是一幅特征圖,卷積的過(guò)程中,首先進(jìn)行補(bǔ)零??操作,對(duì)4X4的矩陣四周進(jìn)行補(bǔ)零,形成6X6的矩陣,再利用圖2-3中3X3的??卷積核(里面的數(shù)值就是CNN中常說(shuō)的權(quán)重參數(shù))來(lái)進(jìn)行卷積操作,將3X3的模板??與特征圖中3X3的子塊進(jìn)行匹配,相應(yīng)進(jìn)行相乘相加的操作,得到一個(gè)數(shù)字作為??新的特征圖左上角的第一個(gè)數(shù)字,然后模板進(jìn)行滑動(dòng),按照上述過(guò)程進(jìn)行卷積,最??終得到新的特征圖。??0?I?0?1?0?1?0?I?0?1?0??1?h?[2?IT]?Z工工I工A?mi丨1丨1丨2丨4??AA?AA?上土丄土I]區(qū)替?丁T?_?I了了I??丄丄丄_1丄丁反土_1?___?—i?YTTT??4?I?3?[?I?5?I?"〇 ̄?4?3?[?1?5?0???^??0?I?0?I?0?I?0?I?0?[?0?I??圖2-3卷積層過(guò)程??Figure?2-3?Convolutional?layer??卷積層操作能夠得到圖像中的一些特定信息,比如:顏色、紋理、輪廓等。CNN??中含有多種卷積層,不同卷積層含有不同的卷積核參數(shù),包括卷積核的大小、不同??特征值等等信息。不同的卷積核能夠得到不同的圖像信息
【參考文獻(xiàn)】:
期刊論文
[1]量化SIFT和同態(tài)加密的隱私保護(hù)圖像檢索方法[J]. 陳帆. 傳感器與微系統(tǒng). 2017(05)
[2]基于相似圖片聚類的Web文本特征算法[J]. 方爽,殷俊杰,徐武平. 計(jì)算機(jī)工程. 2014(12)
[3]基于主色提取和主色集擴(kuò)充的圖像檢索算法[J]. 李麗麗,孫勁光. 計(jì)算機(jī)應(yīng)用與軟件. 2012(01)
[4]基于XML文本片段的圖像檢索實(shí)現(xiàn)與評(píng)價(jià)[J]. 陸偉,張宓,劉丹. 中國(guó)圖書(shū)館學(xué)報(bào). 2009(02)
[5]一種基于主顏色表的圖像檢索算法[J]. 劉相濱,鄒北驥. 湖南大學(xué)學(xué)報(bào)(自然科學(xué)版). 2001(01)
本文編號(hào):3587047
【文章來(lái)源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:61 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2-1詞包模型架構(gòu)??Figure?2-1?Bag?of?word?framework??
'64??圖2-2VGG-16網(wǎng)絡(luò)模型??Figure?2-2?VGG-16?framework??2.3.1卷積層??卷積層是CNN中一個(gè)重要的層,就是利用卷積核來(lái)對(duì)圖像進(jìn)行卷積求和的過(guò)??程,以此來(lái)得到圖像的全局特征等信息,這也是在模擬人腦思考感知機(jī)制的一個(gè)仿??真過(guò)程。整個(gè)卷積層的計(jì)算過(guò)程如圖2-3所示。??假設(shè)圖2-3最左邊的4X4矩陣是一幅特征圖,卷積的過(guò)程中,首先進(jìn)行補(bǔ)零??操作,對(duì)4X4的矩陣四周進(jìn)行補(bǔ)零,形成6X6的矩陣,再利用圖2-3中3X3的??卷積核(里面的數(shù)值就是CNN中常說(shuō)的權(quán)重參數(shù))來(lái)進(jìn)行卷積操作,將3X3的模板??與特征圖中3X3的子塊進(jìn)行匹配,相應(yīng)進(jìn)行相乘相加的操作,得到一個(gè)數(shù)字作為??新的特征圖左上角的第一個(gè)數(shù)字,然后模板進(jìn)行滑動(dòng),按照上述過(guò)程進(jìn)行卷積,最??終得到新的特征圖。??0?I?0?1?0?1?0?I?0?1?0??1?h?[2?IT]?Z工工I工A?mi丨1丨1丨2丨4??AA?AA?上土丄土I]區(qū)替?。?_?I了了I??丄丄丄_1丄丁反土_1?___?—i?YTTT??4?I?3?[?I?5?I?"〇 ̄?4?3?[?1?5?0???^??0?I?0?I?0?I?0?I?0?[?0?I??圖2-3卷積層過(guò)程??Figure?2-3?Convolutional?layer??卷積層操作能夠得到圖像中的一些特定信息
卷積層是CNN中一個(gè)重要的層,就是利用卷積核來(lái)對(duì)圖像進(jìn)行卷積求和的過(guò)??程,以此來(lái)得到圖像的全局特征等信息,這也是在模擬人腦思考感知機(jī)制的一個(gè)仿??真過(guò)程。整個(gè)卷積層的計(jì)算過(guò)程如圖2-3所示。??假設(shè)圖2-3最左邊的4X4矩陣是一幅特征圖,卷積的過(guò)程中,首先進(jìn)行補(bǔ)零??操作,對(duì)4X4的矩陣四周進(jìn)行補(bǔ)零,形成6X6的矩陣,再利用圖2-3中3X3的??卷積核(里面的數(shù)值就是CNN中常說(shuō)的權(quán)重參數(shù))來(lái)進(jìn)行卷積操作,將3X3的模板??與特征圖中3X3的子塊進(jìn)行匹配,相應(yīng)進(jìn)行相乘相加的操作,得到一個(gè)數(shù)字作為??新的特征圖左上角的第一個(gè)數(shù)字,然后模板進(jìn)行滑動(dòng),按照上述過(guò)程進(jìn)行卷積,最??終得到新的特征圖。??0?I?0?1?0?1?0?I?0?1?0??1?h?[2?IT]?Z工工I工A?mi丨1丨1丨2丨4??AA?AA?上土丄土I]區(qū)替?丁T?_?I了了I??丄丄丄_1丄丁反土_1?___?—i?YTTT??4?I?3?[?I?5?I?"〇 ̄?4?3?[?1?5?0???^??0?I?0?I?0?I?0?I?0?[?0?I??圖2-3卷積層過(guò)程??Figure?2-3?Convolutional?layer??卷積層操作能夠得到圖像中的一些特定信息,比如:顏色、紋理、輪廓等。CNN??中含有多種卷積層,不同卷積層含有不同的卷積核參數(shù),包括卷積核的大小、不同??特征值等等信息。不同的卷積核能夠得到不同的圖像信息
【參考文獻(xiàn)】:
期刊論文
[1]量化SIFT和同態(tài)加密的隱私保護(hù)圖像檢索方法[J]. 陳帆. 傳感器與微系統(tǒng). 2017(05)
[2]基于相似圖片聚類的Web文本特征算法[J]. 方爽,殷俊杰,徐武平. 計(jì)算機(jī)工程. 2014(12)
[3]基于主色提取和主色集擴(kuò)充的圖像檢索算法[J]. 李麗麗,孫勁光. 計(jì)算機(jī)應(yīng)用與軟件. 2012(01)
[4]基于XML文本片段的圖像檢索實(shí)現(xiàn)與評(píng)價(jià)[J]. 陸偉,張宓,劉丹. 中國(guó)圖書(shū)館學(xué)報(bào). 2009(02)
[5]一種基于主顏色表的圖像檢索算法[J]. 劉相濱,鄒北驥. 湖南大學(xué)學(xué)報(bào)(自然科學(xué)版). 2001(01)
本文編號(hào):3587047
本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/3587047.html
最近更新
教材專著