在后互聯(lián)網(wǎng)時(shí)代,數(shù)據(jù)變得復(fù)雜和繁多,為了滿足人們對(duì)信息多樣化的需求,多媒體技術(shù)成為許多學(xué)者研究的重點(diǎn)。在面對(duì)這些不同模態(tài)的海量數(shù)據(jù)時(shí),實(shí)現(xiàn)跨媒體檢索技術(shù)準(zhǔn)確率的提高,能夠使人們對(duì)事物的認(rèn)識(shí)更加全面而深刻。在跨媒體檢索技術(shù)中,本文重點(diǎn)對(duì)圖像和文本間的相互檢索進(jìn)行研究。針對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型的不足,耗費(fèi)很多的時(shí)間和計(jì)算量,且在數(shù)據(jù)集較小的情況下不能很好地提取圖像特征問題,對(duì)Inception V3模型進(jìn)行改進(jìn)。利用Incpetion V3在ImageNet上預(yù)訓(xùn)練的模型,初始化所有的權(quán)值,移除該模型的最頂部的全連接層,然后將模型剩余的層次結(jié)構(gòu)看成是一個(gè)固定特征提取器,提取本文所用圖像數(shù)據(jù)集的特征,把提取的特征通過softmax函數(shù)再訓(xùn)練一個(gè)本文的10類分類器。直接把分類器當(dāng)成圖像的特征提取器來進(jìn)行跨媒體檢索。通過遷移學(xué)習(xí)訓(xùn)練的Inception V3卷積神經(jīng)網(wǎng)絡(luò)模型提取圖像特征命名為Inception V3_TL。針對(duì)圖像文本兩種模態(tài)在底層空間異構(gòu)的問題,典型相關(guān)性分析與多類邏輯回歸相結(jié)合方法不能很好地挖掘跨媒體數(shù)據(jù)中的復(fù)雜相關(guān)關(guān)系問題。在Inception V3

【文章頁數(shù)】：60 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.1跨媒

6第2章跨媒體檢索的相關(guān)方法隨著網(wǎng)絡(luò)的發(fā)展，人們?cè)谏詈凸ぷ髦薪佑|到各種各樣的數(shù)據(jù)。這些數(shù)據(jù)以多種媒體形式共存。人們使用互聯(lián)網(wǎng)時(shí)，這些不同模態(tài)的數(shù)據(jù)充斥著人們的視覺與感官，使人們獲得的信息更加豐富而全面。人類大腦在獲取外界信息的過程中，必須要結(jié)合于多個(gè)感官的合作，每個(gè)感官獲取的信....

圖2.2gamma校正圖像亮度Fig.2.2GammacorrectionimagebrightnessT

第2章跨媒體檢索的相關(guān)方法92.1.2HOG算法原理HOG屬于局部特征概述算法，對(duì)圖像的外觀以及形狀可以實(shí)現(xiàn)很好的描述。該算法也廣泛應(yīng)用于計(jì)算機(jī)視覺和圖像處理領(lǐng)域，如在行人檢測(cè)方面進(jìn)行應(yīng)用。行人表情出現(xiàn)了變化，依托于HOG算子來對(duì)面部器官的邊緣形狀進(jìn)行檢測(cè)，此時(shí)也就可以實(shí)現(xiàn)對(duì)表情....

圖2.4sigmoid函數(shù)Fig.2.4sigmoidfunctionsigmoid函數(shù)在實(shí)際操作中作為激活函數(shù)，在這種情況下神經(jīng)元的輸出y則為：

第2章跨媒體檢索的相關(guān)方法11Y獲得的總刺激在此次課題研究中我們主要將其視為前層各神經(jīng)元刺激加權(quán)和，權(quán)重在此次課題研究中我們主要將其視為神經(jīng)元與神經(jīng)元間關(guān)系的密切程度。這樣就可以進(jìn)行以下推斷：=∑=0（2.7）對(duì)于末端神經(jīng)元所遭受刺激加權(quán)和來講，一般情況下其“工整”度并不好，此時(shí)....

圖3.2AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

第3章基于卷積神經(jīng)網(wǎng)絡(luò)的跨媒體檢索方法29圖3.2AlexNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.3.2AlexNetnetworkstructure3.2.2VGGNet2014年，VGG和谷歌共同研發(fā)出了VGGNet[35]。ILSVRC比賽中，這一模型在分類項(xiàng)目中得到了第二名的成績，在定位項(xiàng)....

本文編號(hào)：4028032