發(fā)布時(shí)間：2021-03-06 10:49

　　在人們的日常生活中,情感起到非常重要的作用:豐富的情感對(duì)說(shuō)話人傳達(dá)思想有著極大的幫助。同時(shí),圖像情感識(shí)別是人機(jī)交互的重要研究領(lǐng)域之一。近年來(lái),針對(duì)大規(guī)模圖像情感識(shí)別的很多工作,推動(dòng)了圖像情感識(shí)別方法及系統(tǒng)的快速發(fā)展。但是,因?yàn)榍楦写嬖谝欢ǖ闹饔^性,所以標(biāo)注大規(guī)模的圖像情感數(shù)據(jù)集會(huì)花費(fèi)大量的人力和物力。相反地,互聯(lián)網(wǎng)（Web）中存在大量的情感圖像:根據(jù)圖像情感關(guān)鍵詞（例如,高興、悲傷等）能夠獲得大規(guī)模帶有嘈雜標(biāo)簽的情感圖像。然而,如果直接使用這些帶有嘈雜標(biāo)簽的Web情感圖像數(shù)據(jù)集訓(xùn)練情感識(shí)別模型,會(huì)給識(shí)別模型帶來(lái)負(fù)面影響。因此,如何直接通過(guò)帶嘈雜標(biāo)簽的圖像樣本得到魯棒的情感識(shí)別效果是Web圖像情感識(shí)別領(lǐng)域的關(guān)鍵問(wèn)題。此外,眾多研究發(fā)現(xiàn):圖像的局部區(qū)域?qū)η楦凶R(shí)別有顯著影響,但標(biāo)注圖像中的局部情感區(qū)域也會(huì)費(fèi)時(shí)費(fèi)力。在圖像情感區(qū)域定位中,與傳統(tǒng)目標(biāo)檢測(cè)不同的是:不僅僅圖像中的對(duì)象會(huì)引發(fā)情感,而且圖像中的背景也會(huì)引發(fā)情感。所以,在圖像情感區(qū)域定位中,如何定位情感對(duì)象及背景區(qū)域也是Web圖像情感識(shí)別領(lǐng)域亟待解決的問(wèn)題。針對(duì)上述兩個(gè)Web圖像情感識(shí)別問(wèn)題,分別提出一種基于注意力的嘈雜標(biāo)簽Web圖像情... 

【文章來(lái)源】：江蘇大學(xué)江蘇省

【文章頁(yè)數(shù)】：81 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖像樣本中能表達(dá)情感的局部區(qū)域此外如圖1.1所示，圖像中能夠正確表達(dá)情感的僅僅是局部區(qū)域，并非整個(gè)

基于弱監(jiān)督學(xué)習(xí)的Web圖像情感識(shí)別方法研究5弱監(jiān)督學(xué)習(xí)是指在標(biāo)簽不確切、不完全、不準(zhǔn)確的情況下構(gòu)建預(yù)測(cè)模型。如圖1.2所示，標(biāo)簽不完全是指數(shù)據(jù)集中部分標(biāo)簽正確，存在部分樣本的標(biāo)簽不存在或者不準(zhǔn)確；標(biāo)簽不確切是指當(dāng)前任務(wù)中的標(biāo)簽為粗粒度的標(biāo)簽，而真實(shí)目標(biāo)為細(xì)粒度標(biāo)簽；標(biāo)簽不準(zhǔn)確是指所給的標(biāo)簽不是真實(shí)值，存在著嘈雜或者錯(cuò)誤標(biāo)簽。圖1.2弱監(jiān)督學(xué)習(xí)定義的示意圖在圖像的三大任務(wù)中[86]，弱監(jiān)督學(xué)習(xí)已經(jīng)得到了廣泛的應(yīng)用。He等人[25]在目標(biāo)檢測(cè)的任務(wù)中提出了一種弱監(jiān)督學(xué)習(xí)方法，具備兩種不同的空間約束，并以兩種約束同時(shí)作用、相互制約獲得最佳的結(jié)果。Maxime等人[26]僅利用對(duì)人體動(dòng)作的標(biāo)注，通過(guò)深度學(xué)習(xí)模型學(xué)習(xí)人和物體之間聯(lián)系。He等人[27]運(yùn)用多層次的注意力機(jī)制，指導(dǎo)顯著區(qū)域定位，并且提出一個(gè)端到端的顯著區(qū)域定位網(wǎng)絡(luò)結(jié)構(gòu)，不僅取得了顯著的分類(lèi)性能，而且提高了分類(lèi)速度。Rohrbach等人[28]在目標(biāo)檢測(cè)的任務(wù)中，通過(guò)重構(gòu)查詢信息來(lái)優(yōu)化注意力機(jī)制，避免了對(duì)象級(jí)別的標(biāo)簽及查詢所有的候選框區(qū)域。Xiao等人[29]在語(yǔ)義分割的任務(wù)中，提出一種連續(xù)注意力機(jī)制，探索語(yǔ)義信息結(jié)構(gòu)的具體重構(gòu)方式。Zhu等人[30]提出了SoftProposalNetwork（SPN）結(jié)構(gòu)，生成軟候選框區(qū)域，并且通過(guò)耦合軟候選框區(qū)域與特征圖，發(fā)現(xiàn)更多的可區(qū)分視覺(jué)特征，抑制圖像中的背景干擾，提高分類(lèi)和定位的精度。Durand等人[31]提出了WeaklysuperIvsedLearningofDeepConvolutionalneurAlneTworks（WILDCAT）的弱監(jiān)督學(xué)習(xí)方法，來(lái)學(xué)習(xí)不同類(lèi)別相關(guān)的多個(gè)多層次局部特征，用于提高分類(lèi)效果。在圖像情感分析（VSA）的任務(wù)中，少

江蘇大學(xué)工學(xué)碩士學(xué)位論文12其中局部特征從圖像整體上來(lái)說(shuō)，是圖像或者視覺(jué)上一些不同于該局部的周?chē)胤�，而局部信息通常是�?duì)圖像的一塊區(qū)域的信息描述，具有高的區(qū)分性。而能否提取到有用的局部信息，會(huì)決定圖像識(shí)別是否有效。（2）HOG特征：（a）為了調(diào)整圖像的對(duì)比度，首先對(duì)圖像進(jìn)行灰度化處理，降低陰影或者光照的影響，利用Gamma校正法對(duì)圖像在顏色空間上作標(biāo)準(zhǔn)化，同時(shí)計(jì)算圖像中每個(gè)像素的梯度。（b）將整個(gè)圖像劃分為多個(gè)單元（cell），例如圖像中相鄰4×4的像素點(diǎn)作為一個(gè)單元，計(jì)算每個(gè)單元的梯度直方圖，即代表每個(gè)單元的局部信息，然后將多個(gè)單元的局部信息串聯(lián)起來(lái)，即得到一個(gè)模塊（block）的信息。（c）將整張圖像的所有模塊的信息串聯(lián)起來(lái)，即為整個(gè)圖像的HOG特征。其中，SIFT和HOG特征都是基于圖像的梯度方向直方圖，而SIFT特征更適用于圖像識(shí)別問(wèn)題，HOG特征適用于目標(biāo)檢測(cè)問(wèn)題。此外，根據(jù)SIFT及HOG特征的一些不足，或者針對(duì)某些特定問(wèn)題，還有上述的其他傳統(tǒng)特征。例如SURF特征是針對(duì)SIFT特征提取的過(guò)程中，存在速度較慢的缺點(diǎn)，提出SURF算子加快特征提取的速度。圖2.1圖像識(shí)別領(lǐng)域深度學(xué)習(xí)模型發(fā)展示意圖如圖2.1所示，隨著深度學(xué)習(xí)的不斷發(fā)展，在圖像領(lǐng)域中出現(xiàn)多樣的模型結(jié)構(gòu)。傳統(tǒng)的圖像特征提取過(guò)程，雖然其思路及較強(qiáng)的解釋性對(duì)機(jī)器學(xué)習(xí)的發(fā)展有很大的啟發(fā)及幫助，但是深度學(xué)習(xí)模型提取的特征，在眾多領(lǐng)域都獲得了更好的表現(xiàn)。從上述的SIFT及HOG特征提取的過(guò)程中可以發(fā)現(xiàn)，傳統(tǒng)特征與深度特

【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的學(xué)習(xí)者情感識(shí)別與應(yīng)用[J]. 徐振國(guó),張冠文,孟祥增,黨同桐,孔璽.  電化教育研究. 2019(02)
[2]多模態(tài)維度情感預(yù)測(cè)綜述[J]. 李霞,盧官明,閆靜杰,張正言.  自動(dòng)化學(xué)報(bào). 2018(12)
[3]在線特征選取的多示例學(xué)習(xí)目標(biāo)跟蹤[J]. 周志宇,彭小龍,吳迪沖,朱澤飛.  中國(guó)圖象圖形學(xué)報(bào). 2015(10)



本文編號(hào)：3066961