在人們的日常生活中,情感起到非常重要的作用:豐富的情感對說話人傳達(dá)思想有著極大的幫助。同時,圖像情感識別是人機(jī)交互的重要研究領(lǐng)域之一。近年來,針對大規(guī)模圖像情感識別的很多工作,推動了圖像情感識別方法及系統(tǒng)的快速發(fā)展。但是,因為情感存在一定的主觀性,所以標(biāo)注大規(guī)模的圖像情感數(shù)據(jù)集會花費大量的人力和物力。相反地,互聯(lián)網(wǎng)（Web）中存在大量的情感圖像:根據(jù)圖像情感關(guān)鍵詞（例如,高興、悲傷等）能夠獲得大規(guī)模帶有嘈雜標(biāo)簽的情感圖像。然而,如果直接使用這些帶有嘈雜標(biāo)簽的Web情感圖像數(shù)據(jù)集訓(xùn)練情感識別模型,會給識別模型帶來負(fù)面影響。因此,如何直接通過帶嘈雜標(biāo)簽的圖像樣本得到魯棒的情感識別效果是Web圖像情感識別領(lǐng)域的關(guān)鍵問題。此外,眾多研究發(fā)現(xiàn):圖像的局部區(qū)域?qū)η楦凶R別有顯著影響,但標(biāo)注圖像中的局部情感區(qū)域也會費時費力。在圖像情感區(qū)域定位中,與傳統(tǒng)目標(biāo)檢測不同的是:不僅僅圖像中的對象會引發(fā)情感,而且圖像中的背景也會引發(fā)情感。所以,在圖像情感區(qū)域定位中,如何定位情感對象及背景區(qū)域也是Web圖像情感識別領(lǐng)域亟待解決的問題。針對上述兩個Web圖像情感識別問題,分別提出一種基于注意力的嘈雜標(biāo)簽Web圖像情... 

【文章來源】：江蘇大學(xué)江蘇省

【文章頁數(shù)】：81 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖像樣本中能表達(dá)情感的局部區(qū)域此外如圖1.1所示，圖像中能夠正確表達(dá)情感的僅僅是局部區(qū)域，并非整個

基于弱監(jiān)督學(xué)習(xí)的Web圖像情感識別方法研究5弱監(jiān)督學(xué)習(xí)是指在標(biāo)簽不確切、不完全、不準(zhǔn)確的情況下構(gòu)建預(yù)測模型。如圖1.2所示，標(biāo)簽不完全是指數(shù)據(jù)集中部分標(biāo)簽正確，存在部分樣本的標(biāo)簽不存在或者不準(zhǔn)確；標(biāo)簽不確切是指當(dāng)前任務(wù)中的標(biāo)簽為粗粒度的標(biāo)簽，而真實目標(biāo)為細(xì)粒度標(biāo)簽；標(biāo)簽不準(zhǔn)確是指所給的標(biāo)簽不是真實值，存在著嘈雜或者錯誤標(biāo)簽。圖1.2弱監(jiān)督學(xué)習(xí)定義的示意圖在圖像的三大任務(wù)中[86]，弱監(jiān)督學(xué)習(xí)已經(jīng)得到了廣泛的應(yīng)用。He等人[25]在目標(biāo)檢測的任務(wù)中提出了一種弱監(jiān)督學(xué)習(xí)方法，具備兩種不同的空間約束，并以兩種約束同時作用、相互制約獲得最佳的結(jié)果。Maxime等人[26]僅利用對人體動作的標(biāo)注，通過深度學(xué)習(xí)模型學(xué)習(xí)人和物體之間聯(lián)系。He等人[27]運(yùn)用多層次的注意力機(jī)制，指導(dǎo)顯著區(qū)域定位，并且提出一個端到端的顯著區(qū)域定位網(wǎng)絡(luò)結(jié)構(gòu)，不僅取得了顯著的分類性能，而且提高了分類速度。Rohrbach等人[28]在目標(biāo)檢測的任務(wù)中，通過重構(gòu)查詢信息來優(yōu)化注意力機(jī)制，避免了對象級別的標(biāo)簽及查詢所有的候選框區(qū)域。Xiao等人[29]在語義分割的任務(wù)中，提出一種連續(xù)注意力機(jī)制，探索語義信息結(jié)構(gòu)的具體重構(gòu)方式。Zhu等人[30]提出了SoftProposalNetwork（SPN）結(jié)構(gòu)，生成軟候選框區(qū)域，并且通過耦合軟候選框區(qū)域與特征圖，發(fā)現(xiàn)更多的可區(qū)分視覺特征，抑制圖像中的背景干擾，提高分類和定位的精度。Durand等人[31]提出了WeaklysuperIvsedLearningofDeepConvolutionalneurAlneTworks（WILDCAT）的弱監(jiān)督學(xué)習(xí)方法，來學(xué)習(xí)不同類別相關(guān)的多個多層次局部特征，用于提高分類效果。在圖像情感分析（VSA）的任務(wù)中，少

江蘇大學(xué)工學(xué)碩士學(xué)位論文12其中局部特征從圖像整體上來說，是圖像或者視覺上一些不同于該局部的周圍地方，而局部信息通常是對圖像的一塊區(qū)域的信息描述，具有高的區(qū)分性。而能否提取到有用的局部信息，會決定圖像識別是否有效。（2）HOG特征：（a）為了調(diào)整圖像的對比度，首先對圖像進(jìn)行灰度化處理，降低陰影或者光照的影響，利用Gamma校正法對圖像在顏色空間上作標(biāo)準(zhǔn)化，同時計算圖像中每個像素的梯度。（b）將整個圖像劃分為多個單元（cell），例如圖像中相鄰4×4的像素點作為一個單元，計算每個單元的梯度直方圖，即代表每個單元的局部信息，然后將多個單元的局部信息串聯(lián)起來，即得到一個模塊（block）的信息。（c）將整張圖像的所有模塊的信息串聯(lián)起來，即為整個圖像的HOG特征。其中，SIFT和HOG特征都是基于圖像的梯度方向直方圖，而SIFT特征更適用于圖像識別問題，HOG特征適用于目標(biāo)檢測問題。此外，根據(jù)SIFT及HOG特征的一些不足，或者針對某些特定問題，還有上述的其他傳統(tǒng)特征。例如SURF特征是針對SIFT特征提取的過程中，存在速度較慢的缺點，提出SURF算子加快特征提取的速度。圖2.1圖像識別領(lǐng)域深度學(xué)習(xí)模型發(fā)展示意圖如圖2.1所示，隨著深度學(xué)習(xí)的不斷發(fā)展，在圖像領(lǐng)域中出現(xiàn)多樣的模型結(jié)構(gòu)。傳統(tǒng)的圖像特征提取過程，雖然其思路及較強(qiáng)的解釋性對機(jī)器學(xué)習(xí)的發(fā)展有很大的啟發(fā)及幫助，但是深度學(xué)習(xí)模型提取的特征，在眾多領(lǐng)域都獲得了更好的表現(xiàn)。從上述的SIFT及HOG特征提取的過程中可以發(fā)現(xiàn)，傳統(tǒng)特征與深度特

【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的學(xué)習(xí)者情感識別與應(yīng)用[J]. 徐振國,張冠文,孟祥增,黨同桐,孔璽.  電化教育研究. 2019(02)
[2]多模態(tài)維度情感預(yù)測綜述[J]. 李霞,盧官明,閆靜杰,張正言.  自動化學(xué)報. 2018(12)
[3]在線特征選取的多示例學(xué)習(xí)目標(biāo)跟蹤[J]. 周志宇,彭小龍,吳迪沖,朱澤飛.  中國圖象圖形學(xué)報. 2015(10)



本文編號：3066961