多任務(wù)協(xié)同優(yōu)化的視覺情感預(yù)測(cè)技術(shù)研究
發(fā)布時(shí)間:2020-12-20 22:02
伴隨多媒體技術(shù)的飛速發(fā)展,圖像、視頻等視覺內(nèi)容已變成網(wǎng)絡(luò)社交文化中的一種主流媒介,越來越多的人在社交網(wǎng)站上上傳圖像來表達(dá)自己的情感或觀念。如何能使得計(jì)算機(jī)辨認(rèn)甚至產(chǎn)生類似于人的情緒,開始受到越來越多的關(guān)注。作為人工智能、計(jì)算機(jī)視覺等范疇的重要課題,情感計(jì)算對(duì)于計(jì)算機(jī)如何精確感知圖像內(nèi)容有重要意義。實(shí)現(xiàn)該技術(shù)的一個(gè)關(guān)鍵之處就在于將圖像的低層視覺信息與高層語義特征之間的鴻溝有效地銜接起來,從而建立符合人類認(rèn)知的感情映射機(jī)制。現(xiàn)有工作大部分都是從圖像全局的角度出發(fā),通過設(shè)計(jì)更好的特征來解決圖像單情感標(biāo)簽預(yù)測(cè)問題,但其中主要存在著兩點(diǎn)局限:首先,一個(gè)重要現(xiàn)象就是圖像的情感傳達(dá)區(qū)域的局部性,相對(duì)顯著的區(qū)域而言背景區(qū)域含有的情感信息較少。其次,視覺情感的標(biāo)簽存在著依賴關(guān)系且有很強(qiáng)的模糊性,使用獨(dú)熱編碼形式來定義視覺情感不夠準(zhǔn)確。針對(duì)于以上問題,本文通過多任務(wù)優(yōu)化學(xué)習(xí)來進(jìn)行視覺情感分析,對(duì)于圖像情感的分類問題,為了更好的解決圖像情感傳達(dá)空間分布不均的問題,本文提出了一種基于弱監(jiān)督情感檢測(cè)的耦合神經(jīng)網(wǎng)絡(luò)框架,使用弱監(jiān)督的方式發(fā)掘圖像中蘊(yùn)含情感比較豐富的區(qū)域,并將該區(qū)域信息結(jié)合到圖像的情感分類中,該技術(shù)...
【文章來源】:南開大學(xué)天津市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:73 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
不同檢測(cè)方法的效果對(duì)比圖
圖 2.6 錯(cuò)誤樣本分析統(tǒng)計(jì)圖的消融實(shí)驗(yàn),如表 2.2 所示。表中 ‘基礎(chǔ)模型’ 表示 k = 1 且不含耦合操作SCNet 框架,其分類分支為原始的全局表達(dá);‘情感圖’ 表示利用生成的定息來輔助分類,具體而言有兩種形式:使用通過耦合得到的局部表達(dá)進(jìn)行(即 ‘局部表達(dá)’),或者進(jìn)一步結(jié)合全局表達(dá)為語義特征進(jìn)行分類(即 ‘語征’)。從實(shí)驗(yàn)結(jié)果中,我們可以得出以下結(jié)論:首先,使用多個(gè)特征圖(第)和情感圖耦合操作(第 3 行)的分類精度均在 FI 上提高約 1%,說明了局示的有效性。其次,利用結(jié)合全局和局部的語義特征(第 4 行)使得分類精高了 1.7%,說明了兩種視角捕捉信息的互補(bǔ)性。第三,通過端到端的方式練本文方法(第 5 行)達(dá)到了最好的效果,比基礎(chǔ)模型(第 1 行)的精度高.5%。.3.3分類結(jié)果分析本文在七個(gè)公開情感數(shù)據(jù)集上對(duì)提出的弱監(jiān)督耦合神經(jīng)網(wǎng)絡(luò)框架進(jìn)行了
【參考文獻(xiàn)】:
期刊論文
[1]標(biāo)記分布學(xué)習(xí)與標(biāo)記增強(qiáng)[J]. 耿新,徐寧. 中國科學(xué):信息科學(xué). 2018(05)
[2]圖像層次語義描述的初步研究[J]. 武人杰. 電腦開發(fā)與應(yīng)用. 2011(05)
本文編號(hào):2928626
【文章來源】:南開大學(xué)天津市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:73 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
不同檢測(cè)方法的效果對(duì)比圖
圖 2.6 錯(cuò)誤樣本分析統(tǒng)計(jì)圖的消融實(shí)驗(yàn),如表 2.2 所示。表中 ‘基礎(chǔ)模型’ 表示 k = 1 且不含耦合操作SCNet 框架,其分類分支為原始的全局表達(dá);‘情感圖’ 表示利用生成的定息來輔助分類,具體而言有兩種形式:使用通過耦合得到的局部表達(dá)進(jìn)行(即 ‘局部表達(dá)’),或者進(jìn)一步結(jié)合全局表達(dá)為語義特征進(jìn)行分類(即 ‘語征’)。從實(shí)驗(yàn)結(jié)果中,我們可以得出以下結(jié)論:首先,使用多個(gè)特征圖(第)和情感圖耦合操作(第 3 行)的分類精度均在 FI 上提高約 1%,說明了局示的有效性。其次,利用結(jié)合全局和局部的語義特征(第 4 行)使得分類精高了 1.7%,說明了兩種視角捕捉信息的互補(bǔ)性。第三,通過端到端的方式練本文方法(第 5 行)達(dá)到了最好的效果,比基礎(chǔ)模型(第 1 行)的精度高.5%。.3.3分類結(jié)果分析本文在七個(gè)公開情感數(shù)據(jù)集上對(duì)提出的弱監(jiān)督耦合神經(jīng)網(wǎng)絡(luò)框架進(jìn)行了
【參考文獻(xiàn)】:
期刊論文
[1]標(biāo)記分布學(xué)習(xí)與標(biāo)記增強(qiáng)[J]. 耿新,徐寧. 中國科學(xué):信息科學(xué). 2018(05)
[2]圖像層次語義描述的初步研究[J]. 武人杰. 電腦開發(fā)與應(yīng)用. 2011(05)
本文編號(hào):2928626
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2928626.html
最近更新
教材專著