發(fā)布時(shí)間：2019-09-06 09:30

【摘要】：科技的進(jìn)步與發(fā)展,軟硬件的不斷普及,上網(wǎng)閱讀與評(píng)論逐漸變?yōu)槿藗兊娜粘；顒?dòng),那么網(wǎng)絡(luò)上也就隱藏著各種有價(jià)值的信息。情感分析是自然語(yǔ)言處理領(lǐng)域中一個(gè)基礎(chǔ)且重要的研究方向,它利用情感分析技術(shù),分析出人們對(duì)于某一事物的情感態(tài)度,主要包括積極、消極二種情感。傳統(tǒng)且大量的研究工作主要是針對(duì)文本數(shù)據(jù),隨著微博、Twitter、Facebook等平臺(tái)的發(fā)展,人們可以輕松的發(fā)布圖像、視頻等信息,研究者們也不局限于文本情感分類,將圖像、視頻等多媒體信息考慮進(jìn)來,進(jìn)行跨模態(tài)的情感分類研究。本文使用詞向量表示工具word2vec與GloVe模型來表示文本,利用深度學(xué)習(xí)模型,從文本、圖像及兩者融合三個(gè)方面進(jìn)行情感分類的研究,具體如下。一、多尺度卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的情感分類。在這部分,本文利用卷積神經(jīng)網(wǎng)絡(luò)方便靈活的提取具有豐富上下文關(guān)系的詞特征的特點(diǎn),長(zhǎng)短時(shí)記憶模型在處理任意句子長(zhǎng)度序列和長(zhǎng)時(shí)間依賴的優(yōu)點(diǎn),對(duì)英文文本進(jìn)行情感分類。實(shí)驗(yàn)表明多尺度卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型相比于其他模型,分類結(jié)果有了部分提升。二、結(jié)合圖像全局與局部特征的圖像情感分類。在這部分使用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像進(jìn)行情感分類。該模型可以拆分為四個(gè)部分的神經(jīng)網(wǎng)絡(luò),第一部分的網(wǎng)絡(luò),提取圖像的低級(jí)特征,第二、三部分的網(wǎng)絡(luò),利用提取到的低維特征,再經(jīng)過卷積、全連接等操作,分別提取出圖像的全局特征和局部特征,第四部分,融合圖像局部與全局特征,根據(jù)得到的融合特征進(jìn)行圖像情感分類。實(shí)驗(yàn)表明該模型在與現(xiàn)有的深度學(xué)習(xí)圖像情感分類方法的對(duì)比中,獲得了更好的情感分類結(jié)果。三、基于緊湊雙線性融合的圖文跨模態(tài)情感分類。該模型使用預(yù)訓(xùn)練的152層殘差網(wǎng)絡(luò)提取圖像特征,使用長(zhǎng)短時(shí)記憶模型獲取文本特征,通過拼接兩種特征,經(jīng)過一些操作產(chǎn)生軟注意力圖,再與圖像特征進(jìn)行加權(quán)求和,得到最終視覺表示。接著使用多模態(tài)緊湊雙線性融合算法融合視覺表示和文本特征,最后對(duì)融合后特征進(jìn)行跨模態(tài)的情感分類。在實(shí)驗(yàn)對(duì)比分析中,該模型較其它方法取得了較好的分類結(jié)果。
【圖文】：

圖 2.1 CBOW 模型c 表示目標(biāo)詞對(duì)應(yīng)的上下文，由于沒有隱藏層，CBOW 模型的輸入層就是直接使用不包含詞序信息的上下文表示。CBOW 模型就是根據(jù)上下文的表示，直接對(duì)目標(biāo)詞進(jìn)行預(yù)測(cè)，如式 2.8：'exp( '( ) )( | )exp( '( ') )TTw VwP w cw e xe x(2.8)上述 2.7、2.8 二式中，w表示目標(biāo)詞，c 表示目標(biāo)詞對(duì)應(yīng)的上下文。對(duì)于整個(gè)訓(xùn)練語(yǔ)料來說，CBOW 的優(yōu)化目標(biāo)為最大化式 2.9，其中D代表整個(gè)訓(xùn)練語(yǔ)料：( , )log ( | )w c DP w c (2.9)如圖 2.2，Skip-gram 模型的結(jié)構(gòu)圖，相似的是 Skip-gram 模型也沒有隱藏層。而不同的是，Skip-gram 模型是將從目標(biāo)詞w 的上下文c 中選擇的一個(gè)詞的詞向量作為模型的輸入 x。Skip-gram 模型是通過目標(biāo)詞預(yù)測(cè)上下文，對(duì)于整個(gè)訓(xùn)練

圖 2.2 Skip-gram 模型結(jié)構(gòu)圖為了再次提升模型的效率[74]，Mikolov 等人于 2013 年又提出負(fù)采樣技術(shù)（Negative Sampling）。負(fù)采樣技術(shù)是借鑒 C&W 模型構(gòu)造負(fù)樣本的方法，并參考了 ivLBL 模型的 NCE 方法，然后構(gòu)造一個(gè)優(yōu)化目標(biāo)，最大化正樣本的似然，同時(shí)最小化負(fù)樣本的似然。負(fù)采樣技術(shù)與 C&W 模型中對(duì)應(yīng)部分的區(qū)別主要是，負(fù)采樣技術(shù)并不采用 pairwise 方式訓(xùn)練，因此，一個(gè)正樣本可以對(duì)應(yīng)多個(gè)負(fù)樣本，Mikolov 等人在實(shí)驗(yàn)中也論述了使用多個(gè)負(fù)樣本（一般選 5）可以有效的提升模型的性能。負(fù)采樣技術(shù)與 NCE 技術(shù)的主要區(qū)別是，負(fù)采樣技術(shù)只是優(yōu)化正負(fù)樣本的似然，并不對(duì)輸出層做概率歸一化。NCE 技術(shù)則是通過噪聲樣本對(duì)概率進(jìn)行估計(jì)。在實(shí)驗(yàn)中，Mikolov 等人也論述了負(fù)采樣技術(shù)相比 NCE 技術(shù)少了一些約束，并且對(duì)于詞向量的生成是有幫助的。通常情況下，在大規(guī)模語(yǔ)料中的高頻詞就是停用詞（如英語(yǔ)中的“the”，漢語(yǔ)中的“的”）。一方面，這些高頻詞只會(huì)包含非常少量的語(yǔ)義信息，，例如絕大多數(shù)的詞都會(huì)和“的”共同出現(xiàn)，但是這并不能證明這些詞的語(yǔ)義相似。另一
【學(xué)位授予單位】：華僑大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.1;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長(zhǎng)沙鐵道學(xué)院學(xué)報(bào);2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

8 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

相關(guān)會(huì)議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國(guó)神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩(shī)武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國(guó)心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國(guó)設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國(guó)明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國(guó)家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國(guó)教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國(guó)紡織報(bào);2003年

4 中國(guó)科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國(guó)際先進(jìn)水平[N];中國(guó)電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國(guó)船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國(guó)農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國(guó)礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測(cè)算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測(cè)的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測(cè)及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測(cè)研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測(cè)研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

本文編號(hào)：2532534