隨著互聯(lián)網(wǎng)社交媒體的發(fā)展,人們開(kāi)始更積極發(fā)表個(gè)人看法和評(píng)論。這些圖文混雜的評(píng)論非常碎片化卻包含大量信息,尤其是包含了人們對(duì)事物的情感傾向和情緒分類,對(duì)政府決策部門掌握社會(huì)輿情動(dòng)態(tài)、商家獲取消費(fèi)者反饋等領(lǐng)域有重要意義。因此,如何從這些圖文混合數(shù)據(jù)中提取出隱含的關(guān)鍵情感信息,是一個(gè)亟待解決的重要問(wèn)題。近年來(lái)深度學(xué)習(xí)技術(shù)在圖像分類和文本分類方向應(yīng)用頗多。在圖像分類任務(wù)中,卷積神經(jīng)網(wǎng)絡(luò)成為傳統(tǒng)用法中最重要的特征提取手段,但性能仍有待提升。與此同時(shí),在文本分類任務(wù)中,詞嵌入技術(shù)的出現(xiàn)使人振奮,然而如何更好的應(yīng)用它依然是研究焦點(diǎn)。除此以外,對(duì)于圖像和文本的混合數(shù)據(jù)（甚至包含其他更復(fù)雜信息的數(shù)據(jù)）,如何將它們的特征綜合利用,也是目前深度學(xué)習(xí)方向各類主流模型的熱點(diǎn)�；谝陨蠁�(wèn)題,本文工作主要有以下幾點(diǎn):首先,對(duì)于圖像數(shù)據(jù)的特征提取方案,調(diào)研了最新基于channel-wise（通道方向）和基于spatial-wise（空間方向）的注意力機(jī)制,并將它們嵌入到VGG（Visual Geometry Group Network）和ResNet（Residual Network）分類模型中,使圖像分類模型準(zhǔn)確率... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：64 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１神經(jīng)元輸入及其激活函數(shù)示意圖??為了增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力，中間層的激活函數(shù)幾乎都是非線性的，因此用最??

權(quán)重??輸入??圖２－１神經(jīng)元輸入及其激活函數(shù)示意圖??為了增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力，中間層的激活函數(shù)幾乎都是非線性的，因此用最??優(yōu)化的方法來(lái)學(xué)習(xí)網(wǎng)絡(luò)參數(shù)為最常見(jiàn)思路。下文將介紹幾種在神經(jīng)網(wǎng)絡(luò)中常用的??激活函數(shù)。??２．１．１?Ｓｉｇｍｏｉｄ激活函數(shù)??Ｓｉｇｍｏｉｄ型函數(shù)是指一類Ｓ型曲線函數(shù)，為兩端飽和函數(shù)。常丨丨ｊ的Ｓｉｇｍｏｉｄ型??闡數(shù)有邏輯斯蒂回歸函數(shù)和Ｔａｎｈ函數(shù)，其中邏輯斯蒂回歸函數(shù)定義為：??＝?ｉ＋ｃｘＰ（－ｘ）?（２＇３）??邏輯斯蒂回歸函數(shù)可以看成是一個(gè)映射函數(shù)，把一個(gè)實(shí)數(shù)域的輸入映射到（〇，??１）之間｜４１。例如，當(dāng)輸入值在０附近時(shí)，Ｓｉｇｍｏｉｄ映射曲線可以近似視為線性函??數(shù)；而當(dāng)輸入值遠(yuǎn)離０值時(shí)，輸出值便會(huì)接近（）或者１。這種特點(diǎn)和生物神經(jīng)元??十分類似，對(duì)部分輸入會(huì)產(chǎn)生興奮，對(duì)另一些輸入產(chǎn)生抑制。相比于感知器使用??的階躍激活函數(shù)

感知機(jī)模型又稱為全連接神經(jīng)網(wǎng)絡(luò)，內(nèi)部由輸入層、一個(gè)或者多隱藏層以及??輸出層組成，各層內(nèi)部所有節(jié)點(diǎn)均為樸素的神經(jīng)元，層與層之間的所有神經(jīng)元均??有連接ｗｍ。一個(gè)具有兩層隱藏層的感知機(jī)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖２＿３所示：??９??

【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)的昨天、今天和明天[J]. 余凱,賈磊,陳雨強(qiáng),徐偉.  計(jì)算機(jī)研究與發(fā)展. 2013(09)



本文編號(hào)：3214660