圖像語(yǔ)義理解的任務(wù)就是對(duì)給定的圖像進(jìn)行語(yǔ)言描述和理解,它的研究?jī)?nèi)容橫跨了機(jī)器視覺(jué)和自然語(yǔ)言處理領(lǐng)域。對(duì)比其它任務(wù),該任務(wù)不僅要求識(shí)別圖中的關(guān)鍵物體,同時(shí)需要理解各個(gè)關(guān)鍵物體之間的關(guān)系,從而得到一些抽象的概念,即語(yǔ)義信息,最后用一句相對(duì)比較自然的語(yǔ)句表達(dá)出來(lái)。近年來(lái),隨著機(jī)器翻譯和大數(shù)據(jù)的興起,國(guó)內(nèi)外掀起了圖像理解的研究浪潮,但是在語(yǔ)義理解的研究中普遍存在描述圖像內(nèi)容的準(zhǔn)確性和完整性尚低的現(xiàn)象,同時(shí)又由于中文本身的特殊性,使得對(duì)圖像的中文語(yǔ)義理解這一任務(wù)沒(méi)有取得很好的進(jìn)展,本文采用自動(dòng)編碼-解碼網(wǎng)絡(luò)主框架,在2017年“AI Challenger.全球AI挑戰(zhàn)賽”的圖像中文描述子問(wèn)題提供的比賽庫(kù)上能夠較好的解決上述問(wèn)題。主要工作包括:●圖像特征提取方法的分析與選取。對(duì)比與現(xiàn)有的傳統(tǒng)手工特征,目前的深度特征更具有優(yōu)勢(shì),在本文中采用深度特征作為圖像特征編碼,并且在實(shí)驗(yàn)中對(duì)比和分析了 VGG 網(wǎng)絡(luò)（The Visual Geometry Group Neural Network）和ResNet（Residual Network）的特征提取對(duì)于中文語(yǔ)義理解的效果�！裰形臉�(biāo)注預(yù)處理與編碼的方法與實(shí)... 

【文章來(lái)源】：廈門大學(xué)福建省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：94 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１－１目標(biāo)分類??

知的前段時(shí)間，最容易注意到的是場(chǎng)景里的全局特征和空間結(jié)構(gòu)。所以，如何構(gòu)??建合適的視覺(jué)模型來(lái)解決場(chǎng)景識(shí)別和分類是圖像理解的重要問(wèn)題之一。場(chǎng)景分類??的示例如圖１－２所示：??ａ．教室?ｂ．田野??１?．ｗｇ＾．?ｒｉｌｆｔｌｆ?？?????ｃ．雪地?ｄ．海洋??圖１－２場(chǎng)景分類??１．１．２圖像理解層次化??圖像中包含的語(yǔ)義信息是層次化的［３］，按其復(fù)雜程度分為三層，如圖１－３所??示。低層即圖像處理層，包含圖像的基本視覺(jué)；中層即圖像的分析層，由低層特??征推導(dǎo)而來(lái)；高層即圖像認(rèn)知層，包含場(chǎng)景、行為、感情等高級(jí)抽象特征。中間??層的存在是為了縮短低高層語(yǔ)義之間的跨度。一般情況下，上層特征會(huì)比下層更??加抽象，更具表達(dá)力。上層特征可通過(guò)下層推導(dǎo)而來(lái)。??低層特征是圖像的低級(jí)特征，可以直接從圖像中得到，包括顏色、紋理、邊??緣信息等。顏色特征是一種常用的圖像特性，可以直觀的看到。圖像的顏色特征??是在像素級(jí)別上進(jìn)行統(tǒng)計(jì)

第一章緒論和梯度等信息來(lái)對(duì)圖像進(jìn)行有效的篩選。邊緣信息是圖像的基本特征，區(qū)域和另一個(gè)區(qū)域的交接處，是區(qū)域?qū)傩宰兓畲蟮牡胤剑刺荻茸兓�。常用�?lái)提取邊緣的方法有：微分算子、高斯算子、索貝爾算子等。物體檢測(cè)中，低層特征常用于實(shí)現(xiàn)定位。??高層特征是用人類的認(rèn)知方式來(lái)理解圖像的語(yǔ)義信息，包括對(duì)圖像場(chǎng)景、為以及其情感等比較抽象的語(yǔ)義。場(chǎng)景語(yǔ)義表示圖像的場(chǎng)景類別標(biāo)簽，分類和圖像檢索；通過(guò)對(duì)場(chǎng)景中存在的動(dòng)作或行為進(jìn)行建模，來(lái)理解場(chǎng)事件即行為語(yǔ)義，如打籃球、跑馬拉松等；通過(guò)對(duì)場(chǎng)景中的情感活動(dòng)進(jìn)行分解圖像要表達(dá)的感情信息即情感語(yǔ)義，如傷心、歡快等。??

【參考文獻(xiàn)】：
期刊論文
[1]融合圖像場(chǎng)景及物體先驗(yàn)知識(shí)的圖像描述生成模型[J]. 湯鵬杰,譚云蘭,李金忠.  中國(guó)圖象圖形學(xué)報(bào). 2017(09)



本文編號(hào)：2942735