隨著社會(huì)智能化、數(shù)字化進(jìn)程的快速發(fā)展,視覺數(shù)據(jù)(如圖像、視頻等)作為一種簡單直接、內(nèi)容豐富的信息呈現(xiàn)方式,已廣泛滲入到現(xiàn)代生活的方方面面。人們?cè)趧?chuàng)造、分享及傳播視覺數(shù)據(jù)的同時(shí),更關(guān)注于視覺數(shù)據(jù)所傳遞的豐富語義信息。因此,如何快速高效地分析視覺數(shù)據(jù)所包含的語義信息已成為計(jì)算機(jī)視覺領(lǐng)域亟待解決的問題。目前,諸如圖像/視頻語義標(biāo)簽、視覺關(guān)系分析、內(nèi)容描述等視覺語義分析與生成工作已獲得了研究人員的廣泛關(guān)注。視覺內(nèi)容描述作為視覺語義分析與生成的一種高級(jí)形式,其目標(biāo)在于顯式地將視覺信息轉(zhuǎn)換為自然語言描述,以更有利于傳遞清晰明確的語義信息。針對(duì)視覺內(nèi)容描述這一研究問題,本文首先從基礎(chǔ)的視覺特征表示出發(fā),研究雙向時(shí)序特征對(duì)于視頻數(shù)據(jù)建模的有效性。其次,分析并提出了一種自適應(yīng)注意力機(jī)制以區(qū)別“視覺相關(guān)單詞”和“功能性單詞”,從而有效從視覺內(nèi)容和語言學(xué)知識(shí)中獲取信息并生成描述。然后,從擴(kuò)充視頻描述的豐富性和完善性層面出發(fā),深入研究了多視角視頻描述問題。最后,充分考慮視覺內(nèi)容和語義協(xié)調(diào)性,通過對(duì)不完善的描述進(jìn)行補(bǔ)全以實(shí)現(xiàn)視覺和語義信息的聯(lián)合理解及分析。具體而言,本學(xué)位論文的研究內(nèi)容主要包括以下幾點(diǎn):(1)本論...

【文章頁數(shù)】：129 頁

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖2-1早期卷積神經(jīng)網(wǎng)絡(luò)LeNet網(wǎng)絡(luò)結(jié)構(gòu)，圖摘自文獻(xiàn)[54]

電子科技大學(xué)博士學(xué)位論文第二章理論基礎(chǔ)本章將闡述與視覺內(nèi)容描述相關(guān)的基礎(chǔ)理論以及其涉及的深度學(xué)習(xí)技術(shù)，旨在讓讀者更好的對(duì)本領(lǐng)域的研究建立基本概念和基礎(chǔ)，方便后續(xù)章節(jié)內(nèi)容的閱讀和理解。同時(shí)，本章還將對(duì)影響本領(lǐng)域發(fā)展的重要研究和方法做簡要介紹，以便讀者更好的追蹤本領(lǐng)域的方法理論，感興....

圖2-7循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖

第二章理論基礎(chǔ)的讀者可以檢索文獻(xiàn)自行了解，本文不再贅述。2.2循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork,RNN）是一種動(dòng)態(tài)時(shí)間序列建模技術(shù)，其可以通過記憶單元存儲(chǔ)時(shí)序信息及前后依賴關(guān)系。在本次深度學(xué)習(xí)浪潮中，循環(huán)神經(jīng)網(wǎng)絡(luò)已大規(guī)模地用于自然語言處理、語....

本文編號(hào)：4047682