隨著社交媒體和計算機網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,大量的多媒體數(shù)據(jù)在網(wǎng)絡(luò)中傳輸,其中,視頻數(shù)據(jù)是最具有代表性和復(fù)雜性的一種多媒體數(shù)據(jù)類型,如何從海量視頻數(shù)據(jù)中自動提取有用的信息變得越來越重要。視頻描述任務(wù)因其在人機交互、視頻監(jiān)控、視頻檢索等方面存在巨大潛在應(yīng)用價值而成為近年來熱點研究方向之一。與圖像描述不同,視頻描述需要理解視頻的上下文,這對于描述開放領(lǐng)域視頻問題來說是困難的,不僅是因為視頻中包含動態(tài)的對象、場景、動作等信息,還因為難以確定視頻中各種復(fù)雜信息的主次順序以及如何用準確簡潔的語言來表達,因此視頻重要信息挖掘以及優(yōu)化語言描述是視頻描述任務(wù)中必須解決的重要問題。針對以上問題,本文的主要研究工作與貢獻如下:1.當前視頻描述任務(wù)中,通常未能有效消除視頻特征中的空間冗余信息,而且常用的損失函數(shù)由目標正確詞的概率對數(shù)組成,形成的長句子往往會給模型帶來很大損失。相反,在經(jīng)過對數(shù)似然損失函數(shù)優(yōu)化生成的句長過短會導(dǎo)致描述語義不完整且準確性不高。本文提出一種基于語義信息篩選和句長調(diào)制的視頻描述方法解決上述問題。首先,在編碼階段,模型引入一種門控融合機制,通過對視頻語義特征的篩選,去除視頻特征語義信息里多...

【文章頁數(shù)】：57 頁

【部分圖文】：

圖2智慧教室中的教學(xué)交互策略設(shè)計與實施評價反思協(xié)同知識構(gòu)建思維導(dǎo)圖支持的情境創(chuàng)設(shè)共享論證協(xié)商創(chuàng)作反思提升師生交互設(shè)計

電化教育研究圖2智慧教室中的教學(xué)交互策略設(shè)計與實施策略基本流程評價和反思教學(xué)交互策略問卷星支持的即時測評與反饋評價反思彈幕技術(shù)支持的評論與反思“云課堂”支持的協(xié)作問題解決協(xié)同知識構(gòu)建思維導(dǎo)圖支持的問卷星/云課堂支持的基于量規(guī)的同伴評價問題設(shè)計問題實現(xiàn)問題作答問題反饋量規(guī)研發(fā)展示分....

圖２．１視頻理解的幾個層次??“”

區(qū)別于視頻分類、物體檢測等標簽式的粗粒度視覺理解任務(wù)，其旨在識別視??頻中的物體以及何種動作。視頻內(nèi)容描述研宄往前更進一步，基于識別檢測的結(jié)??果生成一個連貫的句子。如果要理解一段視頻，可以分為多個層次，如圖２．１所??示：１．第一步確定每個像素屬于什么類；２．第二步是區(qū)域識別，....

圖２．２空間注意力機制的圖像描述生成模型??

點在于：在解碼器階段不是每個單詞的生成都需要利用全部的圖像編碼信息，而??是利用注意力機制選擇特定的與之相關(guān)聯(lián)的圖像區(qū)域的特征信息進行語言解碼。??空間注意力機制模型結(jié)構(gòu)［３３１如圖２．２所示。??１４ｘ１４?Ｆｅａｔｕｒｅ?Ｍａｐ?ＩＲ９Ｈ?Ａ???Ｊ．＿?Ａ?ｆｌｙｉｎｇ??....

圖2.3時間注憊力機制的視頻描述生成模型

?第２章視頻內(nèi)容描述技術(shù)理論基礎(chǔ)２．時間注意力機制??和空間注意力機制非常相似，時間注意力機制更多的是用在以時序序列輸入的領(lǐng)域中，比如語音和視頻領(lǐng)域。時間注意力機制來源于人們在觀察視頻序列輸入信息的時候，并不是一次就把整段視頻的每個幀畫面都看過，而是根需求將注意力集中到視頻段中的....

本文編號：3916766