網(wǎng)絡(luò)視聽服務(wù)的發(fā)展豐富了人們的娛樂生活,也讓彈幕這一評(píng)論形式逐漸流行起來(lái)。從另一個(gè)角度看,用戶發(fā)送的彈幕是對(duì)視頻片段的評(píng)論,與觀看視頻過(guò)程中感興趣的片段內(nèi)容息息相關(guān),因此,彈幕可以看作是多個(gè)注釋者對(duì)視頻內(nèi)容的弱注釋。互聯(lián)網(wǎng)上沉積的大量彈幕評(píng)論蘊(yùn)含著豐富的視頻語(yǔ)義信息,將彈幕數(shù)據(jù)利用起來(lái),可以幫助視頻語(yǔ)義理解等任務(wù)。本文的主要研究目標(biāo)有兩個(gè):第一,研究彈幕數(shù)據(jù)在綜藝節(jié)目高光片段檢測(cè)任務(wù)上的應(yīng)用,第二,研究彈幕特征結(jié)合其他特征多模態(tài)檢測(cè)綜藝節(jié)目高光片段的方法。針對(duì)第一個(gè)目標(biāo),本文提出使用一個(gè)帶有延遲的時(shí)間滑窗提取視頻幀時(shí)間戳若干長(zhǎng)度內(nèi)的原始彈幕文本的詞向量,并取平均作為視頻幀彈幕文本特征,同時(shí)構(gòu)建了彈幕平均長(zhǎng)度,彈幕密度,特殊顏色彈幕數(shù)量,特殊字號(hào)彈幕數(shù)量,點(diǎn)贊數(shù),點(diǎn)踩數(shù),回復(fù)數(shù)等7維彈幕結(jié)構(gòu)特征,結(jié)合彈幕文本特征和彈幕結(jié)構(gòu)特征使用邊界敏感網(wǎng)絡(luò)對(duì)綜藝節(jié)目高光片段進(jìn)行檢測(cè)。針對(duì)第二個(gè)目標(biāo),本文提出了堆疊邊界敏感網(wǎng)絡(luò)。通過(guò)對(duì)邊界敏感網(wǎng)絡(luò)進(jìn)行改造,對(duì)時(shí)序評(píng)估模塊進(jìn)行堆疊,將不同特征分別訓(xùn)練時(shí)序卷積網(wǎng)絡(luò)模型輸出的動(dòng)作、開始、結(jié)束概率序列加權(quán)平均得到多模態(tài)概率序列,再?gòu)母怕市蛄刑崛O值點(diǎn)組合為候選提...

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.1帶有一個(gè)隱藏層的多層感知機(jī),隱層包含5個(gè)神經(jīng)元

深度學(xué)習(xí)是一類神經(jīng)網(wǎng)絡(luò)模型,一般情況下應(yīng)用在有監(jiān)督學(xué)習(xí)領(lǐng)域。神經(jīng)網(wǎng)絡(luò)以單個(gè)神經(jīng)元以基本單位構(gòu)成,每個(gè)個(gè)神經(jīng)元對(duì)多個(gè)輸入作線性變換并輸出計(jì)算結(jié)果,計(jì)算每一個(gè)神經(jīng)元的輸出,就可以得到神經(jīng)網(wǎng)絡(luò)的最終輸出。在單層神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之間引入一到多個(gè)隱層,可以得到一個(gè)簡(jiǎn)單的多層感知機(jī)模....

圖2.2卷積的計(jì)算原理

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心結(jié)構(gòu),以在圖像領(lǐng)域使用較多的二維卷積層為例,輸入一個(gè)單通道圖片(二維數(shù)組),卷積層使用一個(gè)或多個(gè)卷積核通過(guò)卷積計(jì)算輸出相應(yīng)的二維數(shù)組。圖2.2展示了輸入一個(gè)3*3尺寸的二維數(shù)組,一個(gè)2*2的卷積核在該數(shù)組上滑動(dòng)并對(duì)窗口中的值和卷積核的權(quán)重進(jìn)行點(diǎn)乘運(yùn)算,其....

圖2.3最大池化層示意

最大池化層。池化實(shí)際上是一種降采樣的操作,卷積神經(jīng)網(wǎng)絡(luò)常常在卷積層中周期性地插入池化層,作用是縮減數(shù)據(jù)規(guī)模,減少模型的參數(shù)量,從而增強(qiáng)模型整體的泛化能力。最常用的池化層是最大池化,如圖2.3所示,最大池化層將輸入的數(shù)組分割成若干部分,對(duì)每個(gè)區(qū)域內(nèi)的子數(shù)組取最大值完成降采樣,相較于....

圖2.4VGG16的網(wǎng)絡(luò)結(jié)構(gòu)

圖2.4展示了一個(gè)VGG16網(wǎng)絡(luò)的基本結(jié)構(gòu)。網(wǎng)絡(luò)輸入3通道的原始圖片,經(jīng)過(guò)一系列的卷積和池化操作后得到圖像的特征向量,再用一個(gè)全連接網(wǎng)絡(luò)和softmax函數(shù)將向量映射到(0,1)區(qū)間中,輸出圖像類別的概率預(yù)測(cè)值。第三節(jié)時(shí)序卷積神經(jīng)網(wǎng)絡(luò)

本文編號(hào)：3972911