理解視頻中群體人物的行為語(yǔ)義是人工智能領(lǐng)域的難點(diǎn),主要任務(wù)要求運(yùn)用深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等算法整合序列化的人物動(dòng)作線索來(lái)推理視頻群體人物的行為語(yǔ)義。近年來(lái)模式識(shí)別技術(shù)的發(fā)展已能基本滿足圖像中個(gè)人動(dòng)作的識(shí)別要求,但對(duì)視頻中群體人物行為的研究還有待開(kāi)拓。本學(xué)位論文以識(shí)別視頻中群體人物的行為語(yǔ)義為研究目標(biāo),首先設(shè)計(jì)一種基于關(guān)鍵語(yǔ)義的特征提取方法抽取視頻主要內(nèi)容的多維融合特征,再設(shè)計(jì)一種基于目標(biāo)候選區(qū)域的人物檢測(cè)方法并行分類和定位視頻中的群體人物,最后設(shè)計(jì)一種基于時(shí)空軌跡的語(yǔ)義抽取方法完成對(duì)群體人物行為的理解。本文的工作創(chuàng)新主要體現(xiàn)在以下三個(gè)方面:(1)利用視頻幀層次聚類結(jié)果選取聚類中心,使用K-means算法優(yōu)化層次聚類結(jié)果,抽取視頻關(guān)鍵語(yǔ)義序列,利用雙向特征處理通道融合多層級(jí)視頻特征,完成視頻多維融合特征的提取。在KTH數(shù)據(jù)集上進(jìn)行關(guān)鍵幀提取實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明本文設(shè)計(jì)的基于視頻內(nèi)容的關(guān)鍵幀提取算法具有較高的關(guān)鍵幀查全率,能夠有效聚焦視頻關(guān)鍵語(yǔ)義。在COCO數(shù)據(jù)集上進(jìn)行特征提取實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明本文設(shè)計(jì)的基于卷積神經(jīng)網(wǎng)絡(luò)的特征融合算法所提取的視頻特征能夠有效利用低層位置信息,具有更強(qiáng)的特征表達(dá)能...

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
專用術(shù)語(yǔ)注釋表
第一章 緒論
    1.1 論文研究背景和意義
    1.2 視頻群體人物定位檢測(cè)研究現(xiàn)狀分析
    1.3 視頻群體人物行為語(yǔ)義抽取研究現(xiàn)狀分析
    1.4 論文研究思路和創(chuàng)新點(diǎn)
    1.5 論文主要研究工作及結(jié)構(gòu)
第二章 相關(guān)工作
    2.1 視頻群體人物特征提取
        2.1.1 視頻內(nèi)容在關(guān)鍵幀提取中的應(yīng)用
        2.1.2 卷積神經(jīng)網(wǎng)絡(luò)在特征融合中的應(yīng)用
    2.2 視頻群體人物定位檢測(cè)
        2.2.1 目標(biāo)候選區(qū)域在目標(biāo)檢測(cè)中的應(yīng)用
        2.2.2 人物特征在定位檢測(cè)中的應(yīng)用
    2.3 視頻群體人物行為語(yǔ)義抽取
        2.3.1 運(yùn)動(dòng)特征在動(dòng)作軌跡跟蹤中的應(yīng)用
        2.3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)在行為關(guān)聯(lián)中的應(yīng)用
    2.4 本章小結(jié)
第三章 基于關(guān)鍵語(yǔ)義的視頻群體人物特征提取
    3.1 問(wèn)題描述
    3.2 基于視頻內(nèi)容的關(guān)鍵幀提取
        3.2.1 視頻圖像信息描述
        3.2.2 圖像序列語(yǔ)義聚類
        3.2.3 關(guān)鍵語(yǔ)義序列抽取
    3.3 基于卷積神經(jīng)網(wǎng)絡(luò)的特征融合
        3.3.1 特征融合框架設(shè)計(jì)
        3.3.2 層級(jí)特征抽取
        3.3.3 多維特征融合
    3.4 實(shí)驗(yàn)與結(jié)果分析
        3.4.1 實(shí)驗(yàn)設(shè)計(jì)
        3.4.2 結(jié)果分析
    3.5 本章小結(jié)
第四章 基于目標(biāo)候選區(qū)域的視頻群體人物定位檢測(cè)
    4.1 問(wèn)題描述
    4.2 基于多維融合特征的目標(biāo)邊界框提取
        4.2.1 目標(biāo)候選框提取
        4.2.2 目標(biāo)邊界框選取
    4.3 基于人物特征的視頻群體人物定位
        4.3.1 人物邊界框回歸
        4.3.2 重疊人物檢測(cè)
        4.3.3 群體人物定位預(yù)測(cè)
    4.4 實(shí)驗(yàn)與結(jié)果分析
        4.4.1 實(shí)驗(yàn)設(shè)計(jì)
        4.4.2 結(jié)果分析
    4.5 本章小結(jié)
第五章 基于時(shí)空軌跡的視頻群體人物行為語(yǔ)義抽取
    5.1 問(wèn)題描述
    5.2 基于運(yùn)動(dòng)特征的視頻群體人物軌跡跟蹤
        5.2.1 人物動(dòng)作識(shí)別
        5.2.2 幀間人物匹配
        5.2.3 人物線索追蹤
    5.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻群體人物行為關(guān)聯(lián)
        5.3.1 視頻群體人物行為時(shí)空關(guān)聯(lián)模型
        5.3.2 時(shí)空關(guān)聯(lián)模型學(xué)習(xí)過(guò)程
        5.3.3 未知群體人物行為語(yǔ)義推斷
    5.4 實(shí)驗(yàn)與結(jié)果分析
        5.4.1 實(shí)驗(yàn)設(shè)計(jì)
        5.4.2 結(jié)果分析
    5.5 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間撰寫的論文
附錄2 攻讀碩士學(xué)位期間申請(qǐng)的專利
附錄3 攻讀碩士學(xué)位期間參加的科研項(xiàng)目
致謝



本文編號(hào)：3867617