得益于Internet的快速發(fā)展,網(wǎng)上涌現(xiàn)了大量多媒體信息,最近幾年短視頻、視頻直播等各種新型的UGC(User Generated Content)火熱流行。視頻中包含了豐富的信息,使用自然語言對視頻進行描述,無論是理解該視頻還是在Web中檢索該視頻都是極其重要的。所謂視頻描述,是指對給定的視頻,通過觀察視頻所包含的內(nèi)容(包括視頻中的對象,以及對象的活動)生成相應(yīng)的句子。面對海量的視頻,如果采用人工的方式對視頻進行逐一的描述成本是非常高的,使用計算機技術(shù)對視頻特征進行分析,并與自然語言處理的方法進行結(jié)合,自動生成對視頻的描述是非常有必要的。深度學(xué)習(xí)算法自提出以來在計算機視覺和自然語言處理領(lǐng)域取得了巨大的成功,近幾年是人工智能的主要貢獻者,將簡單的特征自動地組合成更加復(fù)雜的特征,并使用這些組合特征來解決實際問題是深度學(xué)習(xí)解決的核心問題之一,是一種解決“語義鴻溝”問題的有效方法。本文結(jié)合深度學(xué)習(xí),對視頻數(shù)據(jù)進行描述提出了基于深度學(xué)習(xí)的編碼-解碼模型,并在此模型中增加了時間注意力機制和空間注意力機制。模型首先基于視頻內(nèi)容,通過卷積神經(jīng)網(wǎng)絡(luò)抽取出表征其關(guān)鍵信息的語義表示,包括視頻中的活動、活...

【文章頁數(shù)】：70 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究工作的背景與意義
    1.2 國內(nèi)外研究歷史與現(xiàn)狀
    1.3 本文的主要工作內(nèi)容
    1.4 本論文的結(jié)構(gòu)安排
第二章 視頻自動描述系統(tǒng)需求分析
    2.1 系統(tǒng)需求分析
        2.1.1 功能需求
        2.1.2 系統(tǒng)用例圖
        2.1.3 非功能需求
    2.2 關(guān)鍵技術(shù)介紹
        2.2.1 詞向量
        2.2.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.3 編碼-解碼結(jié)構(gòu)模型
    2.4 注意力機制模型
    2.5 本章小結(jié)
第三章 視頻自動描述系統(tǒng)設(shè)計
    3.1 系統(tǒng)總體設(shè)計方案
    3.2 系統(tǒng)各個模塊詳細介紹
        3.2.1 詞向量層
        3.2.2 循環(huán)層
        3.2.3 視頻特征池
        3.2.4 關(guān)注層
        3.2.5 Softmax層
        3.2.6 權(quán)重平均模塊
        3.2.7 多模態(tài)層
        3.2.8 MaxID層
    3.3 本章小結(jié)
第四章 視頻自動描述系統(tǒng)實現(xiàn)
    4.1 訓(xùn)練數(shù)據(jù)集的準(zhǔn)備
        4.1.1 數(shù)據(jù)集
        4.1.2 度量標(biāo)準(zhǔn)
    4.2 TensorFlow深度學(xué)習(xí)框架的搭建
        4.2.1 TensorFlow框架的基本使用方法
        4.2.2 TensorFlow使用python腳本語言
        4.2.3 TensorFlow使用GPU加速計算
    4.3 系統(tǒng)代碼實現(xiàn)
        4.3.1 系統(tǒng)關(guān)鍵流程實現(xiàn)
        4.3.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程
    4.4 實驗結(jié)果及分析
        4.4.1 實驗環(huán)境
        4.4.2 實驗結(jié)果
        4.4.3 系統(tǒng)性能評價
    4.5 本章小結(jié)
第五章 全文總結(jié)與展望
    5.1 全文總結(jié)
    5.2 后續(xù)工作展望
致謝
參考文獻



本文編號：3787738