近年來物聯(lián)網(wǎng)的發(fā)展加速了互聯(lián)網(wǎng)接入設(shè)備數(shù)量的提升,這些接入設(shè)備每天都會產(chǎn)生大量的多模態(tài)時序數(shù)據(jù)。相對于單模態(tài)數(shù)據(jù),多模態(tài)數(shù)據(jù)能夠描述更加豐富的場景,因此不同模態(tài)數(shù)據(jù)之間存在大量隱藏的關(guān)系有待挖掘。錯誤發(fā)現(xiàn)是數(shù)據(jù)質(zhì)量控制過程中重要的一環(huán),在數(shù)據(jù)采集、傳輸、處理過程中,出于設(shè)備原因、系統(tǒng)原因、外部環(huán)境原因、人為原因等可能會使數(shù)據(jù)產(chǎn)生錯誤。而對于多模態(tài)時序數(shù)據(jù),當某個模態(tài)的數(shù)據(jù)出現(xiàn)錯誤時,我們不僅可以通過該模態(tài)錯誤數(shù)據(jù)出現(xiàn)時間前后的數(shù)據(jù)進行判斷,還可以通過其他模態(tài)同一時刻的數(shù)據(jù)進行判斷。因此研究多模態(tài)時序數(shù)據(jù)錯誤發(fā)現(xiàn)算法,可以對多模態(tài)時序數(shù)據(jù)的質(zhì)量進行檢測,評估數(shù)據(jù)中是否存在錯誤。本文的研究內(nèi)容包括多模態(tài)時序數(shù)據(jù)集構(gòu)建、預(yù)處理及初步特征提取研究,基于深度學(xué)習(xí)的多模態(tài)時序數(shù)據(jù)融合算法,多模態(tài)時序數(shù)據(jù)錯誤發(fā)現(xiàn)模型三個部分。首先,本文提出了多模態(tài)時序數(shù)據(jù)錯誤添加算法,可以對指定模態(tài)指定比例的數(shù)據(jù)添加指定種類的錯誤。本文實現(xiàn)了模態(tài)間的數(shù)據(jù)對齊,并提取了不同模態(tài)數(shù)據(jù)的初步特征。其次,本文提出了基于BiLSTM的特征提取方法,進而提出基于混合注意力的多模態(tài)特征融合方法,首先對各模態(tài)數(shù)據(jù)的Bi LSTM網(wǎng)... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：87 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀及分析
        1.2.1 常見模態(tài)時序數(shù)據(jù)特征提取研究現(xiàn)狀及分析
        1.2.2 多模態(tài)數(shù)據(jù)融合研究現(xiàn)狀及分析
        1.2.3 研究現(xiàn)狀總結(jié)
    1.3 本文的主要研究內(nèi)容
    1.4 本文的組織結(jié)構(gòu)
第2章 多模態(tài)時序數(shù)據(jù)初步特征提取
    2.1 引言
    2.2 原始數(shù)據(jù)集及數(shù)據(jù)導(dǎo)入框架
MOSI">        2.2.1 原始數(shù)據(jù)集CMU_MOSI
        2.2.2 CMU-Multimodal Data SDK
    2.3 多模態(tài)錯誤發(fā)現(xiàn)時序數(shù)據(jù)集的構(gòu)建
        2.3.1 多模態(tài)時序數(shù)據(jù)錯誤類型
        2.3.2 多模態(tài)時序數(shù)據(jù)錯誤添加方法
    2.4 多模態(tài)時序數(shù)據(jù)預(yù)處理
        2.4.1 多模態(tài)時序數(shù)據(jù)對齊
        2.4.2 多模態(tài)時序數(shù)據(jù)整理
    2.5 多模態(tài)時序數(shù)據(jù)初步特征提取
        2.5.1 視頻數(shù)據(jù)初步特征提取
        2.5.2 音頻數(shù)據(jù)初步特征提取
        2.5.3 文本數(shù)據(jù)初步特征提取
    2.6 本章小結(jié)
第3章 面向多模態(tài)時序數(shù)據(jù)錯誤發(fā)現(xiàn)的融合方法
    3.1 引言
    3.2 深度特征提取
        3.2.1 長短期記憶網(wǎng)絡(luò)LSTM
        3.2.2 基于BiLSTM的深度特征提取方法
    3.3 Tensor-Fusion特征融合方法
        3.3.1 Tensor-Fusion特征融合方法介紹
        3.3.2 Tensor-Fusion特征融合方法的不足
    3.4 基于混合注意力的特征融合方法
        3.4.1 模態(tài)內(nèi)注意力機制
        3.4.2 多模態(tài)特征融合
        3.4.3 模態(tài)間注意力機制
    3.5 本章小結(jié)
第4章 多模態(tài)時序數(shù)據(jù)錯誤發(fā)現(xiàn)模型
    4.1 引言
        4.1.1 多模態(tài)時序數(shù)據(jù)錯誤發(fā)現(xiàn)問題定義
    4.2 基于TENSOR-FUSION的多模態(tài)時序數(shù)據(jù)錯誤發(fā)現(xiàn)模型（TFMTED）
        4.2.1 模型介紹
        4.2.2 存在的問題
    4.3 基于混合注意力融合的多模態(tài)時序數(shù)據(jù)錯誤發(fā)現(xiàn)模型（HAMTED）
        4.3.1 模型介紹
        4.3.2 HAMTED對 TFMTED模型的改進
    4.4 實驗結(jié)果
        4.4.1 實驗數(shù)據(jù)及環(huán)境
        4.4.2 模型評價標準
        4.4.3 實驗設(shè)計及參數(shù)設(shè)置
        4.4.4 實驗結(jié)果與分析
    4.5 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學(xué)位期間發(fā)表的論文及其它成果
致謝


【參考文獻】：
期刊論文
[1]基于詞頻統(tǒng)計的文本關(guān)鍵詞提取方法[J]. 羅燕,趙書良,李曉超,韓玉輝,丁亞飛.  計算機應(yīng)用. 2016(03)
[2]中文文本分類中特征抽取方法的比較研究[J]. 代六玲,黃河燕,陳肇雄.  中文信息學(xué)報. 2004(01)
[3]基于概念的文本類別特征提取與文本模糊匹配[J]. 羅三定,陸文彥,王浩,賈維嘉.  計算機工程與應(yīng)用. 2002(16)



本文編號：2990756