發(fā)布時間：2021-10-12 13:06

　　“察言觀色”是正常人類的基本生活交流能力,對人類動作和行為的分析和理解是現(xiàn)代心理學(xué)的主要研究內(nèi)容之一。隨著人工智能的發(fā)展和人類計算能力的提升,人體動作識別逐漸成為計算機(jī)視覺以及圖像處理領(lǐng)域的研究熱點(diǎn)之一,該方向不僅擁有重要的理論研究價值,還有著廣泛的應(yīng)用前景。其主要原因是人體動作識別在人機(jī)交互、健康監(jiān)護(hù)、智能安防、視頻分析等研究領(lǐng)域中的潛在應(yīng)用價值。本論文依托于國家自然科學(xué)基金面上項(xiàng)目《基于RGBD圖像序列和加速度信號融合的人體動作識別方法研究》,開展了對面向復(fù)雜現(xiàn)實(shí)場景下多模態(tài)信息融合需求的人體動作識別問題的研究。本論文將課題從兩方面展開即:“基于單模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動作識別”與“基于多模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動作識別”。首先,對于單一模態(tài)數(shù)據(jù)下的動作識別,本論文的主要工作和貢獻(xiàn)如下:（1）基于加速度數(shù)據(jù)的時頻域特征融合的人體動作識別方法。本文提出了基于加速度數(shù)據(jù)的時頻域特征融合的識別方法,提取加速度數(shù)據(jù)的頻域特征即短時傅里葉變換（FFT）。實(shí)驗(yàn)分析得知其對身體局部小動作和四肢大動作的區(qū)分度很高,但是其較難區(qū)分對動作頻率敏感的動作。然后提取加速度數(shù)據(jù)的時頻域特征即小... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院)廣東省

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究概況
        1.2.1 基于單模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動作識別研究
        1.2.2 基于多模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動作識別研究
    1.3 基于多模態(tài)信息融合的人體動作識別研究內(nèi)容與難點(diǎn)
    1.4 論文框架與組織結(jié)構(gòu)
第2章 基于多模態(tài)信息融合的人體動作識別研究的相關(guān)知識
    2.1 人體動作識別研究的相關(guān)知識
        2.1.1 底層特征提取與表示方法
        2.1.2 人體動作識別在深度學(xué)習(xí)中的典型網(wǎng)絡(luò)框架
    2.2 多模態(tài)信息融合研究的相關(guān)知識
        2.2.1 多模態(tài)像素級別融合方法
        2.2.2 多模態(tài)特征級別融合方法
        2.2.3 多模態(tài)分?jǐn)?shù)級別融合方法
    2.3 人體動作識別公共數(shù)據(jù)集
        2.3.1 實(shí)驗(yàn)室數(shù)據(jù)集
        2.3.2 網(wǎng)絡(luò)數(shù)據(jù)集
    2.4 本章小結(jié)
第3章 基于單模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動作識別
    3.1 基于加速度數(shù)據(jù)的時頻域特征融合的人體動作識別方法
        3.1.1 加速度數(shù)據(jù)預(yù)處理
        3.1.2 基于時頻域分析的特征提取與表示方法
        3.1.3 實(shí)驗(yàn)整體設(shè)計
        3.1.4 實(shí)驗(yàn)分析與討論
        3.1.5 方法小結(jié)
    3.2 基于骨架數(shù)據(jù)的時空特征融合的人體動作識別方法
        3.2.1 基于角度空間的幾何特征表示方法
        3.2.2 基于骨架節(jié)點(diǎn)動量的特征表示方法
        3.2.3 實(shí)驗(yàn)整體設(shè)計
        3.2.4 實(shí)驗(yàn)分析與討論
        3.2.5 方法小結(jié)
    3.3 本章小結(jié)
第4章 基于多模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動作識別
    4.1 基于相關(guān)分析的多模態(tài)異構(gòu)特征信息融合的人體動作識別方法
        4.1.1 實(shí)驗(yàn)整體設(shè)計
        4.1.2 實(shí)驗(yàn)分析與討論
    4.2 本章小結(jié)
第5章 多模態(tài)人體動作識別采集系統(tǒng)平臺
    5.1 采集系統(tǒng)平臺概述
        5.1.1 軟件系統(tǒng)設(shè)計
        5.1.2 硬件環(huán)境要求
    5.2 基于實(shí)驗(yàn)室環(huán)境的多模態(tài)交叉視角人體動作識別數(shù)據(jù)集
        5.2.1 數(shù)據(jù)集概述
        5.2.2 采集設(shè)備搭建
        5.2.3 數(shù)據(jù)模態(tài)
    5.3 模擬真實(shí)世界的大型多模態(tài)長序列人體動作識別數(shù)據(jù)集
        5.3.1 數(shù)據(jù)集采集的必要性分析
        5.3.2 動作類別設(shè)計
        5.3.3 采集設(shè)備搭建
        5.3.4 采集過程設(shè)計
        5.3.5 數(shù)據(jù)模態(tài)
        5.3.6 數(shù)據(jù)標(biāo)注
        5.3.7 測試協(xié)議
        5.3.8 數(shù)據(jù)集特性分析
        5.3.9 與現(xiàn)有數(shù)據(jù)集的對比
    5.4 本章小結(jié)
第6章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 未來展望
參考文獻(xiàn)
致謝
作者簡歷及攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與研究成果



本文編號：3432636