基于多模態(tài)特征融合的人體行為識(shí)別
發(fā)布時(shí)間:2021-02-03 21:46
近年來(lái),視頻中的人體行為識(shí)別成為了計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)重要研究課題,其在行為檢測(cè)、智能視頻監(jiān)控、醫(yī)療等領(lǐng)域都有著廣泛的應(yīng)用價(jià)值。同時(shí),視頻中的動(dòng)作受光照、視角的影響,且同類(lèi)別之間還存在類(lèi)內(nèi)差異大等干擾因素,讓視頻中的人體行為識(shí)別的研究難度加大。因此需要不斷地研究出新的方法,來(lái)找到具有代表性的特征,從而對(duì)視頻中的行為進(jìn)行識(shí)別,這也是這項(xiàng)任務(wù)的關(guān)鍵點(diǎn)之一。比圖像分類(lèi)更難的是,視頻分類(lèi)不僅要捕獲空間的外觀特征,還要捕獲各個(gè)視頻幀序列之間的時(shí)間信息。鑒于深度學(xué)習(xí)方法近幾年在圖像處理領(lǐng)域取得的巨大成功,許多的研究者在深度學(xué)習(xí)的基礎(chǔ)之上進(jìn)行了視頻的時(shí)空特征研究。然而,單一的特征模式在視頻行為識(shí)別中并未取得最佳效果。對(duì)此,本文提出了多模態(tài)的特征融合方法來(lái)處理這項(xiàng)任務(wù)。本文所做工作如下:(1)基于人體行為識(shí)別這項(xiàng)課題展開(kāi)廣泛調(diào)研,總結(jié)了這項(xiàng)課題的國(guó)內(nèi)外研究現(xiàn)狀,在研究前人的方法時(shí)發(fā)現(xiàn)單一特征存在的一些問(wèn)題,針對(duì)特征表示提出了多模態(tài)特征融合的思路。(2)為解決單一特征的表示性不足等缺點(diǎn),提出了基于深度網(wǎng)絡(luò)和特征融合的人體行為識(shí)別方法。此方法利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural ne...
【文章來(lái)源】:湘潭大學(xué)湖南省
【文章頁(yè)數(shù)】:59 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
abstract
第1章 緒論
1.1 研究背景
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 行為識(shí)別數(shù)據(jù)集
1.2.2 行為識(shí)別研究方法現(xiàn)狀
1.3 問(wèn)題的提出
1.3.1 關(guān)于方法的系統(tǒng)結(jié)構(gòu)
1.3.2 關(guān)于系統(tǒng)的輸入模態(tài)
1.4 本文的研究?jī)?nèi)容
1.5 本文組織結(jié)構(gòu)
第2章 行為識(shí)別算法結(jié)構(gòu)設(shè)計(jì)
2.1 引言
2.2 基于卷積神經(jīng)網(wǎng)絡(luò)空間特征提取
2.3 基于LSTM的時(shí)間特征提取
2.3.1 RNN基礎(chǔ)
2.3.2 LSTM基礎(chǔ)
2.4 行為識(shí)別分類(lèi)器
2.4.1 支持向量機(jī)
2.4.2 極限學(xué)習(xí)機(jī)
2.5 本章小結(jié)
第3章 基于深度網(wǎng)絡(luò)和特征融合的行為識(shí)別
3.1 引言
3.2 基于深度網(wǎng)絡(luò)和特征融合方法的框架
3.2.1 LSTM-CNN網(wǎng)絡(luò)
3.2.2 XOR-CNN網(wǎng)絡(luò)
3.3 實(shí)驗(yàn)結(jié)果和數(shù)據(jù)分析
3.3.1 數(shù)據(jù)集
3.3.2 設(shè)置
3.3.3 結(jié)果分析
3.3.4 與其它方法對(duì)比
3.4 本章小結(jié)
第4章 基于多模態(tài)時(shí)空特征融合的行為識(shí)別
4.1 引言
4.2 基于多模態(tài)時(shí)間特征的行為識(shí)別方法框架
4.2.1 RGB網(wǎng)絡(luò)
diff網(wǎng)絡(luò)"> 4.2.2 RGBdiff網(wǎng)絡(luò)
4.2.3 XOR網(wǎng)絡(luò)
4.2.4 特征融合和行為識(shí)別
4.3 實(shí)驗(yàn)結(jié)果和數(shù)據(jù)分析
4.3.1 參數(shù)及設(shè)置
4.3.2 結(jié)果及分析
4.3.3 與其它方法的結(jié)果對(duì)比
4.4 本章小結(jié)
第5章 總結(jié)與展望
5.1 本文工作總結(jié)
5.2 未來(lái)工作展望
參考文獻(xiàn)
致謝
研究生期間發(fā)表的學(xué)術(shù)論文及研究成果
本文編號(hào):3017199
【文章來(lái)源】:湘潭大學(xué)湖南省
【文章頁(yè)數(shù)】:59 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
abstract
第1章 緒論
1.1 研究背景
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 行為識(shí)別數(shù)據(jù)集
1.2.2 行為識(shí)別研究方法現(xiàn)狀
1.3 問(wèn)題的提出
1.3.1 關(guān)于方法的系統(tǒng)結(jié)構(gòu)
1.3.2 關(guān)于系統(tǒng)的輸入模態(tài)
1.4 本文的研究?jī)?nèi)容
1.5 本文組織結(jié)構(gòu)
第2章 行為識(shí)別算法結(jié)構(gòu)設(shè)計(jì)
2.1 引言
2.2 基于卷積神經(jīng)網(wǎng)絡(luò)空間特征提取
2.3 基于LSTM的時(shí)間特征提取
2.3.1 RNN基礎(chǔ)
2.3.2 LSTM基礎(chǔ)
2.4 行為識(shí)別分類(lèi)器
2.4.1 支持向量機(jī)
2.4.2 極限學(xué)習(xí)機(jī)
2.5 本章小結(jié)
第3章 基于深度網(wǎng)絡(luò)和特征融合的行為識(shí)別
3.1 引言
3.2 基于深度網(wǎng)絡(luò)和特征融合方法的框架
3.2.1 LSTM-CNN網(wǎng)絡(luò)
3.2.2 XOR-CNN網(wǎng)絡(luò)
3.3 實(shí)驗(yàn)結(jié)果和數(shù)據(jù)分析
3.3.1 數(shù)據(jù)集
3.3.2 設(shè)置
3.3.3 結(jié)果分析
3.3.4 與其它方法對(duì)比
3.4 本章小結(jié)
第4章 基于多模態(tài)時(shí)空特征融合的行為識(shí)別
4.1 引言
4.2 基于多模態(tài)時(shí)間特征的行為識(shí)別方法框架
4.2.1 RGB網(wǎng)絡(luò)
diff網(wǎng)絡(luò)"> 4.2.2 RGBdiff網(wǎng)絡(luò)
4.2.3 XOR網(wǎng)絡(luò)
4.2.4 特征融合和行為識(shí)別
4.3 實(shí)驗(yàn)結(jié)果和數(shù)據(jù)分析
4.3.1 參數(shù)及設(shè)置
4.3.2 結(jié)果及分析
4.3.3 與其它方法的結(jié)果對(duì)比
4.4 本章小結(jié)
第5章 總結(jié)與展望
5.1 本文工作總結(jié)
5.2 未來(lái)工作展望
參考文獻(xiàn)
致謝
研究生期間發(fā)表的學(xué)術(shù)論文及研究成果
本文編號(hào):3017199
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3017199.html
最近更新
教材專著