本文關鍵詞：多模態(tài)人體行為識別技術研究

  更多相關文章： 人體行為識別 多模態(tài)數(shù)據 稀疏表達 稀疏編碼 字典學習 數(shù)據驅動 運動捕獲 人體運動數(shù)據 特征選擇 主動學習 低秩矩陣填充

【摘要】：隨著近年來各式新型傳感器(如微軟的Kinect)的不斷問世,多模態(tài)人體行為識別研究逐漸成為計算機視覺領域內一個新的研究熱點。相關研究成果可以廣泛應用到智能視頻監(jiān)控、互動娛樂、視頻內容的分析與檢索等應用中。本文按照多模態(tài)數(shù)據預處理、特征提取與選擇、人體行為識別這三個主要步驟,圍繞多模態(tài)人體行為識別這一主題開展一系列研究工作,取得以下成果：首先,在多模態(tài)數(shù)據處理方面,針對三維人體運動數(shù)據補全和去噪問題,分別提出三種新算法。提出一種采用l1稀疏表達的缺失標記點預測方法,將傳統(tǒng)三維人體運動數(shù)據標記點缺失問題轉化為尋找已觀測到部分姿態(tài)數(shù)據的稀疏表達最優(yōu)化問題。為了緩解訓練數(shù)據集容量有限的問題,提出一種表達系數(shù)加權更新算法,用于對訓練數(shù)據集進行定時動態(tài)更新,有效地提高了預測算法的穩(wěn)定性。提出一種數(shù)據驅動的魯棒人體運動數(shù)據去噪算法,挖掘人體運動數(shù)據中存在的時空運動模式和結構性稀疏特性。與其他數(shù)據驅動算法比較,該算法不需要對訓練數(shù)據集進行特意挑選,在實際應用中更易于使用。大量的模擬和真實噪聲數(shù)據的對比測試表明,該算法始終優(yōu)于其他現(xiàn)有方法,輸出的人體運動更加穩(wěn)定可靠。提出一種非數(shù)據驅動的人體運動數(shù)據增強算法,在一個統(tǒng)一框架下同時解決人體運動數(shù)據增強所涉及到的數(shù)據補全和數(shù)據去噪兩個子問題。在構建算法目標函數(shù)時,不僅考慮人體運動數(shù)據的低秩結構特性和時序平穩(wěn)特性,而且將數(shù)據中噪聲因素也考慮進來。為了優(yōu)化求解該目標函數(shù),提出一種基于增廣拉格朗日乘子算法的迭代優(yōu)化方法,實現(xiàn)對目標函數(shù)的快速優(yōu)化求解。此外,提出一個可信數(shù)據檢測方法用來提高整個數(shù)據處理過程的自動化程度和提升算法性能。大量對比實驗驗證了本文所提算法在缺失數(shù)據補全和數(shù)據去噪兩個問題上的有效性。接著,在特征提取與選擇上,提出一種自適應無監(jiān)督多視圖特征選擇算法,用于從原始高維異構多視圖特征中選擇出一組具有區(qū)分性的緊湊特征子集作為特征表達。該方法成功地解決了現(xiàn)有特征選擇算法是針對單視圖(單特征)設計構造的,不能直接處理多視圖特征數(shù)據,無法充分利用不同視圖之間關聯(lián)性的問題。同時,提出一種局部回歸最優(yōu)化設計的主動學習算法,用于主動地對未標注的多模態(tài)數(shù)據樣本進行選擇,從而有效提高算法模型性能。在基于相關反饋的社交圖像檢索應用中,本文所提算法優(yōu)于其他對比算法。最后,在人體行為識別上,提出一種保持語義一致性的多模態(tài)特征融合與行為識別算法和一種多骨架特征融合與選擇算法。前者依據同一RGB-D數(shù)據樣本中不同模態(tài)數(shù)據包含相同的人體運動語義信息的特點,挖掘和利用不同模態(tài)數(shù)據之間存在的較強關聯(lián)性和互補性信息,從多模態(tài)中底層特征學習得到高層語義特征表達,用于多模態(tài)人體行為識別。后者從三維人體骨架數(shù)據中提取多種具有區(qū)分性特征表達,運用特征融合與選擇算法得到更具區(qū)分性的緊湊特征表達。在公共數(shù)據集上的大量對比實驗發(fā)現(xiàn)：該算法不僅所需計算量和存儲量少,而且識別準確率接近或高于已有研究工作。
【關鍵詞】：人體行為識別 多模態(tài)數(shù)據 稀疏表達 稀疏編碼 字典學習 數(shù)據驅動 運動捕獲 人體運動數(shù)據 特征選擇 主動學習 低秩矩陣填充
【學位授予單位】：浙江大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP391.41
【目錄】：

• 摘要3-5
• Abstract5-19
• 1 緒論19-29
• 1.1 研究背景19-23
• 1.2 研究問題及挑戰(zhàn)23-25
• 1.3 本文貢獻25-27
• 1.4 本文結構27-28
• 1.5 本章小結28-29
• 2 多模態(tài)人體行為識別相關技術綜述29-48
• 2.1 多模態(tài)數(shù)據的預處理技術29-42
• 2.1.1 視頻圖像數(shù)據的預處理30-33
• 2.1.2 深度圖像數(shù)據的預處理33-36
• 2.1.3 三維人體運動數(shù)據的預處理36-42
• 2.2 多模態(tài)數(shù)據特征選擇技術42-43
• 2.3 多模態(tài)人體行為識別技術43-47
• 2.4 本章小結47-48
• 3 三維人體運動數(shù)據增強技術48-106
• 3.1 研究動機與相關工作48-53
• 3.2 基于11稀疏表達的缺失標記點預測算法53-62
• 3.2.1 L1-SRMMP算法53-57
• 3.2.2 RCWU算法57
• 3.2.3 實驗結果57-62
• 3.3 基于數(shù)據驅動的魯棒人體運動數(shù)據去噪算法62-81
• 3.3.1 符合說明64
• 3.3.2 數(shù)據預處理64-67
• 3.3.3 采用魯棒字典學習的運動字典構造67-69
• 3.3.4 基于魯棒結構性稀疏編碼的人體運動去噪69-73
• 3.3.5 運動序列重建73
• 3.3.6 實驗結果73-81
• 3.4 基于時序平穩(wěn)與低秩結構的三維人體運動數(shù)據增強算法81-102
• 3.4.1 TSMC算法模型83-88
• 3.4.2 可信數(shù)據檢測方法88-91
• 3.4.3 優(yōu)化求解算法91-94
• 3.4.4 實驗結果94-102
• 3.5 本章小結102-106
• 4 多模態(tài)數(shù)據特征選擇技術106-124
• 4.1 研究背景與相關工作106-109
• 4.2 AUMFS算法109-117
• 4.2.1 符號說明109
• 4.2.2 目標函數(shù)109-114
• 4.2.3 優(yōu)化求解方法114-117
• 4.3 實驗結果117-120
• 4.4 本章小結120-124
• 5 多模態(tài)數(shù)據樣本選擇技術124-138
• 5.1 研究背景124-126
• 5.2 相關工作126-127
• 5.3 LROD算法127-131
• 5.3.1 局部回歸函數(shù)127-130
• 5.3.2 目標方程130-131
• 5.4 KLROD算法131-133
• 5.4.1 優(yōu)化求解132-133
• 5.5 實驗133-135
• 5.5.1 一個模擬數(shù)據例子133-134
• 5.5.2 社交圖像檢索實驗設計134-135
• 5.6 本章小結135-138
• 6 多模態(tài)人體行為識別技術138-179
• 6.1 保持語義內容一致性的多模態(tài)特征融合與行為識別139-154
• 6.1.1 研究動機與相關工作139-142
• 6.1.2 算法模型142-147
• 6.1.3 快速人體行為識別147-149
• 6.1.4 實驗結果149-154
• 6.2 基于多骨架特征融合與選擇的視點無關人體行為識別154-177
• 6.2.1 研究動機及相關工作154-157
• 6.2.2 多骨架特征構造與提取157-162
• 6.2.3 多特征融合與選擇162-167
• 6.2.4 優(yōu)化求解方法167-169
• 6.2.5 實驗結果169-177
• 6.3 本章小結177-179
• 7 總結與展望179-183
• 7.1 本文工作總結179-181
• 7.2 未來工作展望181-183
• 參考文獻183-210
• 攻讀博士學位期間主要的研究成果210-214
• 致謝214-215

【相似文獻】

中國期刊全文數(shù)據庫 前10條

1 劉相濱,向堅持,王勝春;人行為識別與理解研究探討[J];計算機與現(xiàn)代化;2004年12期

2 李寧;須德;傅曉英;袁玲;;結合人體運動特征的行為識別[J];北京交通大學學報;2009年02期

3 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測模型的多人行為識別[J];清華大學學報(自然科學版);2009年07期

4 吳聯(lián)世;夏利民;羅大庸;;人的交互行為識別與理解研究綜述[J];計算機應用與軟件;2011年11期

5 申曉霞;張樺;高贊;薛彥兵;徐光平;;一種魯棒的基于深度數(shù)據的行為識別算法[J];光電子.激光;2013年08期

6 鄭胤;陳權崎;章毓晉;;深度學習及其在目標和行為識別中的新進展[J];中國圖象圖形學報;2014年02期

7 曾青松;余明輝;賀衛(wèi)國;李玲;;一種行為識別的新方法[J];昆明理工大學學報(理工版);2009年06期

8 谷軍霞;丁曉青;王生進;;基于人體行為3D模型的2D行為識別[J];自動化學報;2010年01期

9 李英杰;尹怡欣;鄧飛;;一種有效的行為識別視頻特征[J];計算機應用;2011年02期

10 王新旭;;基于視覺的人體行為識別研究[J];中國新通信;2012年21期

中國重要會議論文全文數(shù)據庫 前7條

1 苗強;周興社;於志文;倪紅波;;一種非覺察式的睡眠行為識別技術研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

2 齊娟;陳益強;劉軍發(fā);;基于多模信息感知與融合的行為識別[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

3 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識別[A];2007中國控制與決策學術年會論文集[C];2007年

4 黃紫藤;吳玲達;;監(jiān)控視頻中簡單人物行為識別研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

5 安國成;羅志強;李洪研;;改進運動歷史圖的異常行為識別算法[A];第八屆中國智能交通年會優(yōu)秀論文集——智能交通與安全[C];2013年

6 王忠民;曹棟;;坐標轉換在移動用戶行為識別中的應用研究[A];2013年全國通信軟件學術會議論文集[C];2013年

7 劉威;李石堅;潘綱;;uRecorder:基于位置的社會行為自動日志[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

中國重要報紙全文數(shù)據庫 前4條

1 李晨光;導入CIS要注意什么？[N];河北經濟日報;2001年

2 農發(fā)行鹿邑支行黨支部書記 行長 劉永貞;發(fā)行形象與文化落地農[N];周口日報;2007年

3 東林;行為識別新技術讓監(jiān)控沒有“死角”[N];人民公安報;2007年

4 田凱　徐蕊 李政育 信木祥;博物館安全的國際經驗[N];中國文物報;2014年

中國博士學位論文全文數(shù)據庫 前10條

1 邵延華;基于計算機視覺的人體行為識別研究[D];重慶大學;2015年

2 仝鈺;基于條件隨機場的智能家居行為識別研究[D];大連海事大學;2015年

3 馮銀付;多模態(tài)人體行為識別技術研究[D];浙江大學;2015年

4 何衛(wèi)華;人體行為識別關鍵技術研究[D];重慶大學;2012年

5 吳秋霞;復雜場景下的人體行為識別[D];華南理工大學;2012年

6 于成龍;基于視頻的人體行為識別關鍵技術研究[D];哈爾濱工業(yè)大學;2014年

7 王亮;基于判別模式學習的人體行為識別方法研究[D];哈爾濱工業(yè)大學;2011年

8 付朝霞;基于視頻流的人體目標檢測與行為識別研究[D];中北大學;2013年

9 趙海勇;基于視頻流的運動人體行為識別研究[D];西安電子科技大學;2011年

10 石欣;基于壓力感知步態(tài)的運動人體行為識別研究[D];重慶大學;2010年

中國碩士學位論文全文數(shù)據庫 前10條

1 陳鈺昕;基于時空特性的人體行為識別研究[D];燕山大學;2015年

2 任亮;智能車環(huán)境下車輛典型行為識別方法研究[D];長安大學;2015年

3 金澤豪;并行化的人體行為識別方法研究與實現(xiàn)[D];華南理工大學;2015年

4 王呈;穿戴式多傳感器人體日�；顒颖O(jiān)測系統(tǒng)設計與實現(xiàn)[D];南京理工大學;2015年

5 王露;基于稀疏時空特征的人體行為識別研究[D];蘇州大學;2015年

6 于靜;基于物品信息和人體深度信息的行為識別研究[D];山東大學;2015年

7 章瑜;人體運動行為識別相關方法研究[D];南京師范大學;2015年

8 趙揚;家庭智能空間下基于行走軌跡的人體行為理解[D];山東大學;2015年

9 王曉龍;基于軌跡分析的暴力行為識別算法研究[D];上海交通大學;2015年

10 張偉;智能空間下基于非視覺傳感器數(shù)據的人體行為識別方法研究[D];山東大學;2015年

，

本文編號：1110808