本文關(guān)鍵詞：多模態(tài)人體行為識(shí)別技術(shù)研究

  更多相關(guān)文章： 人體行為識(shí)別 多模態(tài)數(shù)據(jù) 稀疏表達(dá) 稀疏編碼 字典學(xué)習(xí) 數(shù)據(jù)驅(qū)動(dòng) 運(yùn)動(dòng)捕獲 人體運(yùn)動(dòng)數(shù)據(jù) 特征選擇 主動(dòng)學(xué)習(xí) 低秩矩陣填充

【摘要】：隨著近年來(lái)各式新型傳感器(如微軟的Kinect)的不斷問世,多模態(tài)人體行為識(shí)別研究逐漸成為計(jì)算機(jī)視覺領(lǐng)域內(nèi)一個(gè)新的研究熱點(diǎn)。相關(guān)研究成果可以廣泛應(yīng)用到智能視頻監(jiān)控、互動(dòng)娛樂、視頻內(nèi)容的分析與檢索等應(yīng)用中。本文按照多模態(tài)數(shù)據(jù)預(yù)處理、特征提取與選擇、人體行為識(shí)別這三個(gè)主要步驟,圍繞多模態(tài)人體行為識(shí)別這一主題開展一系列研究工作,取得以下成果：首先,在多模態(tài)數(shù)據(jù)處理方面,針對(duì)三維人體運(yùn)動(dòng)數(shù)據(jù)補(bǔ)全和去噪問題,分別提出三種新算法。提出一種采用l1稀疏表達(dá)的缺失標(biāo)記點(diǎn)預(yù)測(cè)方法,將傳統(tǒng)三維人體運(yùn)動(dòng)數(shù)據(jù)標(biāo)記點(diǎn)缺失問題轉(zhuǎn)化為尋找已觀測(cè)到部分姿態(tài)數(shù)據(jù)的稀疏表達(dá)最優(yōu)化問題。為了緩解訓(xùn)練數(shù)據(jù)集容量有限的問題,提出一種表達(dá)系數(shù)加權(quán)更新算法,用于對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行定時(shí)動(dòng)態(tài)更新,有效地提高了預(yù)測(cè)算法的穩(wěn)定性。提出一種數(shù)據(jù)驅(qū)動(dòng)的魯棒人體運(yùn)動(dòng)數(shù)據(jù)去噪算法,挖掘人體運(yùn)動(dòng)數(shù)據(jù)中存在的時(shí)空運(yùn)動(dòng)模式和結(jié)構(gòu)性稀疏特性。與其他數(shù)據(jù)驅(qū)動(dòng)算法比較,該算法不需要對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行特意挑選,在實(shí)際應(yīng)用中更易于使用。大量的模擬和真實(shí)噪聲數(shù)據(jù)的對(duì)比測(cè)試表明,該算法始終優(yōu)于其他現(xiàn)有方法,輸出的人體運(yùn)動(dòng)更加穩(wěn)定可靠。提出一種非數(shù)據(jù)驅(qū)動(dòng)的人體運(yùn)動(dòng)數(shù)據(jù)增強(qiáng)算法,在一個(gè)統(tǒng)一框架下同時(shí)解決人體運(yùn)動(dòng)數(shù)據(jù)增強(qiáng)所涉及到的數(shù)據(jù)補(bǔ)全和數(shù)據(jù)去噪兩個(gè)子問題。在構(gòu)建算法目標(biāo)函數(shù)時(shí),不僅考慮人體運(yùn)動(dòng)數(shù)據(jù)的低秩結(jié)構(gòu)特性和時(shí)序平穩(wěn)特性,而且將數(shù)據(jù)中噪聲因素也考慮進(jìn)來(lái)。為了優(yōu)化求解該目標(biāo)函數(shù),提出一種基于增廣拉格朗日乘子算法的迭代優(yōu)化方法,實(shí)現(xiàn)對(duì)目標(biāo)函數(shù)的快速優(yōu)化求解。此外,提出一個(gè)可信數(shù)據(jù)檢測(cè)方法用來(lái)提高整個(gè)數(shù)據(jù)處理過程的自動(dòng)化程度和提升算法性能。大量對(duì)比實(shí)驗(yàn)驗(yàn)證了本文所提算法在缺失數(shù)據(jù)補(bǔ)全和數(shù)據(jù)去噪兩個(gè)問題上的有效性。接著,在特征提取與選擇上,提出一種自適應(yīng)無(wú)監(jiān)督多視圖特征選擇算法,用于從原始高維異構(gòu)多視圖特征中選擇出一組具有區(qū)分性的緊湊特征子集作為特征表達(dá)。該方法成功地解決了現(xiàn)有特征選擇算法是針對(duì)單視圖(單特征)設(shè)計(jì)構(gòu)造的,不能直接處理多視圖特征數(shù)據(jù),無(wú)法充分利用不同視圖之間關(guān)聯(lián)性的問題。同時(shí),提出一種局部回歸最優(yōu)化設(shè)計(jì)的主動(dòng)學(xué)習(xí)算法,用于主動(dòng)地對(duì)未標(biāo)注的多模態(tài)數(shù)據(jù)樣本進(jìn)行選擇,從而有效提高算法模型性能。在基于相關(guān)反饋的社交圖像檢索應(yīng)用中,本文所提算法優(yōu)于其他對(duì)比算法。最后,在人體行為識(shí)別上,提出一種保持語(yǔ)義一致性的多模態(tài)特征融合與行為識(shí)別算法和一種多骨架特征融合與選擇算法。前者依據(jù)同一RGB-D數(shù)據(jù)樣本中不同模態(tài)數(shù)據(jù)包含相同的人體運(yùn)動(dòng)語(yǔ)義信息的特點(diǎn),挖掘和利用不同模態(tài)數(shù)據(jù)之間存在的較強(qiáng)關(guān)聯(lián)性和互補(bǔ)性信息,從多模態(tài)中底層特征學(xué)習(xí)得到高層語(yǔ)義特征表達(dá),用于多模態(tài)人體行為識(shí)別。后者從三維人體骨架數(shù)據(jù)中提取多種具有區(qū)分性特征表達(dá),運(yùn)用特征融合與選擇算法得到更具區(qū)分性的緊湊特征表達(dá)。在公共數(shù)據(jù)集上的大量對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)：該算法不僅所需計(jì)算量和存儲(chǔ)量少,而且識(shí)別準(zhǔn)確率接近或高于已有研究工作。
【關(guān)鍵詞】：人體行為識(shí)別 多模態(tài)數(shù)據(jù) 稀疏表達(dá) 稀疏編碼 字典學(xué)習(xí) 數(shù)據(jù)驅(qū)動(dòng) 運(yùn)動(dòng)捕獲 人體運(yùn)動(dòng)數(shù)據(jù) 特征選擇 主動(dòng)學(xué)習(xí) 低秩矩陣填充
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.41
【目錄】：

• 摘要3-5
• Abstract5-19
• 1 緒論19-29
• 1.1 研究背景19-23
• 1.2 研究問題及挑戰(zhàn)23-25
• 1.3 本文貢獻(xiàn)25-27
• 1.4 本文結(jié)構(gòu)27-28
• 1.5 本章小結(jié)28-29
• 2 多模態(tài)人體行為識(shí)別相關(guān)技術(shù)綜述29-48
• 2.1 多模態(tài)數(shù)據(jù)的預(yù)處理技術(shù)29-42
• 2.1.1 視頻圖像數(shù)據(jù)的預(yù)處理30-33
• 2.1.2 深度圖像數(shù)據(jù)的預(yù)處理33-36
• 2.1.3 三維人體運(yùn)動(dòng)數(shù)據(jù)的預(yù)處理36-42
• 2.2 多模態(tài)數(shù)據(jù)特征選擇技術(shù)42-43
• 2.3 多模態(tài)人體行為識(shí)別技術(shù)43-47
• 2.4 本章小結(jié)47-48
• 3 三維人體運(yùn)動(dòng)數(shù)據(jù)增強(qiáng)技術(shù)48-106
• 3.1 研究動(dòng)機(jī)與相關(guān)工作48-53
• 3.2 基于11稀疏表達(dá)的缺失標(biāo)記點(diǎn)預(yù)測(cè)算法53-62
• 3.2.1 L1-SRMMP算法53-57
• 3.2.2 RCWU算法57
• 3.2.3 實(shí)驗(yàn)結(jié)果57-62
• 3.3 基于數(shù)據(jù)驅(qū)動(dòng)的魯棒人體運(yùn)動(dòng)數(shù)據(jù)去噪算法62-81
• 3.3.1 符合說(shuō)明64
• 3.3.2 數(shù)據(jù)預(yù)處理64-67
• 3.3.3 采用魯棒字典學(xué)習(xí)的運(yùn)動(dòng)字典構(gòu)造67-69
• 3.3.4 基于魯棒結(jié)構(gòu)性稀疏編碼的人體運(yùn)動(dòng)去噪69-73
• 3.3.5 運(yùn)動(dòng)序列重建73
• 3.3.6 實(shí)驗(yàn)結(jié)果73-81
• 3.4 基于時(shí)序平穩(wěn)與低秩結(jié)構(gòu)的三維人體運(yùn)動(dòng)數(shù)據(jù)增強(qiáng)算法81-102
• 3.4.1 TSMC算法模型83-88
• 3.4.2 可信數(shù)據(jù)檢測(cè)方法88-91
• 3.4.3 優(yōu)化求解算法91-94
• 3.4.4 實(shí)驗(yàn)結(jié)果94-102
• 3.5 本章小結(jié)102-106
• 4 多模態(tài)數(shù)據(jù)特征選擇技術(shù)106-124
• 4.1 研究背景與相關(guān)工作106-109
• 4.2 AUMFS算法109-117
• 4.2.1 符號(hào)說(shuō)明109
• 4.2.2 目標(biāo)函數(shù)109-114
• 4.2.3 優(yōu)化求解方法114-117
• 4.3 實(shí)驗(yàn)結(jié)果117-120
• 4.4 本章小結(jié)120-124
• 5 多模態(tài)數(shù)據(jù)樣本選擇技術(shù)124-138
• 5.1 研究背景124-126
• 5.2 相關(guān)工作126-127
• 5.3 LROD算法127-131
• 5.3.1 局部回歸函數(shù)127-130
• 5.3.2 目標(biāo)方程130-131
• 5.4 KLROD算法131-133
• 5.4.1 優(yōu)化求解132-133
• 5.5 實(shí)驗(yàn)133-135
• 5.5.1 一個(gè)模擬數(shù)據(jù)例子133-134
• 5.5.2 社交圖像檢索實(shí)驗(yàn)設(shè)計(jì)134-135
• 5.6 本章小結(jié)135-138
• 6 多模態(tài)人體行為識(shí)別技術(shù)138-179
• 6.1 保持語(yǔ)義內(nèi)容一致性的多模態(tài)特征融合與行為識(shí)別139-154
• 6.1.1 研究動(dòng)機(jī)與相關(guān)工作139-142
• 6.1.2 算法模型142-147
• 6.1.3 快速人體行為識(shí)別147-149
• 6.1.4 實(shí)驗(yàn)結(jié)果149-154
• 6.2 基于多骨架特征融合與選擇的視點(diǎn)無(wú)關(guān)人體行為識(shí)別154-177
• 6.2.1 研究動(dòng)機(jī)及相關(guān)工作154-157
• 6.2.2 多骨架特征構(gòu)造與提取157-162
• 6.2.3 多特征融合與選擇162-167
• 6.2.4 優(yōu)化求解方法167-169
• 6.2.5 實(shí)驗(yàn)結(jié)果169-177
• 6.3 本章小結(jié)177-179
• 7 總結(jié)與展望179-183
• 7.1 本文工作總結(jié)179-181
• 7.2 未來(lái)工作展望181-183
• 參考文獻(xiàn)183-210
• 攻讀博士學(xué)位期間主要的研究成果210-214
• 致謝214-215

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 劉相濱,向堅(jiān)持,王勝春;人行為識(shí)別與理解研究探討[J];計(jì)算機(jī)與現(xiàn)代化;2004年12期

2 李寧;須德;傅曉英;袁玲;;結(jié)合人體運(yùn)動(dòng)特征的行為識(shí)別[J];北京交通大學(xué)學(xué)報(bào);2009年02期

3 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測(cè)模型的多人行為識(shí)別[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年07期

4 吳聯(lián)世;夏利民;羅大庸;;人的交互行為識(shí)別與理解研究綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

5 申曉霞;張樺;高贊;薛彥兵;徐光平;;一種魯棒的基于深度數(shù)據(jù)的行為識(shí)別算法[J];光電子.激光;2013年08期

6 鄭胤;陳權(quán)崎;章毓晉;;深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J];中國(guó)圖象圖形學(xué)報(bào);2014年02期

7 曾青松;余明輝;賀衛(wèi)國(guó);李玲;;一種行為識(shí)別的新方法[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年06期

8 谷軍霞;丁曉青;王生進(jìn);;基于人體行為3D模型的2D行為識(shí)別[J];自動(dòng)化學(xué)報(bào);2010年01期

9 李英杰;尹怡欣;鄧飛;;一種有效的行為識(shí)別視頻特征[J];計(jì)算機(jī)應(yīng)用;2011年02期

10 王新旭;;基于視覺的人體行為識(shí)別研究[J];中國(guó)新通信;2012年21期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 苗強(qiáng);周興社;於志文;倪紅波;;一種非覺察式的睡眠行為識(shí)別技術(shù)研究[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

2 齊娟;陳益強(qiáng);劉軍發(fā);;基于多模信息感知與融合的行為識(shí)別[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

3 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識(shí)別[A];2007中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2007年

4 黃紫藤;吳玲達(dá);;監(jiān)控視頻中簡(jiǎn)單人物行為識(shí)別研究[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

5 安國(guó)成;羅志強(qiáng);李洪研;;改進(jìn)運(yùn)動(dòng)歷史圖的異常行為識(shí)別算法[A];第八屆中國(guó)智能交通年會(huì)優(yōu)秀論文集——智能交通與安全[C];2013年

6 王忠民;曹棟;;坐標(biāo)轉(zhuǎn)換在移動(dòng)用戶行為識(shí)別中的應(yīng)用研究[A];2013年全國(guó)通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

7 劉威;李石堅(jiān);潘綱;;uRecorder:基于位置的社會(huì)行為自動(dòng)日志[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前4條

1 李晨光;導(dǎo)入CIS要注意什么？[N];河北經(jīng)濟(jì)日?qǐng)?bào);2001年

2 農(nóng)發(fā)行鹿邑支行黨支部書記 行長(zhǎng) 劉永貞;發(fā)行形象與文化落地農(nóng)[N];周口日?qǐng)?bào);2007年

3 東林;行為識(shí)別新技術(shù)讓監(jiān)控沒有“死角”[N];人民公安報(bào);2007年

4 田凱　徐蕊 李政育 信木祥;博物館安全的國(guó)際經(jīng)驗(yàn)[N];中國(guó)文物報(bào);2014年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 邵延華;基于計(jì)算機(jī)視覺的人體行為識(shí)別研究[D];重慶大學(xué);2015年

2 仝鈺;基于條件隨機(jī)場(chǎng)的智能家居行為識(shí)別研究[D];大連海事大學(xué);2015年

3 馮銀付;多模態(tài)人體行為識(shí)別技術(shù)研究[D];浙江大學(xué);2015年

4 何衛(wèi)華;人體行為識(shí)別關(guān)鍵技術(shù)研究[D];重慶大學(xué);2012年

5 吳秋霞;復(fù)雜場(chǎng)景下的人體行為識(shí)別[D];華南理工大學(xué);2012年

6 于成龍;基于視頻的人體行為識(shí)別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2014年

7 王亮;基于判別模式學(xué)習(xí)的人體行為識(shí)別方法研究[D];哈爾濱工業(yè)大學(xué);2011年

8 付朝霞;基于視頻流的人體目標(biāo)檢測(cè)與行為識(shí)別研究[D];中北大學(xué);2013年

9 趙海勇;基于視頻流的運(yùn)動(dòng)人體行為識(shí)別研究[D];西安電子科技大學(xué);2011年

10 石欣;基于壓力感知步態(tài)的運(yùn)動(dòng)人體行為識(shí)別研究[D];重慶大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 陳鈺昕;基于時(shí)空特性的人體行為識(shí)別研究[D];燕山大學(xué);2015年

2 任亮;智能車環(huán)境下車輛典型行為識(shí)別方法研究[D];長(zhǎng)安大學(xué);2015年

3 金澤豪;并行化的人體行為識(shí)別方法研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

4 王呈;穿戴式多傳感器人體日�；顒�(dòng)監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];南京理工大學(xué);2015年

5 王露;基于稀疏時(shí)空特征的人體行為識(shí)別研究[D];蘇州大學(xué);2015年

6 于靜;基于物品信息和人體深度信息的行為識(shí)別研究[D];山東大學(xué);2015年

7 章瑜;人體運(yùn)動(dòng)行為識(shí)別相關(guān)方法研究[D];南京師范大學(xué);2015年

8 趙揚(yáng);家庭智能空間下基于行走軌跡的人體行為理解[D];山東大學(xué);2015年

9 王曉龍;基于軌跡分析的暴力行為識(shí)別算法研究[D];上海交通大學(xué);2015年

10 張偉;智能空間下基于非視覺傳感器數(shù)據(jù)的人體行為識(shí)別方法研究[D];山東大學(xué);2015年

，

本文編號(hào)：1110808