傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(CNN)只適用于灰度圖像或彩色圖像分通道的特征提取,忽視了通道間的空間依賴性,破壞了真實(shí)環(huán)境的顏色特征,從而影響人體行為識(shí)別的準(zhǔn)確率。為了解決上述問(wèn)題,提出一種基于四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)(QST-CNN)的人體行為識(shí)別方法。首先,采用碼本算法預(yù)處理樣本集所有圖像,提取圖像中人體運(yùn)動(dòng)的關(guān)鍵區(qū)域;然后將彩色圖像的四元數(shù)矩陣形式作為網(wǎng)絡(luò)的輸入,并將CNN的空間卷積層擴(kuò)展為四元數(shù)空間卷積層,將彩色圖像的紅、綠、藍(lán)通道看作一個(gè)整體進(jìn)行動(dòng)作空間特征的提取,并在時(shí)間卷積層提取相鄰幀的動(dòng)態(tài)信息;最后,比較QST-CNN、灰度單通道CNN(Gray-CNN)和RGB 3通道CNN(3Channel-CNN)3種方法的識(shí)別率。實(shí)驗(yàn)結(jié)果表明,所提方法優(yōu)于其他流行方法,在Weizmann和UCF sports數(shù)據(jù)集分別取得了85.34%和80.2%的識(shí)別率。

【文章頁(yè)數(shù)】：8 頁(yè)

【部分圖文】：

圖I人體運(yùn)動(dòng)關(guān)鍵區(qū)域提取示例

第１１期??孟勃等：基于四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別??２６４５??式中：〇：（〇（?＜?１）和識(shí)／３?＞?１）為亮度范圍的閾值。另外，??顏色標(biāo)準(zhǔn)定義為：??ＣＣ；（?＊，，�。�，?）＝??Ｊ（Ｒ２?＋?Ｇ２?＋?Ｂ２）－??（Ｒ，Ｒ?＋?Ｇ，Ｇ?＋?Ｂ，Ｂ）??Ｒ，２....

圖2QST-GNN的網(wǎng)絡(luò)結(jié)構(gòu)

第１１期??孟勃等：基于四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別??２６４５??式中：〇：（〇（?＜?１）和識(shí)／３?＞?１）為亮度范圍的閾值。另外，??顏色標(biāo)準(zhǔn)定義為：??ＣＣ；（?＊，，�。�，?）＝??Ｊ（Ｒ２?＋?Ｇ２?＋?Ｂ２）－??（Ｒ，Ｒ?＋?Ｇ，Ｇ?＋?Ｂ，Ｂ）??Ｒ，２....

圖3Gray-CNN和3Channel-CNN的結(jié)構(gòu)

２６４６??儀器儀表學(xué)報(bào)??第３?８卷??１）

圖５?ＵＣＦ?ｓｐｏｒｔｓ數(shù)據(jù)集上本文方法的混淆矩陣??Ｆｉｇ．?５?Ｃｏｎｆｕｓｉｏｎ?ｍａｔｒｉｘ?ｆｏｒ?ｔｈｅ?ＵＣＦ?ｓｐｏｒｔｓ?ｄａｔａｓｅｔ??

２６４８??儀器儀表學(xué)報(bào)??第３?８卷??跳水??打高爾夫??踢球??舉重??騎馬??跑少??滑板??鞍馬??單雙杠??行走??％％?％?％?＼?％??圖５?ＵＣＦ?ｓｐｏｒｔｓ數(shù)據(jù)集上本文方法的混淆矩陣??Ｆｉｇ．?５?Ｃｏｎｆｕｓｉｏｎ?ｍａｔｒｉｘ?ｆｏｒ?ｔｈｅ?ＵＣＦ?....

本文編號(hào)：3983824