自動準確識別監(jiān)控視頻中的異常行為在安防領域具有廣泛的應用前景.本文提出一種基于3D-LCRN(3D Long-short-term Convolutional Recurrent Network)視覺時序模型的視頻異常行為識別方法.首先,基于視頻圖像幀間的結構相似性,結合光照感應與光照補償機制進行背景建模,獲取對光照突變與背景運動不敏感的矯正光流場與矯正運動歷史圖.同時,針對異常與正常行為視頻數據失衡問題,計算三通道矯正光流運動歷史圖COFMHI(corrected optical flow motion history image),隨機提取視覺詞塊進行聚類,對樣本數量與維度進行雙向擴充,充分獲取樣本的微分和積分運動信息.在此基礎上,采用3D-CNN深度學習網絡模型對COFMHI進行學習,獲取局部短時序時空-域特征,結合可學習貢獻因子加權的LSTM網絡以壓制無關、冗余、具有混淆性的視頻片段,進一步提取由短時序-長時序,由局部-全局的多層次時-空域特征用于異常行為識別.通過與同類方法的客觀定量對比,實驗結果表明,本文方法在光照突變與背景運動等復雜場景下具有優(yōu)異的異常行為識別性能,進一步...

【文章頁數】：11 頁

【部分圖文】：

圖1結構相似性建模中間結果展示Fig．1Experimentalresultsduringstructuralsimilaritymodeling

)為背景圖像Bt－1在點(x，y)處的亮度，lt(x，y)為輸入圖像It在點(x，y)處的亮度，μ1和μ2分別是lt－1(x，y)和lt(x，y)的局部均值，σ1和σ2分別是lt－1(x，y)和lt(x，y)的局部方差，σ1，2是lt－1(x，y)和lt(x，y)之間的協方差(上....

圖3結構相似性建模得到的背景與前景圖像Fig．3Backgroundandforegroundimagesobtainedfromstructuralsimilaritymodeling

部分實驗結果如圖4所示．其中，圖2(a)～(b)分別為前、后幀輸入灰度圖像(以前景圖像F為掩碼得到);圖2(c)～(e)分別為權重函數w、擴展系數A、擴展系數ΔB;圖2(f)～(h)分別為矯正光流場d在x方向的分量、矯正光流場d在y方向的分量與矯正運動歷史圖H．圖3結構相似性建模....

圖5矯正光流運動歷史圖Fig．5Correctedopticalflowmotionhistoryimage

d(i，j)=∑nx=1∑ny=1∑Tt=1∑ＲGB(Si－Kj)槡2，SE=∑Kj=1∑Si∈Kjd(i，j)2，式中:Si為第i個聚類樣本，Kj為第j個聚類中心．實驗中，T為16，N為20，K=［FN/(3T)］，n=［wh/槡4］．式中:F為異常視頻剪輯片段數，w、h為分別....

圖8LSTM記憶細胞結構Fig．8Thestructureofthelongshort-termmemorycell

出和存儲在該記憶細胞中的過去態(tài)進行更新，見式(3)～(7)．最后，基于LSTM輸出計算每個時刻的類別概率分布P(yt)，通過對重疊片段的所有預測結果求平均值來獲得每幀圖像的所屬類別，以實現正常與異常行為識別，見式(8)、(9)．3D-LCＲN的結構特性，使其能夠在長時序間橋接重要....

本文編號：3927264