視頻監(jiān)控中的行人再識別算法研究
發(fā)布時間:2020-08-28 19:51
近年來,面向平安城市、智慧城市等安防工程的重大需求,視頻監(jiān)控系統(tǒng)已經(jīng)在全國各地被廣泛地部署。大規(guī)模視頻監(jiān)控網(wǎng)絡每天產(chǎn)生海量的視頻數(shù)據(jù),傳統(tǒng)的人工數(shù)據(jù)分析手段已遠不能滿足現(xiàn)階段的安防需求。因此智能視頻監(jiān)控系統(tǒng)備受科研機構和公安部門關注。行人再識別是智能視頻監(jiān)控系統(tǒng)中的關鍵一環(huán),該技術旨在判斷不同攝像頭采集到的不同行人圖像/視頻是否為同一目標行人。行人再識別技術能夠在大規(guī)模數(shù)據(jù)庫中對特定行人進行快速有效地檢索追蹤,它已成為計算機視覺和多媒體分析等領域的熱門研究方向。由于實際監(jiān)控環(huán)境復雜多變,傳統(tǒng)可靠的生物特征無法有效獲取,行人再識別技術目前主要依靠外觀信息識別不同行人。而由于視角變化、光照變化、遮擋等因素影響,精確且魯棒的行人再識別仍然是十分有挑戰(zhàn)性的任務。本文對行人再識別進行了深入和系統(tǒng)性研究,根據(jù)不同的特征信息和應用場景,從四個方向設計不同的算法模型,提升行人再識別的性能。主要研究內容和創(chuàng)新如下:(1)基于外觀信息的行人再識別。本文基于深度學習技術,設計了兩種不同的網(wǎng)絡模型。1.多尺度三元組卷積神經(jīng)網(wǎng)絡,該模型聯(lián)合特征提取與度量學習,從圖像中抽取多尺度的外觀信息,學習具有區(qū)分力的行人特征。此外,該網(wǎng)絡提出一種改進的三元組損失函數(shù)來優(yōu)化模型。2.聯(lián)合上下文及比較性注意力的卷積神經(jīng)網(wǎng)絡,它利用人體部位間的關聯(lián)性提取上下文感知特征,同時使用注意力比較模塊提取注意力感知比較特征。最后聯(lián)合這兩種互補的特征學習更有效的行人特征。實驗結果表明了這兩種網(wǎng)絡模型的有效性,并取得高識別精度。(2)基于外觀信息及語義屬性的行人再識別。針對外觀特征易受到不同因素干擾,魯棒性能較差,本文提出聯(lián)合語義屬性和視覺外觀兩種不同特征,設計了一種基于上下文及注意力的屬性外觀網(wǎng)絡模型,以此自動學習具有分辨力和魯棒性的行人特征,提升網(wǎng)絡模型的魯棒性能。在多個圖像數(shù)據(jù)集上的實驗結果表明該網(wǎng)絡能夠提取有效的行人特征,并取得較高的識別性能。(3)基于外觀和時序信息的行人再識別。相較于圖像,視頻序列蘊含更豐富的時序信息。為了充分利用這些信息,本文提出了一種稠密3D卷積神經(jīng)網(wǎng)絡。該網(wǎng)絡結合3D卷積操作和殘差模塊,能夠自動地從視頻序列中學習有效的外觀和時空特征。同時它使用識別損失和中心損失進行聯(lián)合優(yōu)化,學習更具區(qū)分性的行人特征。在兩個公開的視頻數(shù)據(jù)集上的實驗結果,驗證了該方法的有效性。(4)基于跨領域匹配的行人再識別,F(xiàn)有方法泛化性能較差,導致其難以在實際場景應用。本文針對這個問題,提出一種自適應遷移網(wǎng)絡。該模型深入研究產(chǎn)生域間差異的“黑盒子”,將復雜的跨域轉換任務分解為一組中間子任務,并根據(jù)不同因素的影響自適應地生成更加符合目標域風格的圖像,提升模型的泛化性能。在多個圖像數(shù)據(jù)集上的實驗結果,表明了該方法能夠有效地縮小域間差異,提升跨域識別率。
【學位單位】:中國科學技術大學
【學位級別】:博士
【學位年份】:2019
【中圖分類】:TN948.6;TP391.41
【部分圖文】:
行人逡逑圖1.2行人再識別系統(tǒng)框架流程圖逡逑一個完整的行人再識別系統(tǒng)可分為兩個部分,如圖1.2所示:I.行人檢測,逡逑2.行人匹配。目前大部分研宄工作都集中在“行人匹配”這一部分。用g和逡逑5=邋{仍,仍,..?,分n}分別表示目標行人圖像/視頻和待查詢行人數(shù)據(jù)庫,我們可以逡逑將行人再識別任務抽象成數(shù)學公式來描述:逡逑8邋=邋argmin邋D(flfi,g),邋gt邋G邋3邐(l.l)逡逑e逡逑3逡逑
邐/邋B邐'逡逑圖1.4基于顯著性標準顏色描述子的示例圖,顯著性標準顏色的數(shù)值表示該組標準顏色的逡逑概率逡逑顏色空間的統(tǒng)計直方圖描述子和SIFT局部特征描述子。Ma等人[21]結合生物啟逡逑發(fā)特征描述子和協(xié)方差特征描述子,提出一種gBiCov特征。其中協(xié)方差特征描逡逑述子是將原始行人圖像轉入到HSV顏色空間中,并分別對不同的顏色通過進行逡逑多尺度的Gabor濾波特征提取,再將得到濾波器特征的差分圖像劃分為32邋X邋2逡逑的稠密網(wǎng)格區(qū)域,并計算出各個網(wǎng)格區(qū)域內的協(xié)方差特征描述子。因此gBiCov逡逑特征具有抗背景和光照干擾的能力。Liao等人[22]提出一種局部最大出現(xiàn)概率特逡逑征(LOMO),它是近幾年來基于稠密網(wǎng)絡劃分策略的手工設計特征中,性能最逡逑為成功的一種特征表達。LOMO特征描述子采用10X10的稠密網(wǎng)格劃分和5邋X邋5逡逑的移動間隔步長。在從圖像各個網(wǎng)格中提。龋樱纸y(tǒng)計直方圖特征和兩種不同尺逡逑度下的尺度不變性局部三元模式(ScalelnvariantLocal邋Ternary邋Pattern,邋SILTP)特征逡逑后,對同一高度的網(wǎng)格區(qū)域內提取的特征作最大池化(Max邋Pooling)運算,從而逡逑生成最顯著的局部不變性特征。同時
生成最顯著的局部不變性特征。同時,LOMO特征對圖像還采用Retinex增強技逡逑術進行預處理來降低不同相機視角下的圖像光照差異照成的千擾。該特征提出逡逑的過程如圖1.5所示。逡逑Q邐B邐mo逡逑(1邋I邋I邐;——|jL_.逡逑IH邐occurs邋A??逡逑B邐§邐I逡逑■邐■邐U逡逑image邋Patc?>es邐Histogmm逡逑Original邋Image逡逑圖1.5從行人圖像中提出LOMO特征的過程展示逡逑目前,很多相關方法都是基于低層次視覺特征實現(xiàn)的,然而在人類識別不同逡逑7逡逑
【學位單位】:中國科學技術大學
【學位級別】:博士
【學位年份】:2019
【中圖分類】:TN948.6;TP391.41
【部分圖文】:
行人逡逑圖1.2行人再識別系統(tǒng)框架流程圖逡逑一個完整的行人再識別系統(tǒng)可分為兩個部分,如圖1.2所示:I.行人檢測,逡逑2.行人匹配。目前大部分研宄工作都集中在“行人匹配”這一部分。用g和逡逑5=邋{仍,仍,..?,分n}分別表示目標行人圖像/視頻和待查詢行人數(shù)據(jù)庫,我們可以逡逑將行人再識別任務抽象成數(shù)學公式來描述:逡逑8邋=邋argmin邋D(flfi,g),邋gt邋G邋3邐(l.l)逡逑e逡逑3逡逑
邐/邋B邐'逡逑圖1.4基于顯著性標準顏色描述子的示例圖,顯著性標準顏色的數(shù)值表示該組標準顏色的逡逑概率逡逑顏色空間的統(tǒng)計直方圖描述子和SIFT局部特征描述子。Ma等人[21]結合生物啟逡逑發(fā)特征描述子和協(xié)方差特征描述子,提出一種gBiCov特征。其中協(xié)方差特征描逡逑述子是將原始行人圖像轉入到HSV顏色空間中,并分別對不同的顏色通過進行逡逑多尺度的Gabor濾波特征提取,再將得到濾波器特征的差分圖像劃分為32邋X邋2逡逑的稠密網(wǎng)格區(qū)域,并計算出各個網(wǎng)格區(qū)域內的協(xié)方差特征描述子。因此gBiCov逡逑特征具有抗背景和光照干擾的能力。Liao等人[22]提出一種局部最大出現(xiàn)概率特逡逑征(LOMO),它是近幾年來基于稠密網(wǎng)絡劃分策略的手工設計特征中,性能最逡逑為成功的一種特征表達。LOMO特征描述子采用10X10的稠密網(wǎng)格劃分和5邋X邋5逡逑的移動間隔步長。在從圖像各個網(wǎng)格中提。龋樱纸y(tǒng)計直方圖特征和兩種不同尺逡逑度下的尺度不變性局部三元模式(ScalelnvariantLocal邋Ternary邋Pattern,邋SILTP)特征逡逑后,對同一高度的網(wǎng)格區(qū)域內提取的特征作最大池化(Max邋Pooling)運算,從而逡逑生成最顯著的局部不變性特征。同時
生成最顯著的局部不變性特征。同時,LOMO特征對圖像還采用Retinex增強技逡逑術進行預處理來降低不同相機視角下的圖像光照差異照成的千擾。該特征提出逡逑的過程如圖1.5所示。逡逑Q邐B邐mo逡逑(1邋I邋I邐;——|jL_.逡逑IH邐occurs邋A??逡逑B邐§邐I逡逑■邐■邐U逡逑image邋Patc?>es邐Histogmm逡逑Original邋Image逡逑圖1.5從行人圖像中提出LOMO特征的過程展示逡逑目前,很多相關方法都是基于低層次視覺特征實現(xiàn)的,然而在人類識別不同逡逑7逡逑
【相似文獻】
相關期刊論文 前10條
1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡拐點預測法[J];金融經(jīng)濟;2017年18期
2 鮑偉強;陳娟;熊濤;;基于進化神經(jīng)網(wǎng)絡的短期電力負荷預測研究[J];電工技術;2019年11期
3 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡大會述評[J];國際學術動態(tài);1996年01期
4 吳立可;;脈沖神經(jīng)網(wǎng)絡和行為識別[J];通訊世界;2018年12期
5 林嘉應;鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡的船舶分類模型[J];信息技術與信息化;2019年02期
6 俞頌華;;卷積神經(jīng)網(wǎng)絡的發(fā)展與應用綜述[J];信息通信;2019年02期
7 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡的通用理論建造基石[J];世界科學;2019年04期
8 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設計研究[J];數(shù)字技術與應用;2018年04期
9 張庭略;;基于硬件的神經(jīng)網(wǎng)絡加速[J];通訊世界;2018年08期
10 蘇秀婷;;耦合神經(jīng)網(wǎng)絡的同步[J];紹興文理學院學報(自然科學);2016年03期
相關會議論文 前10條
1 孫軍田;張U
本文編號:2808074
本文鏈接:http://sikaile.net/kejilunwen/xinxigongchenglunwen/2808074.html
最近更新
教材專著