【摘要】：隨著智能監(jiān)控的發(fā)展,產(chǎn)生了大量的監(jiān)控數(shù)據(jù),通過人工去查看,效率很低且準(zhǔn)確率難以保證,利用行人重識別的方法對監(jiān)控數(shù)據(jù)分析可以克服這些缺點,因而在近年越來越受到重視。但是多數(shù)行人重識別方法關(guān)注可見光圖像,而可見光圖像在不良照明情況下缺失信息,難以做到對監(jiān)控場景的全天候監(jiān)控,此外,多數(shù)研究關(guān)注于行人重識別算法本身,而對行人重識別系統(tǒng)中的行人檢測研究較少。本文將紅外圖像和可見光圖像結(jié)合,研究了全天候行人重識別系統(tǒng)的相關(guān)理論和方法,主要工作如下。1.研究了將紅外圖像和可見光圖像結(jié)合的多光譜行人檢測方法。以YOLO v3目標(biāo)檢測框架為基礎(chǔ),設(shè)計了中期融合的網(wǎng)絡(luò)結(jié)構(gòu)對紅外圖像和可見光圖像進(jìn)行融合,通過兩個不同的卷積神經(jīng)網(wǎng)絡(luò)分支分別對紅外圖像和可見光圖像進(jìn)行特征提取,為了提高全天候場景的行人檢測效果,針對紅外圖像在夜晚場景下成像較好,可見光圖像在白天場景下成像較好的特點,引入光照信息感知子網(wǎng)絡(luò)對經(jīng)過雙分支網(wǎng)絡(luò)提取的特征進(jìn)行學(xué)習(xí),得到光照信息權(quán)重,在三個尺度上用光照信息權(quán)重對分類和回歸分?jǐn)?shù)進(jìn)行加權(quán)。最后通過在KAIST數(shù)據(jù)集上實驗得到了29.13%的丟失率和0.21s的運行時間,與其它算法對比,本章方法在精度略高的情況下運行時間減少了0.27s,檢測效果和運行效率較好。2.研究了紅外行人圖像和可見光行人圖像的跨模態(tài)行人重識別方法。針對紅外圖像和可見光圖像這兩種不同模態(tài)在特征上差異大的問題,采用Res Net-50殘差網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò),設(shè)計了雙路網(wǎng)絡(luò)來對紅外圖像和可見光圖像進(jìn)行特征提取,并通過共享卷積層參數(shù)對紅外圖像和可見光圖像的不同模態(tài)信息學(xué)習(xí);為了解決同一行人在不同模態(tài)下的距離大于不同行人在同一模態(tài)的距離的問題,在行人重識別排序損失的基礎(chǔ)上,引入了跨模態(tài)的排序損失和模態(tài)內(nèi)的排序損失,為了進(jìn)一步利用行人的身份信息,使用行人的身份損失進(jìn)行約束。最后通過實驗驗證本章方法在SYSU-MM01和Reg DB數(shù)據(jù)集上的Top20命中概率分別達(dá)到了81.8%和74.81%,m AP分別達(dá)到了26.49%和35.32%,取得了較好的重識別效果。3.設(shè)計并實現(xiàn)了全天候智能監(jiān)控的行人重識別系統(tǒng)。為了驗證上述算法在全天候場景下的應(yīng)用效果,設(shè)計并實現(xiàn)了由行人檢測模塊和行人重識別模塊組成的行人重識別系統(tǒng)。所設(shè)計的系統(tǒng)以Py Torch機器學(xué)習(xí)庫和Open CV計算機視覺算法庫為基礎(chǔ),使用C++/Python語言編程;系統(tǒng)讀取攝像頭視頻或保存的監(jiān)控圖像后,依次經(jīng)過多光譜行人檢測模塊和跨模態(tài)行人重識別模塊處理,得到最終的行人重識別結(jié)果,驗證了所實現(xiàn)的系統(tǒng)完成了全天候監(jiān)控系統(tǒng)的功能。
【圖文】：

Haar特征

圖 2.1 Haar 特征[8]這樣，對任意位置計算任意尺寸的像素之和時，可以= ( ) + ( ) ( ) ( ) ,D 屬于原始圖像 I，如圖 2.2 所示為了利用 Haar dt[58]提出了傾斜的哈爾特征以及傾斜積分圖結(jié)構(gòu)，，。
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.41;TN219

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 邢志勇;肖兒良;;多網(wǎng)絡(luò)聯(lián)合的紅外與可見光圖像融合算法研究[J];包裝工程;2019年23期

2 李鋼;王雷;張仁斌;;基于特征能量加權(quán)的紅外與可見光圖像融合[J];光電工程;2010年03期

3 楊勇;劉家祥;黃淑英;張迎梅;吳嘉驊;李露奕;;卷積自編碼融合網(wǎng)絡(luò)的紅外可見光圖像融合[J];小型微型計算機系統(tǒng);2019年12期

4 郭全民;董亮;李代娣;;紅外與可見光圖像融合的汽車抗暈光系統(tǒng)[J];紅外與激光工程;2017年08期

5 劉坤;郭雷;李暉暉;陳敬松;;基于區(qū)域分割的紅外與可見光圖像融合算法的研究(英文)[J];Chinese Journal of Aeronautics;2009年01期

6 葉傳奇;王寶樹;苗啟廣;;一種基于區(qū)域特性的紅外與可見光圖像融合算法[J];光子學(xué)報;2009年06期

7 胡謀法;李超;王書宏;;空時域聯(lián)合差分檢測可見光圖像的運動小目標(biāo)[J];計算機工程與應(yīng)用;2006年21期

8 江靜;張雪松;蘭西柱;;紅外與可見光圖像互信息法自動配準(zhǔn)算法研究[J];華北科技學(xué)院學(xué)報;2006年04期

9 劉明君;董增壽;;基于多特征的紅外與可見光圖像融合[J];激光雜志;2019年10期

10 周嘵玲;江澤濤;;結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)與引導(dǎo)濾波的紅外與可見光圖像融合[J];光學(xué)學(xué)報;2019年11期

相關(guān)會議論文 前10條

1 余萍;張曉芬;;基于變分模型的紅外/可見光圖像配準(zhǔn)方法研究[A];2009全國虛擬儀器大會論文集（二）[C];2009年

2 趙云豐;付冬梅;尹怡欣;王嘉;;基于人工免疫的紅外與可見光圖像配準(zhǔn)方法[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

3 高陽;苗艷龍;李寒;張漫;;基于熱紅外與可見光圖像的馬鈴薯水分脅迫監(jiān)測[A];2018中國作物學(xué)會學(xué)術(shù)年會論文摘要集[C];2018年

4 王遠(yuǎn)施;衛(wèi)明;王德建;;基于冠層可見光圖像的水稻氮素營養(yǎng)診斷[A];土壤科學(xué)與生態(tài)文明（上冊）——中國土壤學(xué)會第十三次全國會員代表大會暨第十一屆海峽兩岸土壤肥料學(xué)術(shù)交流研討會論文集[C];2016年

5 張曉杰;;基于循環(huán)平移的復(fù)Contourlet域紅外與可見光圖像融合[A];上海市紅外與遙感學(xué)會第十九屆學(xué)術(shù)年會論文集[C];2014年

6 胡謀法;李超;王書宏;韓建濤;陳曾平;;可見光圖像背景灰度特性:雙高斯混合分布模型[A];第十二屆全國信號處理學(xué)術(shù)年會（CCSP-2005）論文集[C];2005年

7 蔣宏;任章;;紅外與可見光圖像配準(zhǔn)和融合中的關(guān)鍵技術(shù)[A];2006年全國光電技術(shù)學(xué)術(shù)交流會會議文集（D 光電信息處理技術(shù)專題）[C];2006年

8 程相正;邵銘;張樂;胡啟立;;幾種可見光圖像與紅外圖像融合方法比較[A];2015光電防御技術(shù)學(xué)術(shù)研討會摘要集[C];2015年

9 胡謀法;王書宏;李超;韓建濤;陳曾平;;空時域聯(lián)合去相關(guān)檢測可見光背景下的運動小目標(biāo)[A];光電技術(shù)與系統(tǒng)文選——中國光學(xué)學(xué)會光電技術(shù)專業(yè)委員會成立二十周年暨第十一屆全國光電技術(shù)與系統(tǒng)學(xué)術(shù)會議論文集[C];2005年

10 楊振鵬;馮勤;王行仁;丁瑩;;虛擬環(huán)境紅外物理模型的研究與實現(xiàn)[A];二○○一年中國系統(tǒng)仿真學(xué)會學(xué)術(shù)年會論文集[C];2001年

相關(guān)重要報紙文章 前3條

1 陳磊;風(fēng)云二號C星第一幅可見光圖像成功獲取[N];中國氣象報;2004年

2 記者 宿東;風(fēng)云二號E星成功獲取第一張可見光圖像[N];中國航天報;2009年

3 ;江門局有效提高旅檢速度[N];中國國門時報;2007年

相關(guān)博士學(xué)位論文 前10條

1 劉戰(zhàn)文;基于非下采樣剪切波變換的紅外與可見光圖像融合算法研究[D];西北工業(yè)大學(xué);2018年

2 沈瑜;基于多尺度幾何分析的紅外與可見光圖像融合方法研究[D];蘭州交通大學(xué);2017年

3 陳艷菲;視覺顯著性計算及其在紅外與可見光圖像融合中的應(yīng)用[D];華中科技大學(xué);2017年

4 梁懷丹;空間遙感紅外與可見光圖像快速配準(zhǔn)算法研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院長春光學(xué)精密機械與物理研究所);2019年

5 李巍;光學(xué)復(fù)合仿生視覺關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2019年

6 朱攀;紅外與紅外偏振/可見光圖像融合算法研究[D];天津大學(xué);2017年

7 周渝人;紅外與可見光圖像融合算法研究[D];中國科學(xué)院研究生院(長春光學(xué)精密機械與物理研究所);2014年

8 趙振兵;電氣設(shè)備紅外與可見光圖像的配準(zhǔn)方法研究[D];華北電力大學(xué)（河北）;2009年

9 宋懷波;低質(zhì)量可見光圖像的處理技術(shù)和識別方法研究[D];山東大學(xué);2009年

10 左羽佳;機載光電平臺紅外與可見光圖像融合系統(tǒng)關(guān)鍵技術(shù)研究[D];中國科學(xué)院長春光學(xué)精密機械與物理研究所;2017年

相關(guān)碩士學(xué)位論文 前10條

1 孔瓊卓;紅外與可見光圖像融合方法研究[D];華中科技大學(xué);2019年

2 李良驥;紅外和可見光異分辨率遙感圖像配準(zhǔn)技術(shù)研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院上海技術(shù)物理研究所);2019年

3 王煥清;基于NSCT多尺度變換的紅外與可見光圖像處理研究[D];福州大學(xué);2018年

4 劉雪瑩;基于圖像結(jié)構(gòu)保持的紅外與可見光圖像融合算法研究[D];云南大學(xué);2019年

5 胡嘉慧;基于可見光圖像形態(tài)和色度特征的介質(zhì)阻擋放電均勻性研究[D];華中科技大學(xué);2019年

6 章立;可見光圖像弱小目標(biāo)的檢測與跟蹤研究[D];西安科技大學(xué);2018年

7 董軒;基于可見光圖像色度和發(fā)射光譜的交流沿面放電研究[D];華中科技大學(xué);2019年

8 謝沈陽;紫外光和可見光圖像融合方法的研究[D];華北電力大學(xué);2019年

9 石聰聰;基于改進(jìn)SIFT的SAR與可見光圖像配準(zhǔn)方法研究[D];合肥工業(yè)大學(xué);2019年

10 史濤;基于顯著性分析與分層聯(lián)合低秩表示的紅外與可見光圖像融合[D];西安電子科技大學(xué);2019年

本文編號：2704551