車輛是城市視頻監(jiān)控系統(tǒng)中重要的目標(biāo)。近年來,監(jiān)控視頻中車輛相關(guān)的研究逐漸成為熱點,如車輛檢測、車輛跟蹤、車輛分類、車牌識別等。車輛搜索,即給定一個查詢車輛,在城市視頻監(jiān)控網(wǎng)絡(luò)中搜索與其身份相同的車輛,可以幫助管理人員快速準(zhǔn)確地在城市中尋找、定位、跟蹤目標(biāo)車輛。然而,車輛搜索面臨“搜不準(zhǔn)”和“搜得慢”兩大挑戰(zhàn)。“搜不準(zhǔn)”,一方面是由于車輛自身外觀的相似性和多樣性,另一方面是由于無約束城市監(jiān)控中多變的環(huán)境因素。“搜得慢”,不僅是由于城市監(jiān)控視頻巨大的數(shù)據(jù)規(guī)模,而且由于車輛多模態(tài)特征的復(fù)雜性。因此,本文針對城市視頻監(jiān)控網(wǎng)絡(luò)提出了一種融合多模態(tài)數(shù)據(jù)的漸進(jìn)式車輛搜索框架,并從車輛外觀特征的表示與學(xué)習(xí)、車輛唯一標(biāo)識即車牌的有效利用、監(jiān)控網(wǎng)絡(luò)中時空關(guān)系的挖掘三個方面提出了一系列方法與模型。通過在城市監(jiān)控數(shù)據(jù)上的大量實驗,我們驗證了所提出框架與方法的準(zhǔn)確性與高效性。本文的主要貢獻(xiàn)具體如下:(1)融合多模態(tài)數(shù)據(jù)的漸進(jìn)式車輛搜索框架。該框架綜合特征域和時空域進(jìn)行逐步求精地搜索,具體來說:一是特征域內(nèi)由粗到精地搜索,即先采用外觀特征快速查找相似車輛,再使用車牌信息實現(xiàn)精確搜索;二是在時空域內(nèi),利用監(jiān)控網(wǎng)絡(luò)中的時空信息由近及遠(yuǎn)地搜索。實驗分析表明,這種漸進(jìn)式搜索框架不僅能夠顯著降低車輛搜索的時間消耗,同時保證了車輛搜索的準(zhǔn)確性。(2)基于車輛外觀特征的相似車輛搜索方法。針對抓拍圖像和視頻兩種查詢數(shù)據(jù),我們分別提出了兩種基于深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的車輛外觀表示方法:NuFACT 和 CAN。NuFACT方法能夠從抓拍車輛圖像中提取車輛的紋理、顏色、類別等多級特征,并通過零空間度量學(xué)習(xí)將上述特征融合為一種具有區(qū)分力的、魯棒的特征。CAN方法能夠提取視頻中多張圖像的共有信息和互補(bǔ)信息,自動學(xué)習(xí)視角不變性特征,增強(qiáng)了車輛外觀特征的區(qū)分力和魯棒性。(3)車牌圖像超分辨率與驗證結(jié)合的精確車輛搜索方法。針對無約束監(jiān)控環(huán)境中低質(zhì)的車牌圖像,我們提出了一種基于域先驗生成對抗網(wǎng)絡(luò)的圖像超分辨率方法進(jìn)行車牌圖像增強(qiáng)。針對監(jiān)控數(shù)據(jù)中車輛數(shù)量很大而每個車輛樣本較少的問題,本文采用一種基于對偶神經(jīng)網(wǎng)絡(luò)(Siamese Neural Network,SNN)的車牌驗證方法,實現(xiàn)了車牌圖像的快速準(zhǔn)確匹配。通過將車牌增強(qiáng)與驗證結(jié)合,進(jìn)一步提高了車輛搜索的準(zhǔn)確性。(4)基于鄰接圖與時空相似度模型的搜索結(jié)果重排序。通過挖掘城市監(jiān)控網(wǎng)絡(luò)中的時空信息,如車輛被拍攝的時間、攝像頭的位置、攝像頭鄰接關(guān)系等,我們設(shè)計了一種攝像頭鄰接圖模型表示視頻監(jiān)控網(wǎng)絡(luò)的空間拓?fù)?提出了一種基于多層感知機(jī)的時空相似度模型(Spatio-Temporal Similarity Model,STSM),通過STSM估計車輛間的時空相似性對搜索結(jié)果進(jìn)行重排序,得到優(yōu)化的車輛搜索結(jié)果。最后,我們構(gòu)建了一個融合多模態(tài)數(shù)據(jù)的漸進(jìn)式車輛搜索原型系統(tǒng),并在真實視頻監(jiān)控數(shù)據(jù)上驗證了上述框架與方法的有效性。
【學(xué)位單位】：北京郵電大學(xué)
【學(xué)位級別】：博士
【學(xué)位年份】：2018
【中圖分類】：TN948.6
【部分圖文】：

車輛搜索逡逑輛搜索（Ｖｅｈｉｃｌｅ邋Ｓｅａｒｃｈ），是指輸入一個查詢車輛描述（包括屬性、車頻等），并指定搜索時間段與空間范圍，在大規(guī)模城市視頻監(jiān)控網(wǎng)絡(luò)中輛身份相同的車輛？如圖１－１所示，車輛搜索系統(tǒng)能夠告知用戶目標(biāo)車出現(xiàn)：通過車輛搜索，交通管理部門可以快速、準(zhǔn)確、便捷地在海量中發(fā)現(xiàn)、定位、跟蹤目標(biāo)車輛因此，本文以城市視頻監(jiān)控網(wǎng)絡(luò)為背景，為目標(biāo)的物理實體搜索問題中關(guān)鍵技術(shù)．：逡逑面，本節(jié)將從車輛搜索的系統(tǒng)結(jié)構(gòu)、基本特點、主要研究內(nèi)容三個方紹。逡逑車輛搜索系統(tǒng)結(jié)構(gòu)逡逑圖１－２所示，？個典型的車輛搜索系統(tǒng)通常由視頻監(jiān)控網(wǎng)絡(luò)、車輛搜部分構(gòu)成，，其中，視頻監(jiān)控網(wǎng)絡(luò)是感知物理世界的基礎(chǔ)設(shè)施，在車輛

車輛搜索等不同粒度的搜索服務(wù)逡逑為保證城市視頻監(jiān)控網(wǎng)絡(luò)中車輛稍Ｉ索的高效性、準(zhǔn)確性、安全性，車輛搜索系統(tǒng)逡逑遵循漸進(jìn)式的搜索模式，如圖１－２所示：具體米說，在用戶層面，系統(tǒng)根據(jù)權(quán)限的由逡逑低到高，提供不同粒度、不同安全級R%的搜索方式和搜索結(jié)果在特征空間中，車逡逑輛搜索采用由粗到精地方式，即在車輛匹配時先采用車輛外形、

逡逑圖１－２邋面向城市視頻監(jiān)控網(wǎng)絡(luò)的車輛搜索系統(tǒng)基本結(jié)構(gòu)逡逑搜索服務(wù)逡逑系統(tǒng)的工作流程主要包括三個步驟：逡逑？視頻監(jiān)控網(wǎng)絡(luò)通過部署在城市中的攝像頭檢測、跟蹤拍攝到的車輛，并將車輛逡逑圖像、時間戳、空間位置等倍息實時發(fā)送到數(shù)據(jù)中心進(jìn)行存儲和處理；逡逑？部署ｆ數(shù)據(jù)屮心的搜索引擎接收到閣像和T空信息等多模態(tài)數(shù)據(jù)后，提S胃觶В懼義系氖泳跆卣鰲⒊蹬菩畔�、时繚q榫靶畔ⅲ⒏萆鮮魴畔⒔⒍嗉端饕迪皺義細(xì)咝Ъ燜鰨誨義�？記]ü突Ф說鍬疾⒎夢仕閹饗低常淙胱ヅ耐枷�、渔熷描述、车牌号码、辶x鮮笨招畔⒌炔檠畔ⅲ低掣縈沒ㄏ蓿沒峁┫嗨瞥盜舅閹鰲⒕峰義銑盜舅閹韉炔煌６鵲乃閹鞣皴義銜Ｖこ鞘惺悠導(dǎo)囁贗韁諧盜舊裕傷韉母咝�、准确性、安全性，潮I舅閹饗低沖義獻(xiàn)裱ソ降乃閹髂Ｊ劍繽跡保菜荊壕嚀迕姿擔(dān)謨沒Р忝媯低掣萑ㄏ薜撓懾義系偷礁

本文編號：2807585