隨著“智慧城市”建設(shè)的不斷推進(jìn),人們對公共安防提出了高效化、智能化的要求。傳統(tǒng)的人工方式已難以處理日益增長的監(jiān)控數(shù)據(jù),因此需要一種能對監(jiān)控視頻結(jié)構(gòu)化數(shù)據(jù)進(jìn)行自動化提取與管理的方法。本文以行人視頻數(shù)據(jù)結(jié)構(gòu)化為中心,結(jié)合深度學(xué)習(xí)相關(guān)算法,分別從數(shù)據(jù)集智能標(biāo)注、行人屬性信息的精細(xì)化提取與描述、多目標(biāo)關(guān)聯(lián)與跟蹤方法以及視頻結(jié)構(gòu)化系統(tǒng)設(shè)計四個方面展開工作,取得了如下成果:1)為了滿足行人視頻數(shù)據(jù)結(jié)構(gòu)化過程中,對行人檢測及行人對象屬性提取等深度學(xué)習(xí)模型增強(qiáng)訓(xùn)練的需要,設(shè)計了增強(qiáng)的人在環(huán)中的深度學(xué)習(xí)視頻數(shù)據(jù)標(biāo)注軟件。該軟件基于人在環(huán)中的智能標(biāo)注思想,在已有的目標(biāo)檢測標(biāo)注工作的基礎(chǔ)上,通過結(jié)合相應(yīng)的深度學(xué)習(xí)模型,增加了圖像分割標(biāo)注、行人對象屬性標(biāo)注以及目標(biāo)圖像序列標(biāo)注三個標(biāo)注功能模塊,并以此制作了行人屬性數(shù)據(jù)集,為后續(xù)研究提供了數(shù)據(jù)基礎(chǔ)。2)監(jiān)控視頻中行人目標(biāo)及其屬性是監(jiān)控視頻數(shù)據(jù)結(jié)構(gòu)化中的重要信息,為了對監(jiān)控視頻中行人對象屬性信息進(jìn)行提取,設(shè)計了行人目標(biāo)檢測與行人對象屬性提取兩級深度學(xué)習(xí)網(wǎng)絡(luò)。此外,為了更直觀地反映行人對象屬性間的關(guān)聯(lián)關(guān)系,本文還通過關(guān)聯(lián)規(guī)則挖掘算法挖掘?qū)傩蚤g的關(guān)聯(lián)規(guī)則,并引入有向超... 

【文章來源】：深圳大學(xué)廣東省

【文章頁數(shù)】：86 頁

【學(xué)位級別】：碩士

【部分圖文】：

Mask R-CNN 算法框圖

結(jié)合深度學(xué)習(xí)的行人視頻數(shù)據(jù)結(jié)構(gòu)化方法研究11開始讀取標(biāo)注數(shù)據(jù)鍵鼠繪制操作保存標(biāo)注數(shù)據(jù)繪制、編輯結(jié)束？NY繪制模式鍵鼠進(jìn)行修改YN結(jié)束圖2-6人工確認(rèn)與修改操作工作流程圖2.4行人屬性標(biāo)注模塊設(shè)計在本文后續(xù)對視頻結(jié)構(gòu)化信息的提取中，需要提取行人目標(biāo)的屬性信息，以對其進(jìn)行結(jié)構(gòu)化描述與存儲。為了實現(xiàn)對行人目標(biāo)圖像屬性進(jìn)行精細(xì)化識別，需要制作行人屬性識別數(shù)據(jù)集，以對深度學(xué)習(xí)行人屬性識別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以提升屬性識別的精確率。行人屬性識別屬于目標(biāo)多標(biāo)簽分類問題，本模塊中采用DeepMAR[15]網(wǎng)絡(luò)實現(xiàn)對目標(biāo)屬性信息的預(yù)標(biāo)注。DeepMAR網(wǎng)絡(luò)主要針對了手工提取的特征不能很好適應(yīng)視頻場景、行人屬性之間的關(guān)系被忽略這兩個問題設(shè)計的網(wǎng)絡(luò)，具有較高的識別精度。如圖2-7所示，為DeepMAR網(wǎng)絡(luò)結(jié)構(gòu)圖。圖2-7DeepMAR網(wǎng)絡(luò)結(jié)構(gòu)圖該網(wǎng)絡(luò)結(jié)構(gòu)較為簡單，首先輸入圖像通過CNN提取特征，然后對得到的特征進(jìn)行分類，在最后進(jìn)行屬性分類時，利用了屬性之間的關(guān)系，將所有的屬性的分類通過一個分類網(wǎng)絡(luò)完成，一次解決了多個屬性識別問題。最終，網(wǎng)絡(luò)輸出的結(jié)果使用Sigmoid函

結(jié)合深度學(xué)習(xí)的行人視頻數(shù)據(jù)結(jié)構(gòu)化方法研究16表；區(qū)域5為視頻播放控制器，主要用于控制視頻的播放與暫停。圖2-11系統(tǒng)主界面圖圖2-12為使用本軟件的目標(biāo)檢測標(biāo)注模塊對目標(biāo)圖片進(jìn)行標(biāo)注的示例圖，打開待標(biāo)注圖像后，點(diǎn)擊運(yùn)行YOLO目標(biāo)檢測模塊，輸出結(jié)果通過矩形檢測框的形式在視圖中顯示。然后由人完成對標(biāo)注結(jié)果的校對與確認(rèn)，最終以xml文本格式進(jìn)行標(biāo)注數(shù)據(jù)保存。圖2-12目標(biāo)檢測標(biāo)注示例圖圖2-13所示為軟件系統(tǒng)進(jìn)行圖像分割標(biāo)注示例圖，該標(biāo)注過程與目標(biāo)檢測標(biāo)注類似，通過點(diǎn)擊運(yùn)行MaskR-CNN圖像分割模塊進(jìn)行分割預(yù)標(biāo)注，不同之處在于分割標(biāo)注


本文編號：2945170