面向視頻行人檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)與性能分析
發(fā)布時(shí)間:2021-12-10 21:47
近年來,卷積神經(jīng)網(wǎng)絡(luò)在行人檢測(cè)領(lǐng)域被廣泛應(yīng)用。為將基于卷積神經(jīng)網(wǎng)絡(luò)的視頻行人檢測(cè)算法推向工程應(yīng)用,實(shí)際工程中算法設(shè)計(jì)、硬件選型、算法實(shí)現(xiàn)等問題亟待解決。多硬件平臺(tái)的算法實(shí)現(xiàn)與性能分析將為實(shí)際工程應(yīng)用提供重要的參考依據(jù)。在此背景下,本文研究視頻行人檢測(cè)應(yīng)用中卷積神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)與性能分析問題,主要完成的工作如下:(1)針對(duì)視頻輸入下由運(yùn)動(dòng)模糊、遮擋等造成漏檢的問題,提出了基于卡爾曼濾波的SSD網(wǎng)絡(luò)后處理算法?柭鼮V波用于傳播SSD網(wǎng)絡(luò)的檢測(cè)結(jié)果并提升、穩(wěn)定行人的置信度。該算法平衡了漏檢率、檢測(cè)速度和硬件實(shí)現(xiàn)難度三方面的關(guān)系。經(jīng)公開和私有數(shù)據(jù)集的訓(xùn)練和測(cè)試,驗(yàn)證了該算法的有效性,同時(shí)也為后續(xù)多硬件平臺(tái)的實(shí)現(xiàn)奠定基礎(chǔ)。(2)在卷積神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)需求和硬件平臺(tái)對(duì)比分析的基礎(chǔ)上,完成了GPU、FPGA和嵌入式三種硬件平臺(tái)的選型及各平臺(tái)下的卷積神經(jīng)網(wǎng)絡(luò)算法的硬件實(shí)現(xiàn)與優(yōu)化。經(jīng)對(duì)比測(cè)試,結(jié)果表明三種硬件平臺(tái)下的設(shè)計(jì)與實(shí)現(xiàn)正確,能有效完成行人的檢測(cè)。(3)針對(duì)三種硬件平臺(tái)下算法的實(shí)現(xiàn)結(jié)果,從漏檢率和計(jì)算速度兩方面進(jìn)行了性能的對(duì)比與分析。根據(jù)實(shí)驗(yàn)和調(diào)研結(jié)果,從網(wǎng)絡(luò)計(jì)算量的選擇、功耗、開發(fā)難度差異三...
【文章來源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】:92 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
一費(fèi)米架構(gòu)oPUI翁lFigl一ZGPUwithFen刀larch針ec加r.l”]
Fig.?1-3?The?images?from?common?public?pedestrian?detection?datasets[53"56]??根據(jù)數(shù)據(jù)集的圖像數(shù)量、分辨率和行人遮擋程度三方面因素考慮,本文在訓(xùn)??練階段采用Caltech訓(xùn)練集、部分TUD-Brussels和部分ETH的混合數(shù)據(jù)集訓(xùn)練算??法,測(cè)試階段選用Caltech測(cè)試集檢驗(yàn)算法性能。Caltech數(shù)據(jù)集具有大量有標(biāo)簽的??數(shù)據(jù),包含較多多樣的行人,使得算法能夠從大量訓(xùn)練樣本中學(xué)習(xí)到更為魯棒的??特征。Caltech數(shù)據(jù)集的數(shù)據(jù)格式為視頻序列,便于檢驗(yàn)基于視頻的CNN算法性能。??Caltech數(shù)據(jù)集由11個(gè)子集構(gòu)成,每個(gè)子集包含6到18段視頻。前6個(gè)子集(setOO??一set05)用于訓(xùn)練,后5個(gè)子集(set06—setlO)用于測(cè)試。由于Caltech中巾貞間相??關(guān)性較大,在訓(xùn)練集中采取每5幀抽。睅姆椒ㄌ幚頂(shù)據(jù)。Caltech中含有遮擋??的行人和密集人群較少,為提高算法對(duì)遮擋的魯棒性,本文在Caltech數(shù)據(jù)集上混??合了部分TUD-Brussels和ETH數(shù)據(jù),用于提高有遮擋的行人在訓(xùn)練集中的比例。??混合訓(xùn)練集的相關(guān)彳目息如表1-2所不:??Caltech數(shù)據(jù)集在提供視頻序列的基礎(chǔ)上還制定了通用的評(píng)估標(biāo)準(zhǔn)、開源了相??應(yīng)的評(píng)估代碼,便于研究人員評(píng)估算法的檢測(cè)性能。目前,大量基于CNN的行人??
(2)私有行人檢測(cè)數(shù)據(jù)集??現(xiàn)有公開數(shù)據(jù)集多為車載視頻,具有動(dòng)態(tài)的背景。為了進(jìn)一步檢驗(yàn)在實(shí)際視??頻監(jiān)控應(yīng)用中的檢測(cè)性能,本文采用由課題組成員共同采集的私有數(shù)據(jù)集驗(yàn)證在??實(shí)際視頻監(jiān)控場(chǎng)景下的檢測(cè)性能。私有數(shù)據(jù)集的建立步驟如下:??1)圖像數(shù)據(jù)采集。課題組成員共同搭建數(shù)據(jù)采集平臺(tái)并實(shí)現(xiàn)了視頻數(shù)據(jù)的采??集。數(shù)據(jù)采集平臺(tái)由攝像機(jī)、三腳架和筆記本電腦構(gòu)成。采集的數(shù)據(jù)包括校園場(chǎng)??景和鐵路場(chǎng)景兩種。??2)圖像標(biāo)注。為提高行人標(biāo)注的效率,使用ACF算法檢測(cè)行人,實(shí)現(xiàn)行人??的自動(dòng)預(yù)標(biāo)注[3】。在自動(dòng)預(yù)標(biāo)注的基礎(chǔ)上,使用Matlab?Training?Image?Labeler?Tool??完成行人包圍框的精修。標(biāo)注過程中行人遮擋面積超過80%,行人寬度小于圖像??寬度的1%的行人不予標(biāo)注。??3)標(biāo)注文件格式轉(zhuǎn)換。模型的訓(xùn)練使用.xml格式標(biāo)注文件,因此將Matlab??Training?Image?Labeler?Tool中生成的.mat標(biāo)注文件通過編寫程序轉(zhuǎn)換為_xml格式。??私有數(shù)據(jù)集的圖像樣本如圖1-4所示:??
【參考文獻(xiàn)】:
期刊論文
[1]基于矩陣轉(zhuǎn)換的卷積計(jì)算優(yōu)化方法[J]. 方玉玲,陳慶奎. 計(jì)算機(jī)工程. 2019(07)
[2]CNN卷積計(jì)算在移動(dòng)GPU上的加速研究[J]. 王湘新,時(shí)洋,文梅. 計(jì)算機(jī)工程與科學(xué). 2018(01)
[3]基于Jetson TK1和深度卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)[J]. 馮帥,張龍,賀小慧. 信息技術(shù). 2017(10)
[4]基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)和CUDA加速的實(shí)時(shí)視頻人臉識(shí)別[J]. 孔英會(huì),王之涵,車轔轔. 科學(xué)技術(shù)與工程. 2016(35)
碩士論文
[1]行人檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 高磊.華僑大學(xué) 2018
[2]基于SDSoC的卷積神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)[D]. 顧含迪.北京化工大學(xué) 2018
[3]基于SSD的行人檢測(cè)與跟蹤方法研究[D]. 李海翔.中國科學(xué)技術(shù)大學(xué) 2018
[4]基于卷積神經(jīng)網(wǎng)絡(luò)的人臉驗(yàn)證技術(shù)研究[D]. 郭申.北京工業(yè)大學(xué) 2017
[5]基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測(cè)系統(tǒng)[D]. 楊凱.北京郵電大學(xué) 2017
本文編號(hào):3533449
【文章來源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】:92 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
一費(fèi)米架構(gòu)oPUI翁lFigl一ZGPUwithFen刀larch針ec加r.l”]
Fig.?1-3?The?images?from?common?public?pedestrian?detection?datasets[53"56]??根據(jù)數(shù)據(jù)集的圖像數(shù)量、分辨率和行人遮擋程度三方面因素考慮,本文在訓(xùn)??練階段采用Caltech訓(xùn)練集、部分TUD-Brussels和部分ETH的混合數(shù)據(jù)集訓(xùn)練算??法,測(cè)試階段選用Caltech測(cè)試集檢驗(yàn)算法性能。Caltech數(shù)據(jù)集具有大量有標(biāo)簽的??數(shù)據(jù),包含較多多樣的行人,使得算法能夠從大量訓(xùn)練樣本中學(xué)習(xí)到更為魯棒的??特征。Caltech數(shù)據(jù)集的數(shù)據(jù)格式為視頻序列,便于檢驗(yàn)基于視頻的CNN算法性能。??Caltech數(shù)據(jù)集由11個(gè)子集構(gòu)成,每個(gè)子集包含6到18段視頻。前6個(gè)子集(setOO??一set05)用于訓(xùn)練,后5個(gè)子集(set06—setlO)用于測(cè)試。由于Caltech中巾貞間相??關(guān)性較大,在訓(xùn)練集中采取每5幀抽。睅姆椒ㄌ幚頂(shù)據(jù)。Caltech中含有遮擋??的行人和密集人群較少,為提高算法對(duì)遮擋的魯棒性,本文在Caltech數(shù)據(jù)集上混??合了部分TUD-Brussels和ETH數(shù)據(jù),用于提高有遮擋的行人在訓(xùn)練集中的比例。??混合訓(xùn)練集的相關(guān)彳目息如表1-2所不:??Caltech數(shù)據(jù)集在提供視頻序列的基礎(chǔ)上還制定了通用的評(píng)估標(biāo)準(zhǔn)、開源了相??應(yīng)的評(píng)估代碼,便于研究人員評(píng)估算法的檢測(cè)性能。目前,大量基于CNN的行人??
(2)私有行人檢測(cè)數(shù)據(jù)集??現(xiàn)有公開數(shù)據(jù)集多為車載視頻,具有動(dòng)態(tài)的背景。為了進(jìn)一步檢驗(yàn)在實(shí)際視??頻監(jiān)控應(yīng)用中的檢測(cè)性能,本文采用由課題組成員共同采集的私有數(shù)據(jù)集驗(yàn)證在??實(shí)際視頻監(jiān)控場(chǎng)景下的檢測(cè)性能。私有數(shù)據(jù)集的建立步驟如下:??1)圖像數(shù)據(jù)采集。課題組成員共同搭建數(shù)據(jù)采集平臺(tái)并實(shí)現(xiàn)了視頻數(shù)據(jù)的采??集。數(shù)據(jù)采集平臺(tái)由攝像機(jī)、三腳架和筆記本電腦構(gòu)成。采集的數(shù)據(jù)包括校園場(chǎng)??景和鐵路場(chǎng)景兩種。??2)圖像標(biāo)注。為提高行人標(biāo)注的效率,使用ACF算法檢測(cè)行人,實(shí)現(xiàn)行人??的自動(dòng)預(yù)標(biāo)注[3】。在自動(dòng)預(yù)標(biāo)注的基礎(chǔ)上,使用Matlab?Training?Image?Labeler?Tool??完成行人包圍框的精修。標(biāo)注過程中行人遮擋面積超過80%,行人寬度小于圖像??寬度的1%的行人不予標(biāo)注。??3)標(biāo)注文件格式轉(zhuǎn)換。模型的訓(xùn)練使用.xml格式標(biāo)注文件,因此將Matlab??Training?Image?Labeler?Tool中生成的.mat標(biāo)注文件通過編寫程序轉(zhuǎn)換為_xml格式。??私有數(shù)據(jù)集的圖像樣本如圖1-4所示:??
【參考文獻(xiàn)】:
期刊論文
[1]基于矩陣轉(zhuǎn)換的卷積計(jì)算優(yōu)化方法[J]. 方玉玲,陳慶奎. 計(jì)算機(jī)工程. 2019(07)
[2]CNN卷積計(jì)算在移動(dòng)GPU上的加速研究[J]. 王湘新,時(shí)洋,文梅. 計(jì)算機(jī)工程與科學(xué). 2018(01)
[3]基于Jetson TK1和深度卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)[J]. 馮帥,張龍,賀小慧. 信息技術(shù). 2017(10)
[4]基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)和CUDA加速的實(shí)時(shí)視頻人臉識(shí)別[J]. 孔英會(huì),王之涵,車轔轔. 科學(xué)技術(shù)與工程. 2016(35)
碩士論文
[1]行人檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 高磊.華僑大學(xué) 2018
[2]基于SDSoC的卷積神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)[D]. 顧含迪.北京化工大學(xué) 2018
[3]基于SSD的行人檢測(cè)與跟蹤方法研究[D]. 李海翔.中國科學(xué)技術(shù)大學(xué) 2018
[4]基于卷積神經(jīng)網(wǎng)絡(luò)的人臉驗(yàn)證技術(shù)研究[D]. 郭申.北京工業(yè)大學(xué) 2017
[5]基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測(cè)系統(tǒng)[D]. 楊凱.北京郵電大學(xué) 2017
本文編號(hào):3533449
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3533449.html
最近更新
教材專著