基于生成對抗網(wǎng)絡(luò)的交通場景視覺顯著性區(qū)域預(yù)測
發(fā)布時(shí)間:2020-05-19 16:56
【摘要】:交通駕駛場景是一個(gè)復(fù)雜多變的環(huán)境,其中包括車輛位置及其運(yùn)動趨勢、行人和交通標(biāo)志的空間位置等重要信息。視覺選擇性注意機(jī)制是人的視覺系統(tǒng)在復(fù)雜環(huán)境中將多余信號過濾掉,并提取重要信息的一種神經(jīng)機(jī)制。根據(jù)該注意機(jī)制,有經(jīng)驗(yàn)的駕駛員能夠有效地搜索和處理駕駛?cè)蝿?wù)中的目標(biāo)信息。近年來,隨著智能駕駛的研究和發(fā)展,越來越多的研究人員通過行為學(xué)眼動實(shí)驗(yàn)來模擬駕駛過程中的認(rèn)知活動,并根據(jù)實(shí)驗(yàn)中采集到的駕駛員眼動數(shù)據(jù)來研究交通場景中的視覺注意機(jī)制和檢測模型。本論文利用眼動數(shù)據(jù)來研究交通駕駛場景中駕駛員的視覺信息處理特征,建立了基于生成對抗網(wǎng)絡(luò)的交通場景顯著性預(yù)測模型。該模型可以比較準(zhǔn)確地預(yù)測交通場景中駕駛員在模擬駕駛過程中的視覺顯著性區(qū)域(包括主要注視區(qū)域和次要區(qū)域)。論文內(nèi)容主要分為以下兩部分:第一部分,介紹了眼動數(shù)據(jù)的來源以及眼動數(shù)據(jù)的預(yù)處理流程,建立了可供深度學(xué)習(xí)方法訓(xùn)練和測試的數(shù)據(jù)集。我們采用基礎(chǔ)的生成對抗網(wǎng)絡(luò)(GAN)和循環(huán)一致性生成對抗網(wǎng)絡(luò)(CycleGAN)對本文數(shù)據(jù)集進(jìn)行處理和分析,發(fā)現(xiàn)這兩種基礎(chǔ)方法存在欠擬合現(xiàn)象,其顯著性評價(jià)指標(biāo)也較低。CycleGAN與GAN相比,前者的預(yù)測效果較好,但生成損失的設(shè)計(jì)方式還有待改進(jìn)。第二部分,基于CycleGAN的生成損失及其判別方法,本論文提出了一種圖像尺度逐漸生長、生成網(wǎng)絡(luò)多步判別的漸進(jìn)式訓(xùn)練判別網(wǎng)絡(luò)模型。本模型主要包含生成模型和判別模型,并設(shè)計(jì)了合適的生成損失和判別方式。生成模型采用U型的鏡像結(jié)構(gòu),包含漸進(jìn)式結(jié)構(gòu)的編碼器和解碼器,其中每個(gè)尺度的網(wǎng)絡(luò)結(jié)構(gòu)都設(shè)計(jì)成殘差網(wǎng)絡(luò)單元。判別模型對生成圖像的各個(gè)尺度進(jìn)行多步判別,逐漸校正生成圖像質(zhì)量。本論文提出的神經(jīng)網(wǎng)絡(luò)模型可以生成交通駕駛場景的顯著性圖,即顯著性預(yù)測結(jié)果。本論文基于自頂向下的視覺注意機(jī)制,提出了基于生成對抗網(wǎng)絡(luò)的交通場景視覺顯著性預(yù)測模型。本論文的模型可以有效地估計(jì)交通駕駛環(huán)境中駕駛員視覺搜索的顯著性區(qū)域和環(huán)境周邊突發(fā)情況,同時(shí)也能指出駕駛員注視的主要區(qū)域和交通標(biāo)志等次要目標(biāo),可對未來的智能駕駛車輛和輔助駕駛系統(tǒng)等提供有用的理論依據(jù)和相關(guān)技術(shù)支持。
【圖文】:
電子科技大學(xué)碩士學(xué)位論文和自頂向下機(jī)制,建立了效果更優(yōu)的顯著性檢測模型,用于圖像和測。tti 顯著性模型是由 Itti, L、Koch, C 和 Niebur, E 在 1998 年提出的[1]。了早期靈長類動物的視覺神經(jīng)系統(tǒng),依據(jù)其結(jié)構(gòu)提出的一種視覺顯模型先通過高斯下采樣方法建立三種高斯金字塔,然后再利用其提像的方向、亮度和顏色特征圖),生成多尺度圖像。根據(jù)“中心”精圍”粗糙等級的差異得出三種特征的特征圖,然后融合各個(gè)尺度的得出所求顯著圖。該模型利用“勝者為王”(Winner-take-all,WTA)抑制”(Inhibition-of-Return,IOR)機(jī)制的拮抗競爭實(shí)現(xiàn)控制視覺注的跳躍轉(zhuǎn)移過程。Itti 模型的框架如圖 1-2 所示。
圖 1-3 YOLO 目標(biāo)檢測結(jié)果生成對抗網(wǎng)絡(luò)(簡稱 GAN)[33]是一種無監(jiān)督學(xué)習(xí)算法,可以學(xué)習(xí)非線性的,其中的生成網(wǎng)絡(luò)可以生成目標(biāo)圖像。GAN 不僅可以處理圖像,,也可以運(yùn)用理視頻中。比如 2016 年提出的基于 GAN 的網(wǎng)絡(luò)模型[34],可以實(shí)現(xiàn)視頻識別頻生成:基于一幅靜態(tài)圖像,模型自動推測生成接下來的視頻幀,可以預(yù)測的合理未來。殘差學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)(ResNet)[35]是將輸入層與輸出層間的殘差
【學(xué)位授予單位】:電子科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP391.41;TP18;U495
本文編號:2671198
【圖文】:
電子科技大學(xué)碩士學(xué)位論文和自頂向下機(jī)制,建立了效果更優(yōu)的顯著性檢測模型,用于圖像和測。tti 顯著性模型是由 Itti, L、Koch, C 和 Niebur, E 在 1998 年提出的[1]。了早期靈長類動物的視覺神經(jīng)系統(tǒng),依據(jù)其結(jié)構(gòu)提出的一種視覺顯模型先通過高斯下采樣方法建立三種高斯金字塔,然后再利用其提像的方向、亮度和顏色特征圖),生成多尺度圖像。根據(jù)“中心”精圍”粗糙等級的差異得出三種特征的特征圖,然后融合各個(gè)尺度的得出所求顯著圖。該模型利用“勝者為王”(Winner-take-all,WTA)抑制”(Inhibition-of-Return,IOR)機(jī)制的拮抗競爭實(shí)現(xiàn)控制視覺注的跳躍轉(zhuǎn)移過程。Itti 模型的框架如圖 1-2 所示。
圖 1-3 YOLO 目標(biāo)檢測結(jié)果生成對抗網(wǎng)絡(luò)(簡稱 GAN)[33]是一種無監(jiān)督學(xué)習(xí)算法,可以學(xué)習(xí)非線性的,其中的生成網(wǎng)絡(luò)可以生成目標(biāo)圖像。GAN 不僅可以處理圖像,,也可以運(yùn)用理視頻中。比如 2016 年提出的基于 GAN 的網(wǎng)絡(luò)模型[34],可以實(shí)現(xiàn)視頻識別頻生成:基于一幅靜態(tài)圖像,模型自動推測生成接下來的視頻幀,可以預(yù)測的合理未來。殘差學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)(ResNet)[35]是將輸入層與輸出層間的殘差
【學(xué)位授予單位】:電子科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP391.41;TP18;U495
【參考文獻(xiàn)】
相關(guān)期刊論文 前1條
1 鄧濤;羅恩晴;張艷山;顏紅梅;;基于選擇性注意的交通環(huán)境顯著性及眼動特征研究[J];電子科技大學(xué)學(xué)報(bào);2014年04期
相關(guān)博士學(xué)位論文 前1條
1 鄧濤;基于視覺注意的駕駛場景顯著性檢測模型研究[D];電子科技大學(xué);2018年
本文編號:2671198
本文鏈接:http://sikaile.net/kejilunwen/daoluqiaoliang/2671198.html
教材專著