本文關(guān)鍵詞：異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景語(yǔ)義理解，由筆耕文化傳播整理發(fā)布。

【摘要】：基于計(jì)算機(jī)視覺(jué)的道路場(chǎng)景語(yǔ)義理解是自主車(chē)等智能應(yīng)用的關(guān)鍵性支撐研究。為了增強(qiáng)自主車(chē)的環(huán)境理解能力,研究者們致力于彩色攝像機(jī)和激光雷達(dá)的異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景語(yǔ)義理解研究。由于激光雷達(dá)數(shù)據(jù)分辨率相對(duì)較低,如何與攝像機(jī)數(shù)據(jù)進(jìn)行融合并獲得像素分辨率的語(yǔ)義理解結(jié)果成為了研究的難點(diǎn)之一。其次,合理利用場(chǎng)景語(yǔ)義理解中子問(wèn)題間的關(guān)系進(jìn)行聯(lián)合建模求解,也是提升自主車(chē)環(huán)境理解能力的熱門(mén)研究方向。然而,聯(lián)合問(wèn)題中模型復(fù)雜度高、變量維數(shù)大帶來(lái)的求解困難,一直是研究的難點(diǎn)。此外,在場(chǎng)景序列語(yǔ)義理解中,如何描述變量間在時(shí)間上高階且不對(duì)稱的關(guān)系,并獲得更準(zhǔn)確、時(shí)序上一致性更高的理解結(jié)果,成為該研究的第三個(gè)難點(diǎn)。基于上述研究背景和難點(diǎn)問(wèn)題,本博士學(xué)位論文主要研究彩色攝像機(jī)和激光雷達(dá)的異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景語(yǔ)義理解,通過(guò)異質(zhì)數(shù)據(jù)在不同層次的融合、合理地聯(lián)合建模與求解,以及構(gòu)建描述變量在時(shí)、空上一致性關(guān)系的混合圖模型,獲得了更為準(zhǔn)確、時(shí)序上一致性更高、具有像素分辨率的道路場(chǎng)景語(yǔ)義理解結(jié)果。本文的主要內(nèi)容和貢獻(xiàn)如下：1、提出了一種異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景在線目標(biāo)級(jí)圖像分割方法。以往方法僅在特征層或決策層進(jìn)行融合,并獲得低于像素分辨率的分割結(jié)果。我們的方法不僅實(shí)現(xiàn)了特征層和決策層的數(shù)據(jù)融合,而且獲得像素分辨率的分割結(jié)果。其中特征層的融合,通過(guò)對(duì)激光雷達(dá)點(diǎn)稀疏深度圖的升采樣方法實(shí)現(xiàn)。決策層的融合主要體現(xiàn)在兩個(gè)方面：一方面通過(guò)激光雷達(dá)數(shù)據(jù)獲得目標(biāo)假設(shè)的種子點(diǎn),實(shí)現(xiàn)了在線的目標(biāo)檢測(cè)和目標(biāo)級(jí)圖像分割；另一方面在構(gòu)建的圖模型中添加了基于種子點(diǎn)的硬約束,提升了圖像分割的效果。2、有別于傳統(tǒng)聯(lián)合求解問(wèn)題只包含離散取值的標(biāo)簽,提出了一種聯(lián)合建模求解離散取值標(biāo)簽與連續(xù)取值標(biāo)簽的方法。構(gòu)建的聯(lián)合模型使用交替方向法(Alternating Direction Method, ADM)進(jìn)行迭代求解,其中連續(xù)取值標(biāo)簽可以通過(guò)一種線性計(jì)算方法獲得。該方法應(yīng)用于道路場(chǎng)景下離散取值的目標(biāo)標(biāo)簽與連續(xù)取值的深度標(biāo)簽的聯(lián)合建模求解中,較好地解決了以往離散取值深度標(biāo)簽求解復(fù)雜度高、深度結(jié)果精度損失的問(wèn)題。實(shí)驗(yàn)表明,該方法能獲得與以往方法相比更為準(zhǔn)確的圖像分割與深度升采樣結(jié)果。3、提出了一種異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景目標(biāo)級(jí)圖像分割與語(yǔ)義標(biāo)注聯(lián)合建模求解的方法。在決策層數(shù)據(jù)融合中,通過(guò)激光雷達(dá)三維點(diǎn)的目標(biāo)假設(shè)獲得圖像二維目標(biāo)假設(shè)檢測(cè)框,避免了以往方法中對(duì)目標(biāo)檢測(cè)的離線訓(xùn)練以及對(duì)整張圖像窗口式的目標(biāo)搜索。與以往復(fù)雜的聯(lián)合模型不同,該聯(lián)合模型滿足半度量的約束,可以使用快速有效的圖割算法進(jìn)行求解。實(shí)驗(yàn)表明,該方法能同時(shí)提升目標(biāo)級(jí)圖像分割以及語(yǔ)義標(biāo)注的效果。4、有別于傳統(tǒng)的概率圖模型,構(gòu)建了混合圖模型用于解決道路場(chǎng)景序列圖像語(yǔ)義標(biāo)注問(wèn)題。其中,用簡(jiǎn)單邊描述單幀內(nèi)相鄰變量間的空間關(guān)系,用超邊描述變量間在時(shí)間上高階、不對(duì)稱的關(guān)系。該模型較好地克服了包含高階能量項(xiàng)的簡(jiǎn)單圖模型難以求解,以及簡(jiǎn)單邊描述能力局限的缺點(diǎn)。此外,為了將基于混合圖的分割問(wèn)題推廣為語(yǔ)義標(biāo)注問(wèn)題,我們?cè)谀Ｐ椭刑砑恿私?jīng)驗(yàn)式的損失函數(shù)。該混合圖模型在求解上被轉(zhuǎn)化為線性優(yōu)化問(wèn)題,并使用線性計(jì)算方法進(jìn)行求解。實(shí)驗(yàn)表明,與傳統(tǒng)簡(jiǎn)單圖模型相比混合圖模型可以獲得更為準(zhǔn)確、在時(shí)序上一致性更好的語(yǔ)義標(biāo)注結(jié)果。

  本文關(guān)鍵詞：異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景語(yǔ)義理解，由筆耕文化傳播整理發(fā)布。