【摘要】：隨著大數(shù)據(jù)、云計算和5G技術的成熟,人工智能逐漸突破技術的瓶頸開始快速發(fā)展。近年來,人工智能技術在汽車領域的應用尤為重要。在“城市大腦”等智慧交通中,無人駕駛汽車也正在逐漸變?yōu)楝F(xiàn)實,其中車輛識別技術是智慧交通中的重要技術之一。常見的特種車輛有工程搶險車、救護車、警車、消防車等。由于特種車輛關系到解決社會應急問題,并且法律規(guī)定正在執(zhí)行任務的特種車輛具有道路優(yōu)先通行權,無人車對正在執(zhí)行任務的特種車輛進行避讓顯得尤為重要。所以在車輛識別技術中,針對特種車輛的識別的研究具有重要的價值和意義。本文利用深度學習和多模態(tài)融合技術實現(xiàn)了一種特種車輛識別的研究與應用。通過獲取聲音、圖像等多通道采集的多模態(tài)數(shù)據(jù)信息,建立多模態(tài)特種車輛數(shù)據(jù)集,利用高效的云平臺計算能力,設計針對特種車輛識別的深度神經(jīng)網(wǎng)絡,完成小樣本數(shù)據(jù)集的特種車輛圖像和音頻模型的訓練,在深度學習和認知計算的基礎上,實現(xiàn)了對道路上正在執(zhí)行搶險救援等應急任務的特種車輛的實時檢測和識別,進一步完成特種車輛的多模態(tài)融合識別和避讓決策,具體工作包括如下。(1)通過收集和處理音視頻的數(shù)據(jù),構建包含特種車輛的圖像和音頻的多模態(tài)數(shù)據(jù)集。其中正樣本包含工程搶險車、救護車、警車、消防車的圖像和音頻數(shù)據(jù),負樣本為普通車輛的圖像和音頻數(shù)據(jù)。(2)利用多模態(tài)信息融合方法對識別結果進行決策,提高識別精確率。設計了特種車輛圖像識別算法、特種車輛音頻識別算法和特種車輛多模態(tài)融合識別算法,實現(xiàn)對特種車輛圖像及音頻的識別。通過獲取的多通道數(shù)據(jù)信息,對特種車輛進行檢測、特征提取、識別和融合決策。對于融合后系統(tǒng)無法準確判斷的結果,提示進行人工輔助操作,確保人類在無人駕駛中的優(yōu)先級。(3)開發(fā)了基于Android的特種車輛識別應用程序。主要功能包括數(shù)據(jù)采集、特種車輛識別、多模態(tài)決策融合和駕駛指令執(zhí)行。數(shù)據(jù)采集主要利用攝像頭和麥克風實現(xiàn)特種車輛的視音頻數(shù)據(jù)采集等功能。特種車輛識別模塊主要包括特種車輛的圖像識別和音頻識別,并將識別的結果傳遞給多模態(tài)決策融合模塊進行決策和判斷。在多模態(tài)決策融合模塊中,實現(xiàn)對正在執(zhí)行任務的特種車輛的判斷識別。最后通過駕駛指令執(zhí)行模塊,根據(jù)當前車輛和正在執(zhí)行任務的特種車輛的相對位置,發(fā)出相應的駕駛指令。本研究提供的多模態(tài)融合的特種車輛識別方法,可為無人駕駛設備的智能化提供一種有效參考,在當前車聯(lián)網(wǎng)技術尚未成熟和未來有人駕駛和無人駕駛共存的環(huán)境中,相關應用的實現(xiàn)可為未來智慧城市和無人駕駛的應用提供有效的解決方案。
【學位授予單位】：河南大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP18;TP391.41;U495
【圖文】：

過建立不同類別的特種車輛的圖像和音頻數(shù)據(jù)集，經(jīng)過深度學習測試，根據(jù)圖像和聲音兩種不同的模態(tài)對特種車輛進行識別，并多模態(tài)特種車輛數(shù)據(jù)集的建立建立了多模態(tài)特種車輛數(shù)據(jù)集（Multimodal Special Vehicle Datas集通過攝像頭拍攝和麥克風收錄的方式，分別對特種車輛的圖像采集，并建立數(shù)據(jù)集。 特種車輛圖像數(shù)據(jù)集據(jù)庫包含工程搶險車（Engineering Emergency vehicle，EE）、消、救護車（Ambulance，AC）、警車（Police Car，PC）和普通車（Ordi型車輛。每種類別的車輛從不同的拍攝角度和拍攝場景環(huán)境選擇選取，MSV 圖像數(shù)據(jù)集如圖 3-1 所示。

據(jù)集的詳細信息如表 3-1 所示。表 3-1 MSV 圖像數(shù)據(jù)集 車輛類型英文簡稱 圖像數(shù)量 訓練集數(shù)量 測試集數(shù)量EE 100 70 30FT 100 70 30AC 100 70 30PC 100 70 30OV 100 70 30 特種車輛音頻數(shù)據(jù)集過麥克風采集，分別收錄了 EE、FT、AC、PC 以及 OV 五種不同種，以 MSV 中部分音頻數(shù)據(jù)集，如圖 3-2 所示。在 EE、FT、AC、P別的車輛分別展示包含兩個音頻數(shù)據(jù)樣本的數(shù)據(jù)集，每個音頻數(shù)據(jù)樣圖組成，用于后續(xù)實驗中神經(jīng)網(wǎng)絡模型的訓練和學習。

圖 3-5 特種車輛圖像識別實驗結果對比在本實驗中，EE 和 FT 均識別正確。AC 的識別中，存在未能把救護車識別為錯把普通車識別為救護車的情況，實驗結果分別如圖 3-5(a)，圖 3-5(b)所示。情況是因為當前救護車與普通車的車型均為三廂面包車，且測試圖像中車輛的和大小極為相似，從而導致錯誤檢測。警車的識別中，錯將普通車識別為警車，該測試圖像中的普通車車型和顏色與相似，均為三廂 SUV，警車誤檢結果如圖 3-6(c)所示。普通車的識別存在部分錯誤，測試圖像中的車輛為跑車，普通車輛訓練集中關數(shù)據(jù)較少，導致普通車漏檢的情況發(fā)生，普通車的誤檢結果如圖 3-6(d)所示。

【參考文獻】

相關期刊論文 前6條

1 唐安琪;陳夢姣;袁海泉;;純電動汽車關鍵技術中的物理原理——以特斯拉Model S為例[J];物理教師;2014年12期

2 盧寶鋒;;谷歌無人汽車的“軟實力”[J];電子知識產權;2014年09期

3 王少華;盧浩;黃騫;曹嘉;;智慧交通系統(tǒng)關鍵技術研究[J];測繪與空間地理信息;2013年S1期

4 戴斌;聶一鳴;孫振平;安向京;;地面無人駕駛技術現(xiàn)狀及應用[J];汽車與安全;2012年03期

5 蘇鑫;;完全智能控制 Google無人駕駛汽車路試[J];道路交通與安全;2010年04期

6 孟俊紅;車輛套牌的若干法律問題分析[J];法律適用;2005年09期

相關會議論文 前1條

1 伍思霞;郝嬌;翟國慶;;機動車鳴喇叭自動檢測方法[A];中國聲學學會第十屆青年學術會議論文集[C];2013年

相關重要報紙文章 前1條

1 魏善勇;;請自覺避讓執(zhí)行任務的“特種車”[N];人民公安報·交通安全周刊;2019年

相關博士學位論文 前1條

1 耿慶田;基于圖像識別理論的智能交通系統(tǒng)關鍵技術研究[D];吉林大學;2016年

相關碩士學位論文 前1條

1 許可;卷積神經(jīng)網(wǎng)絡在圖像識別上的應用的研究[D];浙江大學;2012年

本文編號：2749203