近年來,計算機視覺技術作為人工智能領域的重要技術,取得了長足的進步,在目標識別、語義分割、實例分割和目標檢測等多個方向都有眾多出彩的技術出現(xiàn),而計算機視覺技術的落地和應用也是重要的研究方向之一�，F(xiàn)如今,各種計算機視覺技術已經(jīng)遍布人們周圍,比如人臉支付、行人檢測、文字識別和機器人及無人機平臺上的應用等。在導盲技術領域,計算機視覺技術剛好可以填補盲人的視力缺陷。2010以后,RGB-D傳感器的出現(xiàn)為彩色圖像增加了深度信息。本課題主要研究融合RGB-D技術與目標檢測技術對室內目標進行檢測和定位的理論和實現(xiàn)。首先,本文研究了室內目標檢測平臺的搭建與實現(xiàn):第一步構建佩戴式終端,作用是采集圖像和語音數(shù)據(jù)以及與用戶進行語音交互;第二步構建服務端,在服務端上運行目標檢測相關程序,并實現(xiàn)了前向障礙物的檢測與提示和物體搜索及定向提示兩大功能;最后一步建立服務端與終端的通信,而且為了保證通信的同步,還設置了多個標志字符。其次,對基于深度圖像的目標測距與測角方法進行了研究。針對原始深度圖中存在空洞的現(xiàn)象,采用了一種彩色圖像與深度圖像融合的深度圖修復算法;為了細化修復后的深度圖像,采用了一種引導式濾波器對深度圖... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省211工程院校985工程院校

【文章頁數(shù)】：71 頁

【學位級別】：碩士

【部分圖文】：

終端實物照片

?跏薊??ㄉ窬??縋Ｐ偷既牒頭?穸說鈉舳?Ｔ諂舳??衿魘?需要先進行模型的導入，以減少后期目標檢測所需的時間，此過程大概需要十秒左右。接著開啟服務端，阻塞式等待終端的連接。當終端連接上之后，服務端會將連接人信息打印出來，然后等待終端發(fā)送圖片。接收到RGB圖和相應的深度圖之后，服務端開始進行圖像處理。圖像處理包括深度圖增強和目標檢測，首先增強深度圖像，然后使用目標檢測模型對彩色圖像中的目標進行檢測，接著使用深度圖選擇優(yōu)選目標，最后計算優(yōu)選目標的方位角并轉為語音信息發(fā)送回終端。打印的信息如圖2-5所示。圖2-5前向障礙物的檢測與提示運行信息（2）物體搜索及定向提示在一個熟悉的室內，在沒有人幫助的情況下，盲人找尋某樣物體尚有可能碰到困難，更不用說在陌生的室內了。所以，平臺利用目標檢測技術設計了物體搜索及定向提示功能，旨在幫助盲人尋找物體。物體搜索及定向提示流程圖如圖2-7所示。和前向障礙物檢測時一樣，物體搜索及定向提示也需要先進行系統(tǒng)初始化。在系統(tǒng)初始化完成后，首先持續(xù)檢測用戶是否發(fā)送了語音指令，當服務端接收到語音信息后，先進行語音識別，將語音指令轉換成文字信息，然后經(jīng)過一個關鍵信息提取算法得到相關的指令及物體信息。在檢測語音指令的同時，終端會持續(xù)向服務端發(fā)送圖片，服務端進行目標檢測，然后把結果保存下來。圖像和語音都處理完成之后，進行信息匹配：若沒有匹配到相關的物體，則提示用戶視野范圍內沒有要找的物體，并指示用戶旋轉視角，如果在旋轉五次之后仍未匹配到相關物體，則提示用戶沒有要找的物體；若匹配到多個相關物體，則通過一個優(yōu)選算法選出最佳目標。在目標選定之后，對目標進行定位，然后轉換成語音信息傳達給用戶。打印的信息如圖2-7所示。（3）近

哈爾濱工業(yè)大學碩士學位論文13開始導入神經(jīng)網(wǎng)絡模型打開TCP服務器端終端是否連接？等待連接否接收圖片并保存用戶是否下達語音指令？檢測正前方所有目標接收語音并保存語音識別并提取關鍵信息是信息匹配，視野內是否有所找的目標？計算目標距離和方位角轉換成語音信息發(fā)回終端是提示用戶旋轉視角旋轉次數(shù)超過五次？提示用戶周圍沒有目標等待指令否是否是否圖2-6物體搜索及定向提示流程圖(a)指令中包含多個目標(b)指令識別不清(c)尋找到目標(d)五次旋轉視角后未找到目標圖2-7物體搜索及定向提示運行信息

【參考文獻】：
期刊論文
[1]基于深度圖像信息的室內導盲系統(tǒng)[J]. 李定航.  科學技術創(chuàng)新. 2019(09)
[2]多方向紅外測距新型智能導盲杖[J]. 馬宏平,蔣勵,宋竹青,馬彥鵬,王風麗.  光學儀器. 2012(05)
[3]電子導盲儀的發(fā)展現(xiàn)狀與趨勢[J]. 王麗麗.  甘肅科技. 2012(03)

碩士論文
[1]基于RGB-D的室內電子導盲系統(tǒng)研究[D]. 吳濤.西安科技大學 2018
[2]基于ARM平臺的盲杖硬件系統(tǒng)設計和實現(xiàn)[D]. 孫玉飛.哈爾濱工業(yè)大學 2016
[3]基于多信息融合技術的導盲設備研究[D]. 魏世恒.浙江大學 2013
[4]基于RFID射頻識別的室內導盲系統(tǒng)的研究[D]. 洪菲.廈門大學 2009



本文編號：3621060