基于嵌入式GPU的智能服務(wù)機(jī)器人視覺(jué)系統(tǒng)軟件設(shè)計(jì)
發(fā)布時(shí)間:2023-08-26 01:58
隨著科學(xué)技術(shù)的快速發(fā)展和人們生活水平的不斷提高,人們對(duì)服務(wù)機(jī)器人的需求正日益增加。目前,服務(wù)機(jī)器人已逐漸在醫(yī)療護(hù)理、家庭清潔、娛樂(lè)教育等多個(gè)領(lǐng)域內(nèi)發(fā)揮重要作用,能夠有效地幫助人們從枯燥繁瑣的日常工作中解放出來(lái)。本論文針對(duì)家庭和辦公場(chǎng)所的應(yīng)用場(chǎng)景,采用英偉達(dá)的嵌入式GPU處理器Jetson TX2,設(shè)計(jì)并實(shí)現(xiàn)了一款智能服務(wù)機(jī)器人視覺(jué)系統(tǒng)軟件。該軟件具有目標(biāo)對(duì)象檢測(cè)、人臉識(shí)別、語(yǔ)音識(shí)別、語(yǔ)音合成和雙目測(cè)距等五項(xiàng)功能,可以應(yīng)用在各種智能服務(wù)機(jī)器人的視覺(jué)系統(tǒng)設(shè)計(jì)中,具有良好的實(shí)際應(yīng)用價(jià)值。論文的主要工作如下:(1)系統(tǒng)需求分析。通過(guò)分析智能服務(wù)機(jī)器人視覺(jué)系統(tǒng)的軟件功能和性能需求,選擇具有256個(gè)GPU核的Jetson TX2處理器作為軟件開(kāi)發(fā)平臺(tái),根據(jù)Jetson TX2的平臺(tái)特性設(shè)計(jì)軟件的總體框架,將軟件分為視覺(jué)檢測(cè)、人機(jī)交互、視覺(jué)測(cè)距三大模塊,并制定了軟件的開(kāi)發(fā)方案,搭建了系統(tǒng)開(kāi)發(fā)環(huán)境。(2)視覺(jué)檢測(cè)模塊設(shè)計(jì)。視覺(jué)檢測(cè)模塊中對(duì)家庭和辦公場(chǎng)景中常見(jiàn)椅子、桌子和筆記本電腦等9類(lèi)物品以及人臉和人形進(jìn)行檢測(cè)。本論文首先通過(guò)比較三種目前主流的深度神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)方法Faster R-CNN、SSD以...
【文章頁(yè)數(shù)】:82 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 論文研究背景和意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 服務(wù)機(jī)器人
1.2.2 圖像識(shí)別技術(shù)
1.2.3 人機(jī)交互技術(shù)
1.2.4 視覺(jué)測(cè)距技術(shù)
1.3 主要研究?jī)?nèi)容
1.4 組織結(jié)構(gòu)
第2章 軟件總體設(shè)計(jì)
2.1 需求分析
2.1.1 軟件功能分析
2.1.2 軟件性能分析
2.2 軟件系統(tǒng)框架設(shè)計(jì)
2.2.1 硬件平臺(tái)概述
2.2.2 軟件框架設(shè)計(jì)
2.2.3 軟件開(kāi)發(fā)方案
2.3 開(kāi)發(fā)環(huán)境搭建
2.3.1 硬件開(kāi)發(fā)環(huán)境
2.3.2 軟件開(kāi)發(fā)環(huán)境
2.4 本章小結(jié)
第3章 視覺(jué)檢測(cè)模塊設(shè)計(jì)
3.1 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)對(duì)象檢測(cè)簡(jiǎn)介
3.1.1 目標(biāo)對(duì)象檢測(cè)的主要方法
3.1.2 目標(biāo)對(duì)象檢測(cè)方法對(duì)比
3.2 基于YOLOv2的目標(biāo)對(duì)象檢測(cè)
3.2.1 訓(xùn)練數(shù)據(jù)制作
3.2.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)
3.2.3 模型訓(xùn)練
3.2.4 目標(biāo)對(duì)象檢測(cè)效果分析
3.3 檢測(cè)算法優(yōu)化
3.3.1 TensorRT推理框架介紹
3.3.2 基于TensorRT的算法優(yōu)化
3.3.3 優(yōu)化結(jié)果測(cè)試
3.4 本章小結(jié)
第4章 人機(jī)交互模塊設(shè)計(jì)
4.1 人臉識(shí)別
4.1.1 FaceNet原理
4.1.2 網(wǎng)絡(luò)模型
4.1.3 人臉庫(kù)制作
4.1.4 人臉特征信息對(duì)比
4.1.5 人臉識(shí)別實(shí)驗(yàn)效果
4.2 語(yǔ)音識(shí)別
4.2.1 科大訊飛云平臺(tái)簡(jiǎn)介
4.2.2 語(yǔ)音識(shí)別庫(kù)編譯與移植
4.2.3 語(yǔ)音識(shí)別流程設(shè)計(jì)
4.2.4 識(shí)別語(yǔ)法設(shè)計(jì)
4.2.5 識(shí)別結(jié)果解析
4.3 語(yǔ)音合成
4.4 人機(jī)交互功能設(shè)計(jì)
4.5 本章小結(jié)
第5章 視覺(jué)測(cè)距模塊設(shè)計(jì)
5.1 雙目測(cè)距原理
5.2 相機(jī)標(biāo)定與圖像校正
5.2.1 相機(jī)標(biāo)定
5.2.2 圖像校正
5.3 目標(biāo)對(duì)象測(cè)距
5.3.1 計(jì)算搜索區(qū)域
5.3.2 特征點(diǎn)匹配
5.3.3 目標(biāo)對(duì)象測(cè)距
5.4 本章小結(jié)
第6章 總結(jié)與展望
6.1 工作總結(jié)
6.2 展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間參加的科研項(xiàng)目和成果
本文編號(hào):3843730
【文章頁(yè)數(shù)】:82 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 論文研究背景和意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 服務(wù)機(jī)器人
1.2.2 圖像識(shí)別技術(shù)
1.2.3 人機(jī)交互技術(shù)
1.2.4 視覺(jué)測(cè)距技術(shù)
1.3 主要研究?jī)?nèi)容
1.4 組織結(jié)構(gòu)
第2章 軟件總體設(shè)計(jì)
2.1 需求分析
2.1.1 軟件功能分析
2.1.2 軟件性能分析
2.2 軟件系統(tǒng)框架設(shè)計(jì)
2.2.1 硬件平臺(tái)概述
2.2.2 軟件框架設(shè)計(jì)
2.2.3 軟件開(kāi)發(fā)方案
2.3 開(kāi)發(fā)環(huán)境搭建
2.3.1 硬件開(kāi)發(fā)環(huán)境
2.3.2 軟件開(kāi)發(fā)環(huán)境
2.4 本章小結(jié)
第3章 視覺(jué)檢測(cè)模塊設(shè)計(jì)
3.1 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)對(duì)象檢測(cè)簡(jiǎn)介
3.1.1 目標(biāo)對(duì)象檢測(cè)的主要方法
3.1.2 目標(biāo)對(duì)象檢測(cè)方法對(duì)比
3.2 基于YOLOv2的目標(biāo)對(duì)象檢測(cè)
3.2.1 訓(xùn)練數(shù)據(jù)制作
3.2.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)
3.2.3 模型訓(xùn)練
3.2.4 目標(biāo)對(duì)象檢測(cè)效果分析
3.3 檢測(cè)算法優(yōu)化
3.3.1 TensorRT推理框架介紹
3.3.2 基于TensorRT的算法優(yōu)化
3.3.3 優(yōu)化結(jié)果測(cè)試
3.4 本章小結(jié)
第4章 人機(jī)交互模塊設(shè)計(jì)
4.1 人臉識(shí)別
4.1.1 FaceNet原理
4.1.2 網(wǎng)絡(luò)模型
4.1.3 人臉庫(kù)制作
4.1.4 人臉特征信息對(duì)比
4.1.5 人臉識(shí)別實(shí)驗(yàn)效果
4.2 語(yǔ)音識(shí)別
4.2.1 科大訊飛云平臺(tái)簡(jiǎn)介
4.2.2 語(yǔ)音識(shí)別庫(kù)編譯與移植
4.2.3 語(yǔ)音識(shí)別流程設(shè)計(jì)
4.2.4 識(shí)別語(yǔ)法設(shè)計(jì)
4.2.5 識(shí)別結(jié)果解析
4.3 語(yǔ)音合成
4.4 人機(jī)交互功能設(shè)計(jì)
4.5 本章小結(jié)
第5章 視覺(jué)測(cè)距模塊設(shè)計(jì)
5.1 雙目測(cè)距原理
5.2 相機(jī)標(biāo)定與圖像校正
5.2.1 相機(jī)標(biāo)定
5.2.2 圖像校正
5.3 目標(biāo)對(duì)象測(cè)距
5.3.1 計(jì)算搜索區(qū)域
5.3.2 特征點(diǎn)匹配
5.3.3 目標(biāo)對(duì)象測(cè)距
5.4 本章小結(jié)
第6章 總結(jié)與展望
6.1 工作總結(jié)
6.2 展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間參加的科研項(xiàng)目和成果
本文編號(hào):3843730
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3843730.html
最近更新
教材專(zhuān)著