基于嵌入式GPU的智能服務機器人視覺系統(tǒng)軟件設計
發(fā)布時間:2023-08-26 01:58
隨著科學技術的快速發(fā)展和人們生活水平的不斷提高,人們對服務機器人的需求正日益增加。目前,服務機器人已逐漸在醫(yī)療護理、家庭清潔、娛樂教育等多個領域內(nèi)發(fā)揮重要作用,能夠有效地幫助人們從枯燥繁瑣的日常工作中解放出來。本論文針對家庭和辦公場所的應用場景,采用英偉達的嵌入式GPU處理器Jetson TX2,設計并實現(xiàn)了一款智能服務機器人視覺系統(tǒng)軟件。該軟件具有目標對象檢測、人臉識別、語音識別、語音合成和雙目測距等五項功能,可以應用在各種智能服務機器人的視覺系統(tǒng)設計中,具有良好的實際應用價值。論文的主要工作如下:(1)系統(tǒng)需求分析。通過分析智能服務機器人視覺系統(tǒng)的軟件功能和性能需求,選擇具有256個GPU核的Jetson TX2處理器作為軟件開發(fā)平臺,根據(jù)Jetson TX2的平臺特性設計軟件的總體框架,將軟件分為視覺檢測、人機交互、視覺測距三大模塊,并制定了軟件的開發(fā)方案,搭建了系統(tǒng)開發(fā)環(huán)境。(2)視覺檢測模塊設計。視覺檢測模塊中對家庭和辦公場景中常見椅子、桌子和筆記本電腦等9類物品以及人臉和人形進行檢測。本論文首先通過比較三種目前主流的深度神經(jīng)網(wǎng)絡目標檢測方法Faster R-CNN、SSD以...
【文章頁數(shù)】:82 頁
【學位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 論文研究背景和意義
1.2 國內(nèi)外研究現(xiàn)狀
1.2.1 服務機器人
1.2.2 圖像識別技術
1.2.3 人機交互技術
1.2.4 視覺測距技術
1.3 主要研究內(nèi)容
1.4 組織結構
第2章 軟件總體設計
2.1 需求分析
2.1.1 軟件功能分析
2.1.2 軟件性能分析
2.2 軟件系統(tǒng)框架設計
2.2.1 硬件平臺概述
2.2.2 軟件框架設計
2.2.3 軟件開發(fā)方案
2.3 開發(fā)環(huán)境搭建
2.3.1 硬件開發(fā)環(huán)境
2.3.2 軟件開發(fā)環(huán)境
2.4 本章小結
第3章 視覺檢測模塊設計
3.1 基于卷積神經(jīng)網(wǎng)絡的目標對象檢測簡介
3.1.1 目標對象檢測的主要方法
3.1.2 目標對象檢測方法對比
3.2 基于YOLOv2的目標對象檢測
3.2.1 訓練數(shù)據(jù)制作
3.2.2 網(wǎng)絡結構設計
3.2.3 模型訓練
3.2.4 目標對象檢測效果分析
3.3 檢測算法優(yōu)化
3.3.1 TensorRT推理框架介紹
3.3.2 基于TensorRT的算法優(yōu)化
3.3.3 優(yōu)化結果測試
3.4 本章小結
第4章 人機交互模塊設計
4.1 人臉識別
4.1.1 FaceNet原理
4.1.2 網(wǎng)絡模型
4.1.3 人臉庫制作
4.1.4 人臉特征信息對比
4.1.5 人臉識別實驗效果
4.2 語音識別
4.2.1 科大訊飛云平臺簡介
4.2.2 語音識別庫編譯與移植
4.2.3 語音識別流程設計
4.2.4 識別語法設計
4.2.5 識別結果解析
4.3 語音合成
4.4 人機交互功能設計
4.5 本章小結
第5章 視覺測距模塊設計
5.1 雙目測距原理
5.2 相機標定與圖像校正
5.2.1 相機標定
5.2.2 圖像校正
5.3 目標對象測距
5.3.1 計算搜索區(qū)域
5.3.2 特征點匹配
5.3.3 目標對象測距
5.4 本章小結
第6章 總結與展望
6.1 工作總結
6.2 展望
參考文獻
致謝
攻讀學位期間參加的科研項目和成果
本文編號:3843730
【文章頁數(shù)】:82 頁
【學位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 論文研究背景和意義
1.2 國內(nèi)外研究現(xiàn)狀
1.2.1 服務機器人
1.2.2 圖像識別技術
1.2.3 人機交互技術
1.2.4 視覺測距技術
1.3 主要研究內(nèi)容
1.4 組織結構
第2章 軟件總體設計
2.1 需求分析
2.1.1 軟件功能分析
2.1.2 軟件性能分析
2.2 軟件系統(tǒng)框架設計
2.2.1 硬件平臺概述
2.2.2 軟件框架設計
2.2.3 軟件開發(fā)方案
2.3 開發(fā)環(huán)境搭建
2.3.1 硬件開發(fā)環(huán)境
2.3.2 軟件開發(fā)環(huán)境
2.4 本章小結
第3章 視覺檢測模塊設計
3.1 基于卷積神經(jīng)網(wǎng)絡的目標對象檢測簡介
3.1.1 目標對象檢測的主要方法
3.1.2 目標對象檢測方法對比
3.2 基于YOLOv2的目標對象檢測
3.2.1 訓練數(shù)據(jù)制作
3.2.2 網(wǎng)絡結構設計
3.2.3 模型訓練
3.2.4 目標對象檢測效果分析
3.3 檢測算法優(yōu)化
3.3.1 TensorRT推理框架介紹
3.3.2 基于TensorRT的算法優(yōu)化
3.3.3 優(yōu)化結果測試
3.4 本章小結
第4章 人機交互模塊設計
4.1 人臉識別
4.1.1 FaceNet原理
4.1.2 網(wǎng)絡模型
4.1.3 人臉庫制作
4.1.4 人臉特征信息對比
4.1.5 人臉識別實驗效果
4.2 語音識別
4.2.1 科大訊飛云平臺簡介
4.2.2 語音識別庫編譯與移植
4.2.3 語音識別流程設計
4.2.4 識別語法設計
4.2.5 識別結果解析
4.3 語音合成
4.4 人機交互功能設計
4.5 本章小結
第5章 視覺測距模塊設計
5.1 雙目測距原理
5.2 相機標定與圖像校正
5.2.1 相機標定
5.2.2 圖像校正
5.3 目標對象測距
5.3.1 計算搜索區(qū)域
5.3.2 特征點匹配
5.3.3 目標對象測距
5.4 本章小結
第6章 總結與展望
6.1 工作總結
6.2 展望
參考文獻
致謝
攻讀學位期間參加的科研項目和成果
本文編號:3843730
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3843730.html
最近更新
教材專著