隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展,人機(jī)交互逐漸朝著自然用戶(hù)界面發(fā)展,自然用戶(hù)界面即用戶(hù)用最基礎(chǔ)、最常見(jiàn)的交流方式,如表情、手勢(shì)動(dòng)作、語(yǔ)言等與計(jì)算機(jī)進(jìn)行交互。其中對(duì)人體手勢(shì)動(dòng)作的運(yùn)用目前獲得研究者廣泛關(guān)注并正在迅速發(fā)展。早期的計(jì)算機(jī)視覺(jué)系統(tǒng)都是基于彩色RGB圖像,彩色RGB圖對(duì)光照條件要求苛刻,處理效率低并且效果不佳。深度圖則是近些年發(fā)展迅速的一種圖像表征方法,由深度傳感器采集獲取。飛行時(shí)間(Time Of Light,TOF)技術(shù)的原理是深度傳感器將近紅外光調(diào)制后主動(dòng)發(fā)出,遇到物體后反射,通過(guò)計(jì)算反射和發(fā)射時(shí)間差或相位差來(lái)得到被拍攝物體的距離信息。傳統(tǒng)廣告媒體屏只能完成簡(jiǎn)單的傳播信息功能,無(wú)法與用戶(hù)進(jìn)行雙向性的互動(dòng),只能單向、被動(dòng)地接受信息,缺乏交互性。為了滿(mǎn)足各種場(chǎng)景下的交互需求,本文基于ESPROS公司研發(fā)的EPC660 TOF傳感器設(shè)計(jì)了一套廣告媒體屏交互系統(tǒng),包括手勢(shì)交互模塊,遠(yuǎn)程交互模塊以及觸摸交互模塊。手勢(shì)交互模塊能夠識(shí)別5種靜態(tài)手勢(shì),發(fā)送手勢(shì)指令控制廣告媒體屏,遠(yuǎn)程交互模塊能夠遠(yuǎn)程控制廣告媒體屏,觸摸交互模塊能夠通過(guò)觸摸屏控制廣告媒體屏。本文首先簡(jiǎn)要介紹人機(jī)交互技術(shù)及TOF傳感器的發(fā)展現(xiàn)狀,分析廣告媒體屏的功能需求。按照功能需求給出軟、硬件總體設(shè)計(jì),針對(duì)軟件各模塊,介紹其技術(shù)背景。接著研究基于深度圖像的手勢(shì)識(shí)別方法,將手指數(shù)量特征和中心距離特征融合作為特征向量,采用基于帶權(quán)值的模板匹配法對(duì)手勢(shì)分類(lèi)識(shí)別。最后介紹了交互系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn),并對(duì)系統(tǒng)功能進(jìn)行測(cè)試和總結(jié)。
【學(xué)位單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類(lèi)】：TP391.41;TP212
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 手勢(shì)識(shí)別技術(shù)國(guó)內(nèi)外發(fā)展現(xiàn)狀
        1.2.2 TOF傳感器技術(shù)發(fā)展現(xiàn)狀
    1.3 本文的工作內(nèi)容
2 系統(tǒng)總體設(shè)計(jì)及相關(guān)技術(shù)介紹
    2.1 系統(tǒng)硬件及軟件總體設(shè)計(jì)
    2.2 EPC660TOF傳感器深度圖像獲取
        2.2.1 EPC660TOF傳感器簡(jiǎn)介
        2.2.2 EPC660TOF傳感器的基本測(cè)量原理
        2.2.3 EPC660TOF傳感器測(cè)量模式
        2.2.4 EPC660TOF傳感器測(cè)量流程及誤差分析
    2.3 手勢(shì)識(shí)別模塊相關(guān)技術(shù)
        2.3.1 手勢(shì)圖像濾波
        2.3.2 手勢(shì)分類(lèi)方法
    2.4 遠(yuǎn)程交互模塊相關(guān)技術(shù)
        2.4.1 MQTT協(xié)議簡(jiǎn)介
        2.4.2 MQTT協(xié)議消息格式
        2.4.3 阿里云物聯(lián)網(wǎng)套件
    2.5 觸摸屏交互模塊相關(guān)技術(shù)
        2.5.1 嵌入式圖形界面開(kāi)發(fā)工具Qt簡(jiǎn)介
        2.5.2 Qt信號(hào)和槽機(jī)制
    2.6 播放模塊相關(guān)技術(shù)
        2.6.1 基于Gstreamer管道的媒體播放
        2.6.2 基于FFmpeg的視頻幀讀取
    2.7 本章小結(jié)
3 基于TOF傳感器的手勢(shì)識(shí)別
    3.1 手勢(shì)的定義
    3.2 手部區(qū)域分割
        3.2.1 深度直方圖
        3.2.2 計(jì)算最佳分割閾值
        3.2.3 手部區(qū)域分割
    3.3 手勢(shì)圖像預(yù)處理
    3.4 手勢(shì)特征提取
        3.4.1 手掌中心定位
        3.4.2 中心距離特征
        3.4.3 K-Curvature指尖檢測(cè)算法
        3.4.4 基于凸包的指尖檢測(cè)算法
    3.5 基于帶權(quán)值模板匹配的手勢(shì)分類(lèi)識(shí)別
    3.6 本章小結(jié)
4 廣告媒體屏各交互模塊設(shè)計(jì)及實(shí)現(xiàn)
    4.1 手勢(shì)識(shí)別模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.1.1 深度數(shù)據(jù)獲取和顯示
        4.1.2 手勢(shì)識(shí)別及控制信息發(fā)送
    4.2 遠(yuǎn)程交互模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.2.1 基于MQTT協(xié)議的遠(yuǎn)程交互設(shè)計(jì)
        4.2.2 基于MQTT協(xié)議的遠(yuǎn)程交互客戶(hù)端實(shí)現(xiàn)
    4.3 播放模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.3.1 基于Gstreamer管道的媒體播放
        4.3.2 基于GPS授時(shí)的多屏同步互動(dòng)方案設(shè)計(jì)
        4.3.3 基于UDP的控制消息通信協(xié)議設(shè)計(jì)
    4.4 觸摸屏交互模塊設(shè)計(jì)與實(shí)現(xiàn)
    4.5 本章小結(jié)
5 廣告媒體屏交互軟件測(cè)試
    5.1 系統(tǒng)測(cè)試環(huán)境
    5.2 播放模塊和觸摸屏交互模塊測(cè)試
    5.3 遠(yuǎn)程交互模塊測(cè)試
    5.4 手勢(shì)識(shí)別模塊測(cè)試
        5.4.1 不同條件下手勢(shì)識(shí)別測(cè)試
        5.4.2 手勢(shì)控制功能測(cè)試
    5.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況
致謝

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 呂蕾;張金玲;朱英杰;劉弘;;一種基于數(shù)據(jù)手套的靜態(tài)手勢(shì)識(shí)別方法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2015年12期

2 沈晴;班曉娟;常征;郭靖;;基于視頻的人機(jī)交互中動(dòng)作在線(xiàn)發(fā)現(xiàn)與時(shí)域分割[J];計(jì)算機(jī)學(xué)報(bào);2015年12期

3 楊凱;魏本征;任曉強(qiáng);王慶祥;劉懷輝;;基于深度圖像的人體運(yùn)動(dòng)姿態(tài)跟蹤和識(shí)別算法[J];數(shù)據(jù)采集與處理;2015年05期

4 樊星;趙菁華;;用戶(hù)界面與人機(jī)交互標(biāo)準(zhǔn)化綜述[J];信息技術(shù)與標(biāo)準(zhǔn)化;2015年04期

5 李吉;顧德;劉飛;;基于Kinect深度信息的手指及手部跟蹤研究[J];計(jì)算機(jī)應(yīng)用與軟件;2015年03期

6 李東潔;李君祥;張?jiān)?曾禛;;基于PSO改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)手套手勢(shì)識(shí)別[J];電機(jī)與控制學(xué)報(bào);2014年08期

7 尹章芹;顧國(guó)華;陳錢(qián);錢(qián)惟賢;;三維深度圖像在自動(dòng)客流計(jì)數(shù)系統(tǒng)中的應(yīng)用[J];中國(guó)激光;2014年06期

8 王昱;;基于ExtJS的JSON數(shù)據(jù)交換格式研究[J];現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版);2013年03期

9 楊波;宋曉娜;馮志全;郝曉艷;;復(fù)雜背景下基于空間分布特征的手勢(shì)識(shí)別算法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2010年10期

10 吳小艷,王維慶,楊春祥,何山,王小龍;幾種基于模板匹配法的數(shù)字圖像識(shí)別算法分析[J];計(jì)量技術(shù);2005年06期

相關(guān)博士學(xué)位論文 前1條

1 李興東;基于TOF相機(jī)的四足機(jī)器人地形感知及靜步態(tài)規(guī)劃研究[D];哈爾濱工業(yè)大學(xué);2015年

相關(guān)碩士學(xué)位論文 前9條

1 張瑩瑩;基于Kinect的大屏幕手勢(shì)互動(dòng)系統(tǒng)研究與實(shí)現(xiàn)[D];安徽大學(xué);2017年

2 肖瑤;基于TOF相機(jī)的環(huán)境智能探測(cè)技術(shù)研究[D];北京交通大學(xué);2016年

3 姜克;基于深度圖像的3D手勢(shì)識(shí)別[D];江南大學(xué);2015年

4 龔亞非;基于編碼結(jié)構(gòu)光的三維重建系統(tǒng)研究[D];長(zhǎng)安大學(xué);2014年

5 崔小偉;深度圖像濾波及超分辨率重建算法研究[D];合肥工業(yè)大學(xué);2014年

6 關(guān)慶余;基于MQTT協(xié)議的移動(dòng)社交網(wǎng)絡(luò)客戶(hù)端的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（沈陽(yáng)計(jì)算技術(shù)研究所）;2014年

7 屈燕琴;基于深度圖像的手勢(shì)識(shí)別與靈巧手交互[D];上海大學(xué);2014年

8 楊競(jìng)爭(zhēng);基于Qt的車(chē)燈控制檢測(cè)系統(tǒng)[D];華中科技大學(xué);2013年

9 周剛;基于Gstreamer的流媒體視頻服務(wù)器的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2012年

本文編號(hào)：2847922