【摘要】：隨著機(jī)器視覺技術(shù)的蓬勃發(fā)展,手勢(shì)識(shí)別技術(shù)以其便捷的肢體語言交流方式在人機(jī)交互中發(fā)揮著越來越重要的作用,受到廣大人機(jī)交互研究者的熱愛。得益于手勢(shì)識(shí)別技術(shù)的日益成熟,以手勢(shì)為交互工具的智能教育、智能醫(yī)療、智能社保等智能系統(tǒng)逐漸普及到人們?nèi)粘Ｉ钪�。因此本文基于語義柔性映射交互模型構(gòu)建了手勢(shì)數(shù)據(jù)庫,然而在利用卷積神經(jīng)網(wǎng)絡(luò)手勢(shì)模型實(shí)際應(yīng)用過程中,存在一些易混淆的手勢(shì),這些手勢(shì)的存在必然會(huì)降低整個(gè)系統(tǒng)的性能。而普適性差、效果不佳的智能系統(tǒng)將很難被人們接受采用。由此,本論文依托國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目、國(guó)家自然科學(xué)基金項(xiàng)目和山東省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目等項(xiàng)目基金的支持,以智能交互式界面為應(yīng)用平臺(tái),對(duì)教學(xué)過程中的誤識(shí)手勢(shì)展開研究。本文主要研究目標(biāo)是探究基于卷積神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別算法的誤識(shí)手勢(shì)出錯(cuò)機(jī)理,并提出基于概率統(tǒng)計(jì)模型和卷積特征的智能糾錯(cuò)算法,通過對(duì)誤識(shí)手勢(shì)的智能檢測(cè)與糾錯(cuò),實(shí)現(xiàn)交互式教學(xué)的智能化。本論文的創(chuàng)新點(diǎn)概括為以下三個(gè)方面:(1)即使手勢(shì)識(shí)別算法已很成熟,但在實(shí)際應(yīng)用中由于外界因素的干擾,不可避免會(huì)出現(xiàn)誤識(shí)手勢(shì)。與傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)識(shí)別靜態(tài)手勢(shì)算法相比較,本文提出了基于概率統(tǒng)計(jì)的誤判概率模型,實(shí)現(xiàn)對(duì)誤識(shí)手勢(shì)的智能糾錯(cuò)。該算法主要從大數(shù)據(jù)角度分析,建立誤識(shí)手勢(shì)的混淆矩陣,分析每類手勢(shì)和被網(wǎng)絡(luò)模型錯(cuò)誤識(shí)別為其他類手勢(shì)的數(shù)量關(guān)系,并依據(jù)預(yù)測(cè)識(shí)別結(jié)果和實(shí)際類別的概率函數(shù),建立了誤判概率模型。在檢測(cè)出錯(cuò)手勢(shì)之后,本文以誤判概率矩陣為基點(diǎn)產(chǎn)生隨機(jī)數(shù),設(shè)計(jì)了一個(gè)概率發(fā)生器進(jìn)行糾錯(cuò),使得混淆手勢(shì)的識(shí)別率提高了5%左右。(2)現(xiàn)有方法一般通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練參數(shù)提高識(shí)別率,或通過定義新的手勢(shì)特征和相似度算子以提高識(shí)別率。與之不同,本文探究誤識(shí)手勢(shì)出錯(cuò)機(jī)理,尋找出錯(cuò)過程的規(guī)律性。(3)由于上述基于概率的糾錯(cuò)算法沒有體現(xiàn)手勢(shì)出錯(cuò)過程,糾錯(cuò)效果不理想,因此,本文提出基于卷積特征的誤識(shí)手勢(shì)智能檢測(cè)與糾錯(cuò)算法。為了探究誤識(shí)手勢(shì)的特點(diǎn),本對(duì)誤識(shí)手勢(shì)從全連接層到卷積層的特征值逐一提取,并進(jìn)行可視化,從特征值上比較分析同類手勢(shì)被識(shí)別正確和錯(cuò)誤的區(qū)別。在實(shí)驗(yàn)過程中首次提出區(qū)分誤識(shí)手勢(shì)的一個(gè)重要特征—三維曲面的峰值。從大數(shù)據(jù)角度分析,同一種手勢(shì)在同一通道上對(duì)應(yīng)的曲面的峰值總趨向于固定的區(qū)域,并且不同手勢(shì)類型對(duì)應(yīng)的區(qū)域是不同的。基于這個(gè)規(guī)律,提出了誤識(shí)特征矩陣及自動(dòng)糾錯(cuò)算法。研究結(jié)果表明,本文提出的算法與改進(jìn)前的卷積神經(jīng)網(wǎng)絡(luò)相比識(shí)別率提高了15%左右。
【學(xué)位授予單位】：濟(jì)南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP183
【圖文】：

數(shù)據(jù)庫大多是通過 Kinect for Windows V2 Sensor（Kinect）采集的，：一、采集的樣本（人）不足，有的數(shù)據(jù)庫只是采集了一個(gè)人、兩個(gè)人用手的行為習(xí)慣不同，手的姿態(tài)和做手勢(shì)動(dòng)作都千差萬別，所以少有代表性。二、數(shù)據(jù)種類偏少且數(shù)據(jù)量不足。因此針對(duì)上述兩個(gè)問題00 名教師和學(xué)生，統(tǒng)計(jì)了符合人們認(rèn)知規(guī)律和行為習(xí)慣的 17 種常用勢(shì)。本實(shí)驗(yàn)室基于 Kinect 召開了為期兩個(gè)學(xué)期的采集實(shí)驗(yàn)，總共采手勢(shì)，得到了 52 萬的數(shù)據(jù)庫，包括深度圖、彩色圖、手勢(shì)運(yùn)動(dòng)軌跡來本文將基于 Kinect 闡述數(shù)據(jù)庫采集建立過程。發(fā)布的低成本彩色深度（RGB-D）照相機(jī) Kinect[68]通過提供高質(zhì)量的背景和照明變化等問題，在手勢(shì)識(shí)別方面創(chuàng)造了一場(chǎng)新的革命[69]。K多種先進(jìn)的傳感硬件。最值得一提的是，它包含深度傳感器，彩色攝（圖 2.1），可提供全身 3D 動(dòng)作捕捉，面部識(shí)別和語音識(shí)別功能。

置作為手部區(qū)域的跟蹤目標(biāo)。鍵步驟，分割后的圖像是手勢(shì)識(shí)別的對(duì)象，是度圖像是在其基礎(chǔ)上增加了深度圖（DepthM包含與視點(diǎn)的場(chǎng)景對(duì)象的表面的距離有關(guān)的信采用深度圖像。2.2.1 小節(jié)提到 Kinect 可獲用作為整體與身體分割出來。本文采取的辦法是并將目的直接保存到本文文件中。根據(jù)深度的本文采用的手勢(shì)識(shí)別技術(shù)是基于深度學(xué)習(xí)網(wǎng)絡(luò) LevelDB 格式，這就要求深度圖像要統(tǒng)一尺深度圖之后需要進(jìn)行尺寸的標(biāo)準(zhǔn)化處理。標(biāo)準(zhǔn).2 是經(jīng)過上述分割后的圖像。在獲得海量數(shù)據(jù)識(shí)別算法，具體算法過程會(huì)在第三章展示介紹

程構(gòu)建了采集的可視化界面。如圖 2.3 所示，設(shè)計(jì)了三Button），包括靜態(tài)手勢(shì)、動(dòng)態(tài)手勢(shì)和左右手三組選擇on）分別為每類手勢(shì)的演示操作、開始按鈕和結(jié)束按鈕集者通過鼠標(biāo)選中當(dāng)前要采集的手勢(shì)類型。集者點(diǎn)擊“演示按鈕”給被采集者示范手勢(shì)動(dòng)作。集者點(diǎn)擊“開始抓取按鈕”之后，被采集者開始動(dòng)作。對(duì)于靜態(tài)手勢(shì)，由于 Kinect 只能獲得手勢(shì)的一個(gè)角度，的姿勢(shì)，滿 60 張圖片自動(dòng)結(jié)束。對(duì)于動(dòng)態(tài)手勢(shì)，采集手動(dòng)點(diǎn)擊“結(jié)束按鈕”。境：8 臺(tái) Win 10+64 位的 PC 電腦境：VS2013備：8 臺(tái) Kinect 2.0

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場(chǎng)中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測(cè)法[J];金融經(jīng)濟(jì);2017年18期

2 劉高宇;;深度神經(jīng)網(wǎng)絡(luò)在煤質(zhì)數(shù)據(jù)分析與預(yù)測(cè)中的應(yīng)用[J];電腦知識(shí)與技術(shù);2019年28期

3 馮偉業(yè);廖可非;歐陽繕;牛耀;;基于膠囊神經(jīng)網(wǎng)絡(luò)的合成孔徑雷達(dá)圖像分類方法[J];科學(xué)技術(shù)與工程;2019年28期

4 溫贊揚(yáng);;基于群智優(yōu)化神經(jīng)網(wǎng)絡(luò)的音樂風(fēng)格分類模型研究[J];現(xiàn)代電子技術(shù);2019年21期

5 鄭麗;;建筑設(shè)計(jì)中神經(jīng)網(wǎng)絡(luò)技術(shù)與遺傳算法探究[J];湖北農(nóng)機(jī)化;2019年21期

6 易煒;何嘉;鄒茂揚(yáng);;基于循環(huán)神經(jīng)網(wǎng)絡(luò)的對(duì)話系統(tǒng)記憶機(jī)制[J];計(jì)算機(jī)工程與設(shè)計(jì);2019年11期

7 黃為;李永剛;胡上成;汪毅;;基于循環(huán)神經(jīng)網(wǎng)絡(luò)的船搖數(shù)據(jù)實(shí)時(shí)預(yù)測(cè)[J];科學(xué)技術(shù)與工程;2019年31期

8 賴策;魏小琴;;卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式研究[J];信息與電腦(理論版);2019年22期

9 周濟(jì)民;;基于神經(jīng)網(wǎng)絡(luò)改進(jìn)的元胞自動(dòng)機(jī)分析——美國(guó)阿片類藥物濫用情況[J];信息系統(tǒng)工程;2019年11期

10 馬猛;王明紅;;基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的304不銹鋼車削加工表面粗糙度預(yù)測(cè)[J];輕工機(jī)械;2019年06期

相關(guān)會(huì)議論文 前10條

1 孫軍田;張U

本文編號(hào)：2779587