【摘要】：隨著科技的迅猛發(fā)展,在產(chǎn)品設(shè)計(jì)領(lǐng)域,以滿足基本功能需求為目標(biāo)的設(shè)計(jì)逐漸轉(zhuǎn)變?yōu)橐躁P(guān)注使用者感性需求為導(dǎo)向。近年來(lái),虛擬現(xiàn)實(shí)和體感交互技術(shù)的巨大發(fā)展也為計(jì)算機(jī)輔助產(chǎn)品設(shè)計(jì)創(chuàng)造了更加豐富多樣的方式,極大地提高了產(chǎn)品設(shè)計(jì)的效率和人機(jī)交互友好性。本研究以人機(jī)交互、計(jì)算機(jī)圖形學(xué)等理論為基礎(chǔ),基于Kinect平臺(tái)開(kāi)發(fā)一種基于行為識(shí)別和虛擬現(xiàn)實(shí)技術(shù)的體感輔助形體交互系統(tǒng)(Somatosensory Aided Shape Interaction,簡(jiǎn)稱SASI),將體感技術(shù)引入到產(chǎn)品設(shè)計(jì)系統(tǒng)中,從而增加產(chǎn)品設(shè)計(jì)系統(tǒng)的可操作性以及可用性,對(duì)于提升產(chǎn)品設(shè)計(jì)系統(tǒng)的交互體驗(yàn)具有一定意義。對(duì)SASI系統(tǒng)的框架進(jìn)行搭建,通過(guò)分析用戶對(duì)產(chǎn)品設(shè)計(jì)和人機(jī)交互中的功能需求和非功能需求的分析,得到SASI系統(tǒng)的基本要素;對(duì)系統(tǒng)場(chǎng)景進(jìn)行設(shè)計(jì),建立場(chǎng)景間的層級(jí)式邏輯關(guān)系,對(duì)各個(gè)分場(chǎng)景及相互的接口進(jìn)行分析和設(shè)計(jì),研究各個(gè)場(chǎng)景的效果設(shè)置和實(shí)現(xiàn)的功能;基于圖形學(xué)相關(guān)原理,得到光線追蹤和碰撞檢測(cè)算法綜合計(jì)算得到的交點(diǎn)處的空間信息;通過(guò)對(duì)相關(guān)數(shù)據(jù)進(jìn)行坐標(biāo)變換,獲得它們?cè)谙鄳?yīng)坐標(biāo)系下的坐標(biāo),從而完成與SASI系統(tǒng)UI控件進(jìn)行交互的功能。針對(duì)現(xiàn)有動(dòng)作識(shí)別算法識(shí)別高相似度動(dòng)作能力的不足,提出一種穩(wěn)定高效的高相似度動(dòng)作搜索與識(shí)別算法。利用Kinect的深度數(shù)據(jù)流和骨骼數(shù)據(jù)流獲得相關(guān)關(guān)節(jié)的信息,利用該信息定義人體結(jié)構(gòu)特征向量模之比和結(jié)構(gòu)特征角,從而獲得相關(guān)數(shù)據(jù)的穩(wěn)定的特征量來(lái)描述目標(biāo)動(dòng)作。分析變量之間的關(guān)聯(lián)性,將相關(guān)向量數(shù)據(jù)輸入改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),進(jìn)而建立行為識(shí)別算法的完整模型,并驗(yàn)證所提取特征向量的有效性。其中,特征向量的提取方法與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是該算法的關(guān)鍵。對(duì)SASI系統(tǒng)的人機(jī)交互模塊的各項(xiàng)功能進(jìn)行研究和實(shí)現(xiàn),分析Kinect硬件與SASI系統(tǒng)的交互原理和相關(guān)接口功能的實(shí)現(xiàn)方法,研究Kinect API提供的包括彩色數(shù)據(jù)流和深度數(shù)據(jù)流在內(nèi)的重要數(shù)據(jù)流的工作原理和使用方法,并通過(guò)Kinect相關(guān)數(shù)據(jù)流獲得人體關(guān)節(jié)位置信息和旋轉(zhuǎn)信息,從而完成對(duì)人體目標(biāo)行為的識(shí)別,完成對(duì)SASI系統(tǒng)的手勢(shì)交互。最后基于上述研究實(shí)現(xiàn)SASI系統(tǒng)的各個(gè)模塊的人機(jī)交互功能并對(duì)其進(jìn)行實(shí)例驗(yàn)證。
[Abstract]:With the rapid development of science and technology, in the field of product design, the design which aims to meet the basic functional needs is gradually changed to focus on the emotional needs of users. In recent years, the great development of virtual reality and body sense interaction technology has also created more rich and diverse ways for computer-aided product design, greatly improving the efficiency of product design and human-computer interaction friendliness. Based on the theories of human-computer interaction and computer graphics, and based on Kinect platform, this paper develops a kind of body interaction system (Somatosensory Aided Shape Interaction, (SASI),) based on behavior recognition and virtual reality technology. In order to increase the operability and usability of the product design system, it is significant to introduce the technology of body feeling into the product design system, which is helpful to enhance the interactive experience of the product design system. The framework of the SASI system is built, and the basic elements of the SASI system are obtained by analyzing the functional and non-functional requirements in product design and human-computer interaction. The design of the system scene, the establishment of the hierarchical logical relationship between the scenes, the analysis and design of each sub-scene and their interfaces, the study of the effect of each scene setting and implementation of the function; Based on the principle of graphic correlation, the spatial information of intersection is obtained by the integrated calculation of ray tracing and collision detection algorithm. Through the coordinate transformation of the related data, the coordinate of them in the corresponding coordinate system is obtained, and the function of interacting with the UI control of the SASI system is completed. A stable and efficient motion search and recognition algorithm with high similarity is proposed to overcome the shortcomings of the existing motion recognition algorithms. The depth data stream and bone data stream of Kinect are used to obtain the information of related joints, and the ratio of structural feature vector modules and the structural feature angle are defined by this information, and the stable feature quantity of the relevant data is obtained to describe the target action. The correlation between variables is analyzed and the correlation vector data is input to the improved BP neural network for learning. Then the complete model of the behavior recognition algorithm is established and the validity of the extracted feature vectors is verified. The extraction method of feature vector and the learning of neural network are the key of the algorithm. The functions of man-machine interaction module of SASI system are studied and realized. The interaction principle of Kinect hardware and SASI system and the realization method of related interface function are analyzed. This paper studies the working principle and using method of important data flow, including color data stream and deep data stream provided by Kinect API, and obtains joint position information and rotation information through Kinect data stream. Thus the recognition of human target behavior and gesture interaction to SASI system are completed. Finally, the man-machine interaction function of each module of SASI system is realized based on the above research and verified by an example.
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉相濱,向堅(jiān)持,王勝春;人行為識(shí)別與理解研究探討[J];計(jì)算機(jī)與現(xiàn)代化;2004年12期

2 李寧;須德;傅曉英;袁玲;;結(jié)合人體運(yùn)動(dòng)特征的行為識(shí)別[J];北京交通大學(xué)學(xué)報(bào);2009年02期

3 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測(cè)模型的多人行為識(shí)別[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年07期

4 吳聯(lián)世;夏利民;羅大庸;;人的交互行為識(shí)別與理解研究綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

5 申曉霞;張樺;高贊;薛彥兵;徐光平;;一種魯棒的基于深度數(shù)據(jù)的行為識(shí)別算法[J];光電子.激光;2013年08期

6 鄭胤;陳權(quán)崎;章毓晉;;深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J];中國(guó)圖象圖形學(xué)報(bào);2014年02期

7 曾青松;余明輝;賀衛(wèi)國(guó);李玲;;一種行為識(shí)別的新方法[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年06期

8 谷軍霞;丁曉青;王生進(jìn);;基于人體行為3D模型的2D行為識(shí)別[J];自動(dòng)化學(xué)報(bào);2010年01期

9 李英杰;尹怡欣;鄧飛;;一種有效的行為識(shí)別視頻特征[J];計(jì)算機(jī)應(yīng)用;2011年02期

10 王新旭;;基于視覺(jué)的人體行為識(shí)別研究[J];中國(guó)新通信;2012年21期

相關(guān)會(huì)議論文 前8條

1 苗強(qiáng);周興社;於志文;倪紅波;;一種非覺(jué)察式的睡眠行為識(shí)別技術(shù)研究[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

2 齊娟;陳益強(qiáng);劉軍發(fā);;基于多模信息感知與融合的行為識(shí)別[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

3 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識(shí)別[A];2007中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2007年

4 黃紫藤;吳玲達(dá);;監(jiān)控視頻中簡(jiǎn)單人物行為識(shí)別研究[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

5 安國(guó)成;羅志強(qiáng);李洪研;;改進(jìn)運(yùn)動(dòng)歷史圖的異常行為識(shí)別算法[A];第八屆中國(guó)智能交通年會(huì)優(yōu)秀論文集——智能交通與安全[C];2013年

6 王忠民;曹棟;;坐標(biāo)轉(zhuǎn)換在移動(dòng)用戶行為識(shí)別中的應(yīng)用研究[A];2013年全國(guó)通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

7 郭迪;孫富春;劉華平;黃文炳;;基于Kinect的冗余機(jī)械臂直線推移操作控制[A];2013年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第三分冊(cè)）[C];2013年

8 劉威;李石堅(jiān);潘綱;;uRecorder:基于位置的社會(huì)行為自動(dòng)日志[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

相關(guān)重要報(bào)紙文章 前3條

1 李晨光;導(dǎo)入CIS要注意什么？[N];河北經(jīng)濟(jì)日?qǐng)?bào);2001年

2 農(nóng)發(fā)行鹿邑支行黨支部書(shū)記 行長(zhǎng) 劉永貞;發(fā)行形象與文化落地農(nóng)[N];周口日?qǐng)?bào);2007年

3 東林;行為識(shí)別新技術(shù)讓監(jiān)控沒(méi)有“死角”[N];人民公安報(bào);2007年

相關(guān)博士學(xué)位論文 前10條

1 邵延華;基于計(jì)算機(jī)視覺(jué)的人體行為識(shí)別研究[D];重慶大學(xué);2015年

2 仝鈺;基于條件隨機(jī)場(chǎng)的智能家居行為識(shí)別研究[D];大連海事大學(xué);2015年

3 馮銀付;多模態(tài)人體行為識(shí)別技術(shù)研究[D];浙江大學(xué);2015年

4 姜新波;基于三維骨架序列的人體行為識(shí)別研究[D];山東大學(xué);2015年

5 裴利沈;視頻中人體行為識(shí)別若干問(wèn)題研究[D];電子科技大學(xué);2016年

6 周同馳;行為識(shí)別中基于局部時(shí)空關(guān)系的特征模型研究[D];東南大學(xué);2016年

7 徐海燕;復(fù)雜環(huán)境下行為識(shí)別特征提取方法研究[D];東南大學(xué);2016年

8 吳云鵬;集體行為的識(shí)別與仿真研究[D];鄭州大學(xué);2017年

9 劉艷秋;舍飼環(huán)境下母羊產(chǎn)前典型行為識(shí)別方法研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2017年

10 齊鏜泉;基于深度學(xué)習(xí)的行為識(shí)別與旅游場(chǎng)景分類關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 樊晨霄;基于Kinect行為識(shí)別技術(shù)的體感輔助形體交互模式研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2017年

2 唐鳳;基于Kinect骨骼的視頻人體行為識(shí)別[D];廣西民族大學(xué);2017年

3 唐小琴;基于全局和局部運(yùn)動(dòng)模式的人體行為識(shí)別研究[D];西南大學(xué);2015年

4 胡秋揚(yáng);可穿戴式個(gè)人室內(nèi)位置和行為監(jiān)測(cè)系統(tǒng)[D];浙江大學(xué);2015年

5 陳鈺昕;基于時(shí)空特性的人體行為識(shí)別研究[D];燕山大學(xué);2015年

6 任亮;智能車環(huán)境下車輛典型行為識(shí)別方法研究[D];長(zhǎng)安大學(xué);2015年

7 金澤豪;并行化的人體行為識(shí)別方法研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

8 王呈;穿戴式多傳感器人體日�；顒�(dòng)監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];南京理工大學(xué);2015年

9 王露;基于稀疏時(shí)空特征的人體行為識(shí)別研究[D];蘇州大學(xué);2015年

10 于靜;基于物品信息和人體深度信息的行為識(shí)別研究[D];山東大學(xué);2015年

，

本文編號(hào)：2399978