發(fā)布時間：2019-01-04 07:31

【摘要】：隨著科技的迅猛發(fā)展,在產(chǎn)品設(shè)計領(lǐng)域,以滿足基本功能需求為目標(biāo)的設(shè)計逐漸轉(zhuǎn)變?yōu)橐躁P(guān)注使用者感性需求為導(dǎo)向。近年來,虛擬現(xiàn)實(shí)和體感交互技術(shù)的巨大發(fā)展也為計算機(jī)輔助產(chǎn)品設(shè)計創(chuàng)造了更加豐富多樣的方式,極大地提高了產(chǎn)品設(shè)計的效率和人機(jī)交互友好性。本研究以人機(jī)交互、計算機(jī)圖形學(xué)等理論為基礎(chǔ),基于Kinect平臺開發(fā)一種基于行為識別和虛擬現(xiàn)實(shí)技術(shù)的體感輔助形體交互系統(tǒng)(Somatosensory Aided Shape Interaction,簡稱SASI),將體感技術(shù)引入到產(chǎn)品設(shè)計系統(tǒng)中,從而增加產(chǎn)品設(shè)計系統(tǒng)的可操作性以及可用性,對于提升產(chǎn)品設(shè)計系統(tǒng)的交互體驗(yàn)具有一定意義。對SASI系統(tǒng)的框架進(jìn)行搭建,通過分析用戶對產(chǎn)品設(shè)計和人機(jī)交互中的功能需求和非功能需求的分析,得到SASI系統(tǒng)的基本要素;對系統(tǒng)場景進(jìn)行設(shè)計,建立場景間的層級式邏輯關(guān)系,對各個分場景及相互的接口進(jìn)行分析和設(shè)計,研究各個場景的效果設(shè)置和實(shí)現(xiàn)的功能;基于圖形學(xué)相關(guān)原理,得到光線追蹤和碰撞檢測算法綜合計算得到的交點(diǎn)處的空間信息;通過對相關(guān)數(shù)據(jù)進(jìn)行坐標(biāo)變換,獲得它們在相應(yīng)坐標(biāo)系下的坐標(biāo),從而完成與SASI系統(tǒng)UI控件進(jìn)行交互的功能。針對現(xiàn)有動作識別算法識別高相似度動作能力的不足,提出一種穩(wěn)定高效的高相似度動作搜索與識別算法。利用Kinect的深度數(shù)據(jù)流和骨骼數(shù)據(jù)流獲得相關(guān)關(guān)節(jié)的信息,利用該信息定義人體結(jié)構(gòu)特征向量模之比和結(jié)構(gòu)特征角,從而獲得相關(guān)數(shù)據(jù)的穩(wěn)定的特征量來描述目標(biāo)動作。分析變量之間的關(guān)聯(lián)性,將相關(guān)向量數(shù)據(jù)輸入改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),進(jìn)而建立行為識別算法的完整模型,并驗(yàn)證所提取特征向量的有效性。其中,特征向量的提取方法與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是該算法的關(guān)鍵。對SASI系統(tǒng)的人機(jī)交互模塊的各項(xiàng)功能進(jìn)行研究和實(shí)現(xiàn),分析Kinect硬件與SASI系統(tǒng)的交互原理和相關(guān)接口功能的實(shí)現(xiàn)方法,研究Kinect API提供的包括彩色數(shù)據(jù)流和深度數(shù)據(jù)流在內(nèi)的重要數(shù)據(jù)流的工作原理和使用方法,并通過Kinect相關(guān)數(shù)據(jù)流獲得人體關(guān)節(jié)位置信息和旋轉(zhuǎn)信息,從而完成對人體目標(biāo)行為的識別,完成對SASI系統(tǒng)的手勢交互。最后基于上述研究實(shí)現(xiàn)SASI系統(tǒng)的各個模塊的人機(jī)交互功能并對其進(jìn)行實(shí)例驗(yàn)證。
[Abstract]:With the rapid development of science and technology, in the field of product design, the design which aims to meet the basic functional needs is gradually changed to focus on the emotional needs of users. In recent years, the great development of virtual reality and body sense interaction technology has also created more rich and diverse ways for computer-aided product design, greatly improving the efficiency of product design and human-computer interaction friendliness. Based on the theories of human-computer interaction and computer graphics, and based on Kinect platform, this paper develops a kind of body interaction system (Somatosensory Aided Shape Interaction, (SASI),) based on behavior recognition and virtual reality technology. In order to increase the operability and usability of the product design system, it is significant to introduce the technology of body feeling into the product design system, which is helpful to enhance the interactive experience of the product design system. The framework of the SASI system is built, and the basic elements of the SASI system are obtained by analyzing the functional and non-functional requirements in product design and human-computer interaction. The design of the system scene, the establishment of the hierarchical logical relationship between the scenes, the analysis and design of each sub-scene and their interfaces, the study of the effect of each scene setting and implementation of the function; Based on the principle of graphic correlation, the spatial information of intersection is obtained by the integrated calculation of ray tracing and collision detection algorithm. Through the coordinate transformation of the related data, the coordinate of them in the corresponding coordinate system is obtained, and the function of interacting with the UI control of the SASI system is completed. A stable and efficient motion search and recognition algorithm with high similarity is proposed to overcome the shortcomings of the existing motion recognition algorithms. The depth data stream and bone data stream of Kinect are used to obtain the information of related joints, and the ratio of structural feature vector modules and the structural feature angle are defined by this information, and the stable feature quantity of the relevant data is obtained to describe the target action. The correlation between variables is analyzed and the correlation vector data is input to the improved BP neural network for learning. Then the complete model of the behavior recognition algorithm is established and the validity of the extracted feature vectors is verified. The extraction method of feature vector and the learning of neural network are the key of the algorithm. The functions of man-machine interaction module of SASI system are studied and realized. The interaction principle of Kinect hardware and SASI system and the realization method of related interface function are analyzed. This paper studies the working principle and using method of important data flow, including color data stream and deep data stream provided by Kinect API, and obtains joint position information and rotation information through Kinect data stream. Thus the recognition of human target behavior and gesture interaction to SASI system are completed. Finally, the man-machine interaction function of each module of SASI system is realized based on the above research and verified by an example.
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉相濱,向堅持,王勝春;人行為識別與理解研究探討[J];計算機(jī)與現(xiàn)代化;2004年12期

2 李寧;須德;傅曉英;袁玲;;結(jié)合人體運(yùn)動特征的行為識別[J];北京交通大學(xué)學(xué)報;2009年02期

3 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測模型的多人行為識別[J];清華大學(xué)學(xué)報(自然科學(xué)版);2009年07期

4 吳聯(lián)世;夏利民;羅大庸;;人的交互行為識別與理解研究綜述[J];計算機(jī)應(yīng)用與軟件;2011年11期

5 申曉霞;張樺;高贊;薛彥兵;徐光平;;一種魯棒的基于深度數(shù)據(jù)的行為識別算法[J];光電子.激光;2013年08期

6 鄭胤;陳權(quán)崎;章毓晉;;深度學(xué)習(xí)及其在目標(biāo)和行為識別中的新進(jìn)展[J];中國圖象圖形學(xué)報;2014年02期

7 曾青松;余明輝;賀衛(wèi)國;李玲;;一種行為識別的新方法[J];昆明理工大學(xué)學(xué)報(理工版);2009年06期

8 谷軍霞;丁曉青;王生進(jìn);;基于人體行為3D模型的2D行為識別[J];自動化學(xué)報;2010年01期

9 李英杰;尹怡欣;鄧飛;;一種有效的行為識別視頻特征[J];計算機(jī)應(yīng)用;2011年02期

10 王新旭;;基于視覺的人體行為識別研究[J];中國新通信;2012年21期

相關(guān)會議論文 前8條

1 苗強(qiáng);周興社;於志文;倪紅波;;一種非覺察式的睡眠行為識別技術(shù)研究[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

2 齊娟;陳益強(qiáng);劉軍發(fā);;基于多模信息感知與融合的行為識別[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

3 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識別[A];2007中國控制與決策學(xué)術(shù)年會論文集[C];2007年

4 黃紫藤;吳玲達(dá);;監(jiān)控視頻中簡單人物行為識別研究[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

5 安國成;羅志強(qiáng);李洪研;;改進(jìn)運(yùn)動歷史圖的異常行為識別算法[A];第八屆中國智能交通年會優(yōu)秀論文集——智能交通與安全[C];2013年

6 王忠民;曹棟;;坐標(biāo)轉(zhuǎn)換在移動用戶行為識別中的應(yīng)用研究[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

7 郭迪;孫富春;劉華平;黃文炳;;基于Kinect的冗余機(jī)械臂直線推移操作控制[A];2013年中國智能自動化學(xué)術(shù)會議論文集（第三分冊）[C];2013年

8 劉威;李石堅;潘綱;;uRecorder:基于位置的社會行為自動日志[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

相關(guān)重要報紙文章 前3條

1 李晨光;導(dǎo)入CIS要注意什么？[N];河北經(jīng)濟(jì)日報;2001年

2 農(nóng)發(fā)行鹿邑支行黨支部書記 行長 劉永貞;發(fā)行形象與文化落地農(nóng)[N];周口日報;2007年

3 東林;行為識別新技術(shù)讓監(jiān)控沒有“死角”[N];人民公安報;2007年

相關(guān)博士學(xué)位論文 前10條

1 邵延華;基于計算機(jī)視覺的人體行為識別研究[D];重慶大學(xué);2015年

2 仝鈺;基于條件隨機(jī)場的智能家居行為識別研究[D];大連海事大學(xué);2015年

3 馮銀付;多模態(tài)人體行為識別技術(shù)研究[D];浙江大學(xué);2015年

4 姜新波;基于三維骨架序列的人體行為識別研究[D];山東大學(xué);2015年

5 裴利沈;視頻中人體行為識別若干問題研究[D];電子科技大學(xué);2016年

6 周同馳;行為識別中基于局部時空關(guān)系的特征模型研究[D];東南大學(xué);2016年

7 徐海燕;復(fù)雜環(huán)境下行為識別特征提取方法研究[D];東南大學(xué);2016年

8 吳云鵬;集體行為的識別與仿真研究[D];鄭州大學(xué);2017年

9 劉艷秋;舍飼環(huán)境下母羊產(chǎn)前典型行為識別方法研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2017年

10 齊鏜泉;基于深度學(xué)習(xí)的行為識別與旅游場景分類關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 樊晨霄;基于Kinect行為識別技術(shù)的體感輔助形體交互模式研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2017年

2 唐鳳;基于Kinect骨骼的視頻人體行為識別[D];廣西民族大學(xué);2017年

3 唐小琴;基于全局和局部運(yùn)動模式的人體行為識別研究[D];西南大學(xué);2015年

4 胡秋揚(yáng);可穿戴式個人室內(nèi)位置和行為監(jiān)測系統(tǒng)[D];浙江大學(xué);2015年

5 陳鈺昕;基于時空特性的人體行為識別研究[D];燕山大學(xué);2015年

6 任亮;智能車環(huán)境下車輛典型行為識別方法研究[D];長安大學(xué);2015年

7 金澤豪;并行化的人體行為識別方法研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

8 王呈;穿戴式多傳感器人體日�；顒颖O(jiān)測系統(tǒng)設(shè)計與實(shí)現(xiàn)[D];南京理工大學(xué);2015年

9 王露;基于稀疏時空特征的人體行為識別研究[D];蘇州大學(xué);2015年

10 于靜;基于物品信息和人體深度信息的行為識別研究[D];山東大學(xué);2015年

，

本文編號：2399978