本文關(guān)鍵詞： 動態(tài)虛擬聽覺重放 頭相關(guān)傳輸函數(shù) Kinect 5.1通路環(huán)繞聲　出處：《華南理工大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：動態(tài)虛擬聽覺重放是一種新的空間聲重放技術(shù)。它頭部跟蹤器能實時監(jiān)測傾聽者的頭部運動,而后根據(jù)空間信息的變化,實時調(diào)整信號處理,合成雙耳信號及其隨頭部運動的動態(tài)變化,從而在耳機重放中產(chǎn)生相應(yīng)的動態(tài)空間聽覺事件。相比于傳統(tǒng)的穩(wěn)態(tài)虛擬聽覺重放,動態(tài)重放包含了聲源定位的動態(tài)因素,能夠為傾聽者帶來更真實的聽覺感知。動態(tài)虛擬聽覺重放在雙耳聽覺的科學(xué)研究、虛擬現(xiàn)實、多媒體個人計算機與手持播放設(shè)備的文化娛樂方面有重要的應(yīng)用價值。目前國內(nèi)外已有不同的課題組發(fā)展了此類系統(tǒng)。這些系統(tǒng)很多是為科學(xué)研究和工程應(yīng)用而發(fā)展,雖然其重放性能與精度可達到較高的要求,但其總體成本較高且使用操作較為復(fù)雜,并不適合一般個人計算機應(yīng)用。另外,動態(tài)虛擬聽覺重放需要用超高分辨率的頭相關(guān)傳輸函數(shù)(HRTF)進行信號處理,受測量技術(shù)和測量工作量的限制,目前測量得到的HRTF數(shù)據(jù)的空間分辨率不能滿足動態(tài)虛擬聽覺重放的要求。為了解決這些問題,本文展開了以下相關(guān)工作:首先,研究了改善邊界元計算HRTF穩(wěn)定性的方法,并用該方法數(shù)值計算得到了KEMAR人工頭模型的遠場空間高密度HRTF數(shù)據(jù),其空間分辨率達1°,頻率上限達到18000Hz。然后,提出和建立了適用于多媒體個人計算機文化娛樂的動態(tài)虛擬聽覺重放系統(tǒng)。系統(tǒng)的硬件系統(tǒng)包括Kinect體感攝像頭作為頭部跟蹤器、個人計算機作為信號處理與控制系統(tǒng),具有低延時特性的ASIO聲卡作為聲頻信號輸出。系統(tǒng)軟件采用C++語言開發(fā),包括三個功能模塊,分別實現(xiàn)了人機交互、信號處理和輸出、頭跟蹤三個功能。其中信號處理模塊使用了基于主成分分析法的動態(tài)處理方法,提高信號處理效率同時避免了動態(tài)切換HRTF帶來的噪聲。跟蹤模塊使用了Kinect體感攝像頭和微軟的開發(fā)工具包,不但降低了成本,且使用操作簡便。對所建立系統(tǒng)的動態(tài)性能客觀參數(shù)進行了測量。測量的參數(shù)包括系統(tǒng)場景刷新率以及系統(tǒng)滯后延時。測試結(jié)果表明該系統(tǒng)能夠滿足動態(tài)重放的基本需求。最后基于本文所建立的動態(tài)重放系統(tǒng),提出并實現(xiàn)了5.1通路環(huán)繞聲的動態(tài)雙耳重放,并采用虛擬聲源定位實驗進行了驗證。實驗結(jié)果表明,本文的動態(tài)系統(tǒng)可明顯降低感知虛擬源的前后混亂率以及頭中定位率。同時,系統(tǒng)對虛擬源的方位角定位準確性也有明顯的改善,但對于仰角定位則改善并不明顯。該實驗結(jié)果也從一個側(cè)面證明了本系統(tǒng)具有較好的虛擬聽覺重放效果。
[Abstract]:Dynamic virtual auditory playback is a new spatial sound playback technique. The head tracker can monitor the head movement of the listener in real time, and then adjust the signal processing in real time according to the change of spatial information. The synthetic binaural signal and its dynamic changes with the head motion can produce the corresponding dynamic spatial auditory events in the headphone playback. Compared with the traditional steady-state virtual auditory replay, the dynamic playback includes the dynamic factors of the sound source location. Dynamic virtual hearing is placed in the scientific research of binaural hearing, virtual reality, Multimedia personal computers and handheld playback devices have important application value in culture and entertainment. At present, different research groups at home and abroad have developed such systems. Many of these systems have been developed for scientific research and engineering applications. Although its replay performance and precision can reach higher requirements, but its overall cost is high and the operation is more complex, so it is not suitable for general personal computer applications. Dynamic virtual auditory replay requires signal processing with ultra-high resolution header correlation transfer function (HRTF), which is limited by measurement techniques and measurement workload. The spatial resolution of the measured HRTF data can not meet the requirements of dynamic virtual auditory playback. In order to solve these problems, the following related work has been done in this paper: firstly, the method of improving the stability of BEM computing HRTF is studied. By using this method, the far-field high-density HRTF data of the KEMAR artificial head model are obtained. The spatial resolution is 1 擄and the upper frequency limit is 18000 Hz. A dynamic virtual auditory playback system suitable for multimedia personal computer culture and entertainment is proposed and established. The hardware system of the system includes Kinect camera as head tracker, personal computer as signal processing and control system. The ASIO sound card with low delay time is used as audio signal output. The system software is developed with C language, including three functional modules, which realize man-machine interaction, signal processing and output, respectively. The signal processing module uses a dynamic processing method based on principal component analysis. Improve the efficiency of signal processing and avoid the noise caused by dynamic switching HRTF. The tracking module uses Kinect camera and Microsoft development kit, which not only reduces the cost, but also reduces the cost. The objective parameters of dynamic performance of the established system are measured, including the refresh rate of the system scene and the delay time of the system. The test results show that the system can satisfy the dynamic replay. Basic requirements. Finally, based on the dynamic playback system established in this paper, The dynamic binaural replay of 5.1 channel surround sound is proposed and realized, and the virtual sound source localization experiment is used to verify it. The experimental results show that, The dynamic system in this paper can obviously reduce the rate of antecedent confusion and head localization of the perceived virtual source. At the same time, the accuracy of the azimuth positioning of the virtual source can also be improved obviously by the system. But the improvement of elevation location is not obvious. The experimental results also prove that the system has a good virtual auditory replay effect from one side.
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TN912.3;TN642

【相似文獻】

相關(guān)期刊論文 前10條

1 郭迪;孫富春;劉華平;黃文炳;;基于Kinect的冗余機械臂直線推移操作控制[J];東南大學(xué)學(xué)報(自然科學(xué)版);2013年S1期

2 韓崢;劉華平;黃文炳;孫富春;高蒙;;基于Kinect的機械臂目標抓取[J];智能系統(tǒng)學(xué)報;2013年02期

3 楊東方;王仕成;劉華平;劉志國;孫富春;;基于Kinect系統(tǒng)的場景建模與機器人自主導(dǎo)航[J];機器人;2012年05期

4 ;三大家用游戲機殊死戰(zhàn) Kinect推動Xbox 360迎向2011年龍頭地位[J];電子與電腦;2011年02期

5 ;微軟Kinect的機會[J];IT時代周刊;2011年Z1期

6 金燁;;Kinect:微軟新生?[J];中國經(jīng)濟和信息化;2011年07期

7 ;微軟新版Kinect可讀唇語[J];計算機與網(wǎng)絡(luò);2012年Z1期

8 黃露丹;嚴利民;;基于Kinect深度數(shù)據(jù)的人物檢測[J];計算機技術(shù)與發(fā)展;2013年04期

9 羅東;;Kinect,看手勢![J];21世紀商業(yè)評論;2013年24期

10 黃浩;李坤;;基于Kinect的虛擬視點生成技術(shù)[J];信息技術(shù);2014年04期

相關(guān)會議論文 前1條

1 郭迪;孫富春;劉華平;黃文炳;;基于Kinect的冗余機械臂直線推移操作控制[A];2013年中國智能自動化學(xué)術(shù)會議論文集（第三分冊）[C];2013年

相關(guān)碩士學(xué)位論文 前10條

1 李鵬飛;基于Kinect的體感識別技術(shù)及其在旗語培訓(xùn)中的應(yīng)用[D];西南交通大學(xué);2015年

2 李昕迪;基于Kinect的人體姿勢識別方法在舞蹈訓(xùn)練中的應(yīng)用[D];黑龍江大學(xué);2015年

3 陳福財;基于Kinect的連續(xù)中國手語識別[D];山東大學(xué);2016年

4 呂巖;微型四軸飛行器設(shè)計及基于Kinect手勢控制的實現(xiàn)[D];鄭州大學(xué);2016年

5 陳嘉衍;基于Kinect的動態(tài)虛擬聽覺重放[D];華南理工大學(xué);2016年

6 張約倫;基于Kinect的摳像算法研究[D];西安電子科技大學(xué);2013年

7 裴巖明;基于Kinect的遠程機械臂體感控制系統(tǒng)研究[D];大連理工大學(xué);2013年

8 鄔冠上;基于Kinect的交互式健身游戲的設(shè)計與實現(xiàn)[D];中國科學(xué)院大學(xué)（工程管理與信息技術(shù)學(xué)院）;2014年

9 晏浩;基于Kinect的三維多手指跟蹤算法及應(yīng)用[D];浙江大學(xué);2013年

10 朱明茗;基于Kinect的手語識別技術(shù)在聾啞教學(xué)中的應(yīng)用研究[D];西南交通大學(xué);2014年

，

本文編號：1498275