【摘要】：使用計(jì)算機(jī)生成具有真實(shí)感的人臉動(dòng)畫一直是計(jì)算機(jī)圖形學(xué)中的重要研究課題。近幾十年來(lái),研究者們圍繞著這一課題進(jìn)行了大量的研究工作,取得了豐碩的成果。在工業(yè)級(jí)應(yīng)用如影視游戲制作中,人們通常依賴于一些特殊設(shè)備,并且需要各種復(fù)雜的操作和大量運(yùn)算,來(lái)精確跟蹤人臉運(yùn)動(dòng)并生成具有高度真實(shí)感的人臉動(dòng)畫。但是,這些昂貴的設(shè)備和耗時(shí)的計(jì)算并不適用于面向于普通用戶的應(yīng)用。對(duì)于普通用戶來(lái)說(shuō),使用單目視頻相機(jī)對(duì)人臉運(yùn)動(dòng)進(jìn)行實(shí)時(shí)跟蹤并生成人臉動(dòng)畫是最簡(jiǎn)單、最有效的方法。當(dāng)前基于單目視頻相機(jī)的實(shí)時(shí)人臉跟蹤與動(dòng)畫技術(shù)在人臉跟蹤的準(zhǔn)確性、穩(wěn)定性,以及生成人臉動(dòng)畫的真實(shí)感、細(xì)節(jié)豐富性、表現(xiàn)力等方面,與基于特殊設(shè)備的方法之間還存在著很大的差距。本文圍繞著基于單目視頻相機(jī)的實(shí)時(shí)人臉跟蹤與動(dòng)畫技術(shù)進(jìn)行了深入、系統(tǒng)的研究,提出了一系列具有創(chuàng)新性的算法,為普通用戶使用單目視頻相機(jī)進(jìn)行準(zhǔn)確、高效的人臉運(yùn)動(dòng)跟蹤,以及生成具有真實(shí)感的人臉動(dòng)畫提供了一種有效途徑。本文研究涵蓋了人臉動(dòng)畫技術(shù)的三個(gè)核心組成部分:人臉模型表示、人臉運(yùn)動(dòng)跟蹤捕獲以及數(shù)字化替身的生成。具體工作如下:1.在人臉模型表示方面,我們針對(duì)現(xiàn)有人臉數(shù)據(jù)庫(kù)中表情表現(xiàn)力不足的問(wèn)題,研制了FaceWarehouse,一個(gè)專用于可視計(jì)算應(yīng)用的三維人臉表情數(shù)據(jù)庫(kù)。FaceWarehouse使用一個(gè)RGB-D相機(jī)掃描采集了 150個(gè)用戶在20個(gè)不同表情下的幾何紋理數(shù)據(jù)�；谶@些采集數(shù)據(jù),我們?yōu)槊總�(gè)用戶生成一個(gè)特定的表情融合模型,包含了該用戶對(duì)應(yīng)于人臉動(dòng)作編碼系統(tǒng)描述的47個(gè)基本表情。最后,我們用這150個(gè)用戶的表情融合模型構(gòu)建了一個(gè)雙線性人臉模型。該雙線性人臉模型可以用于表示不同用戶在不同表情下的人臉形狀,因此可以被用于各種可視計(jì)算應(yīng)用中。2.在人臉運(yùn)動(dòng)跟蹤捕獲方面,我們提出了三種基于單目視頻相機(jī)的實(shí)時(shí)人臉運(yùn)動(dòng)跟蹤方法。a)首先,我們提出了一種基于三維形狀回歸的實(shí)時(shí)人臉跟蹤方法。該方法為每個(gè)特定用戶訓(xùn)練生成一個(gè)特定的三維人臉形狀回歸器,并利用該回歸器在用戶的人臉視頻中準(zhǔn)確跟蹤人臉特征點(diǎn)的三維位置。b)針對(duì)前述方法中需要為每個(gè)特定用戶進(jìn)行預(yù)處理的問(wèn)題,我們提出了偏移動(dòng)態(tài)表情(DDE)模型這一新穎的人臉形狀表示方法,并基于DDE模型提出了一個(gè)基于單目視頻相機(jī)的全自動(dòng)實(shí)時(shí)人臉運(yùn)動(dòng)跟蹤方法。該方法可以對(duì)任意用戶進(jìn)行準(zhǔn)確的人臉運(yùn)動(dòng)跟蹤,而不需要任何的預(yù)處理過(guò)程。c)在前述工作基礎(chǔ)上,我們提出了一個(gè)實(shí)時(shí)的高精度人臉運(yùn)動(dòng)跟蹤捕獲方法。該方法可以從人臉的局部外觀中實(shí)時(shí)計(jì)算得到局部細(xì)節(jié)形狀,進(jìn)而重建高精度的人臉幾何模型,包含了豐富的臉部細(xì)節(jié)特征如皺紋等。3.在數(shù)字化替身生成方面,我們提出了 一種基于圖像的動(dòng)態(tài)替身表達(dá)方法。該方法基于對(duì)一個(gè)用戶采集的幾十張圖像,為該用戶構(gòu)建人臉的表情融合模型和頭發(fā)的形變模型。這些采集圖像和構(gòu)建的模型一起構(gòu)成了該用戶的動(dòng)態(tài)替身表達(dá)。該動(dòng)態(tài)替身在人臉運(yùn)動(dòng)跟蹤系統(tǒng)的驅(qū)動(dòng)下,可以生成具有真實(shí)感的人臉動(dòng)畫,包含了用戶人臉豐富的細(xì)節(jié)特征,以及具有真實(shí)感的頭發(fā)運(yùn)動(dòng)效果。
[Abstract]:The use of computer to generate realistic face animation has always been an important research topic in computer graphics. In recent decades, researchers have carried out a lot of research and fruitful achievements around this topic. In industrial applications such as video game making, people usually rely on some special equipment, and It requires a variety of complex operations and large numbers of operations to accurately track face motion and create a highly realistic face animation. However, these expensive devices and time-consuming calculations do not apply to applications for ordinary users. For ordinary users, a single visual frequency camera is used to track and generate face motion in real time. Face animation is the simplest and most effective method. The current face tracking and animation technology based on monocular video camera has a large gap between the accuracy, stability, the authenticity, the richness and the expressiveness of face animation, and the method based on the special device. The real-time face tracking and animation technology based on monocular video camera has been deeply studied. A series of innovative algorithms are proposed. It provides an effective way for the ordinary users to use monocular video cameras for accurate, efficient face motion tracking and the generation of realistic face animation. It covers three core components of face animation technology: face model representation, face motion tracking capture and digital substitutes generation. The specific work is as follows: 1. in face model representation, we developed a FaceWarehouse for visual computation for the lack of expressive expressiveness in the existing face database. The 3D facial expression database.FaceWarehouse uses a RGB-D camera to scan the geometric texture data of 150 users under 20 different expressions. Based on these data, we generate a specific expression fusion model for each user, including the user's 47 basis for the description of the face action coding system. In the end, we construct a bilinear face model with the 150 users' expression fusion model. The bilinear face model can be used to represent the shape of the face of different users under different expressions. Therefore, we can be used in various visual computing applications for.2. in the face tracking and capture of face movement. We propose three kinds of methods based on this model. A real-time face motion tracking method for monocular video cameras.A) first, we propose a real-time face tracking method based on 3D shape regression. This method generates a specific 3D face shape regression for each specific user, and uses the regression device to track face features accurately in the user's face video. Three dimensional position.B), aiming at the problem of preprocessing for each particular user in the foregoing method, we propose a novel face shape representation method of the offset dynamic expression (DDE) model, and a fully automatic real time face motion tracking method based on the DDE model is proposed. This method can be used arbitrarily. The user carries out accurate face motion tracking without any preprocessing process.C). On the basis of the previous work, we propose a real-time and high precision face motion tracking capture method. This method can calculate the local details from the local appearance of the face, and then reconstruct the high precision face geometric model, including the face geometric model. With the rich facial details, such as wrinkles, such as wrinkles and other.3., we propose an image based dynamic substitute expression based on a user's collection of dozens of images, the facial expression fusion model and the hair deformation model for the user. These images and models are built. The dynamic substitute, driven by the human face motion tracking system, can generate a realistic face animation, including the rich details of the user's face, and the effect of a realistic hair movement.
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 伊昭榮;鄭豪;岳國(guó)賓;;人臉跟蹤技術(shù)綜述[J];福建電腦;2012年11期

2 梁路宏,艾海舟;基于人臉檢測(cè)的人臉跟蹤算法[J];計(jì)算機(jī)工程與應(yīng)用;2001年17期

3 周德華,毛敏峰,徐浩;一種多人臉跟蹤算法的研究與實(shí)現(xiàn)[J];電視技術(shù);2005年05期

4 徐力群;吳曉娟;葛慶國(guó);;實(shí)時(shí)人臉跟蹤算法[J];電子測(cè)量技術(shù);2005年01期

5 劉強(qiáng);蔡燦輝;黃金鳳;鄒溢;;一種快速人臉跟蹤系統(tǒng)[J];福建電腦;2006年06期

6 季劍嵐;王儉;;一種實(shí)時(shí)人臉跟蹤方法[J];蘇州科技學(xué)院學(xué)報(bào)(工程技術(shù)版);2007年02期

7 張濤;蔡燦輝;;一種快速多人臉跟蹤算法[J];電視技術(shù);2009年02期

8 王全;杜云明;;基于序列蒙特卡羅濾波的人臉跟蹤算法[J];微計(jì)算機(jī)信息;2009年15期

9 陳俊;;人臉跟蹤方法綜述[J];全國(guó)商情(經(jīng)濟(jì)理論研究);2009年15期

10 馬波;周越;;一種新的多視角人臉跟蹤算法[J];上海交通大學(xué)學(xué)報(bào);2010年07期

相關(guān)會(huì)議論文 前8條

1 陳陽(yáng);徐一華;李京峰;賈云得;;一種基于多區(qū)域模型的實(shí)時(shí)人臉跟蹤方法[A];第十二屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2005年

2 段其昌;周奇;段盼;;基于改進(jìn)粒子濾波的實(shí)時(shí)魯棒人臉跟蹤算法[A];2009中國(guó)控制與決策會(huì)議論文集（2）[C];2009年

3 夏思宇;潘泓;金立左;夏良正;;基于膚色與運(yùn)動(dòng)特征的人臉跟蹤方法[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

4 胡銀煥;安國(guó)成;張風(fēng)軍;戴國(guó)忠;;基于在線修正的復(fù)雜姿態(tài)人臉跟蹤算法[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

5 鄔正義;胡守文;談?wù)?;一種視頻人臉跟蹤算法[A];第十七屆全國(guó)過(guò)路控制會(huì)議論文集[C];2006年

6 杜云明;劉啟生;邵東偉;姜冬華;;基于膚色特征的粒子濾波人臉跟蹤算法[A];第十二屆中國(guó)體視學(xué)與圖像分析學(xué)術(shù)會(huì)議論文集[C];2008年

7 李建華;付月生;高慶華;;基于改進(jìn)Camshift算法的人臉跟蹤方法[A];第六屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集（1）[C];2008年

8 邢文浩;阮秋琦;;基于邊緣方向直方圖的mean-shift人臉跟蹤[A];圖像圖形技術(shù)研究與應(yīng)用2009——第四屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

相關(guān)博士學(xué)位論文 前4條

1 曹晨;基于單目視頻相機(jī)的實(shí)時(shí)人臉跟蹤與動(dòng)畫方法研究[D];浙江大學(xué);2016年

2 江艷霞;視頻人臉跟蹤識(shí)別算法研究[D];上海交通大學(xué);2007年

3 劉青山;人臉跟蹤與識(shí)別的研究[D];中國(guó)科學(xué)院研究生院（自動(dòng)化研究所）;2003年

4 蘇從勇;人臉感知：基于學(xué)習(xí)的人臉跟蹤與合成[D];浙江大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 鐘端瑋;基于Opencv的Visual Mouse系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

2 史凌yN;基于視頻流的人臉識(shí)別關(guān)鍵技術(shù)研究[D];浙江師范大學(xué);2015年

3 陳興;基于Zedboard平臺(tái)人臉跟蹤系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)[D];西安電子科技大學(xué);2015年

4 伍靚;人臉跟蹤中的在線學(xué)習(xí)方法研究[D];湘潭大學(xué);2015年

5 陳丹丹;基于視頻的非接觸式心率測(cè)量研究[D];華南理工大學(xué);2016年

6 徐桂從;人臉的跟蹤識(shí)別與年齡估計(jì)[D];華南理工大學(xué);2016年

7 時(shí)磊;基于壓縮感知的人臉跟蹤的研究[D];華北電力大學(xué);2016年

8 蘭琦;視頻序列中的人臉檢測(cè)與跟蹤技術(shù)研究[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院光電技術(shù)研究所);2017年

9 劉強(qiáng);快速人臉跟蹤系統(tǒng)[D];華僑大學(xué);2007年

10 韓旭;基于運(yùn)動(dòng)趨勢(shì)估計(jì)的人臉跟蹤技術(shù)研究[D];東北大學(xué);2009年

，

本文編號(hào)：2165055