人臉表情驅動通過表演者的面部運動來控制虛擬模型,使之產生與前者相似的表情效果,在電影、游戲、虛擬主播、會話代理等領域具有廣泛的應用。表情驅動過程涵蓋了虛擬模型制作、表情識別和表情動畫等方面。其中,寫實的虛擬模型制作需要預先對真實人臉進行三維重建,再進行繁復的手工表情編輯工作。這使得在實時表情驅動系統(tǒng)中使用即時創(chuàng)建的寫實人臉模型受到了較大限制,因而現有的系統(tǒng)通常使用預先準備好的、帶有多種表情基的三維角色作為被驅動者。對表情驅動過程涉及的關鍵技術進行探究,設計并實現了一個集成可形變人臉模型重建、表情識別和表情動畫于一體的自動化系統(tǒng)。該系統(tǒng)包含兩條數據通道,一是以單張人臉RGB圖像為輸入,輸出帶有表情基的可形變人臉模型;二是以人臉視頻為輸入,捕獲表情參數來控制重建的人臉模型,從而輸出與輸入人臉相似的表情動畫。主要工作包括:對現有的基于深度學習的人臉重建網絡模型進行改進,提升其重建速度,將形變傳遞和表情融合算法作用于重建結果,實現了基于單張輸入圖像的自動化可形變人臉重建;集成可形變人臉重建、表情識別和表情動畫三個模塊,實現了實時的人臉表情驅動效果。實驗結果表明,改進的可形變人臉重建技術具有更優(yōu)... 

【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數】：57 頁

【學位級別】：碩士

【部分圖文】：

虛擬新聞主播

華 中 科 技 大 學 碩 士 學 位 論 文]。也有基于精確解剖學的方法，使用皮膚組織的體積有限thod，FEM）[24]來控制較為精確的面部運動。基于物理的方之上，能產生符合面部運動規(guī)律的皮膚運動，但在實踐中卻很hapes 是一組具有不同表情的面部三維模型的集合[25]，其中拓撲結構，相同頂點的不同三維位置產生不同的形狀效果，右分別為：正常表情，張嘴，微笑。Lewis 等人[25]將 Blend臉模型，其中的個體基向量不是正交的，通過調整 BlendSh基向量相加的表情效果。但這種線性相加可能會導致幾何形形狀造成不正常表情，因此，一些在表情擬合過程中加入正ol 等人[26]提出了基于非負權重的順序擬合方法，Bouaziz 等人-1 范數正則化來保證其稀疏性。Lewis 等人[25]對一些權重對應同一時刻最多只激活其中一個 BlendShape。

圖 2.1 三維點云到二維圖像的投影圖 2.2 輸入圖像和其對應的 UV 位置圖RNet 網絡結構圖回歸網絡為編碼-解碼結構，使用包含一個卷積層和包含 17 個轉置卷積層的解碼器，將輸入的二維臉幾何結構的 UV 位置映射圖像來實現人臉重建。于更輕量級網絡 MobileNet[52]中的深度可分離卷積


本文編號：3401069