近年來基于深度學(xué)習(xí)的圖像生成高速發(fā)展,人臉圖像由于其豐富的應(yīng)用,成為了圖像生成的重要焦點(diǎn)。定制化人臉生成具有廣泛的應(yīng)用場景,例如身份替換,年齡性別定制等技術(shù)已經(jīng)在社交娛樂領(lǐng)域催生了大量應(yīng)用,與此同時(shí),人臉重演技術(shù)是動(dòng)態(tài)頭像、虛擬主播等新興應(yīng)用的重要基礎(chǔ)。本文提出了一種全新的基于生成式對(duì)抗網(wǎng)絡(luò)的人臉生成算法,該算法可以將人臉的身份信息、表情姿態(tài)和環(huán)境屬性分離,通過對(duì)三個(gè)分離表示的控制和重組,實(shí)現(xiàn)了高度可控的人臉定制化生成。利用不同的重組方式,單一模型可以同時(shí)支持人臉身份替換和人臉重演兩類應(yīng)用。算法框架分為人臉屬性提取和融合生成兩部分,屬性提取部分可以從輸入的人臉圖像中提取身份向量,人臉關(guān)鍵點(diǎn)和環(huán)境向量。融合生成部分以三種屬性作為輸入,生成一張新的人臉。在視頻人臉身份替換應(yīng)用中,人臉關(guān)鍵點(diǎn)和環(huán)境向量由視頻幀中的人臉提供,而身份向量由單張目標(biāo)人臉提供,由此可生成保持視頻人物動(dòng)作姿態(tài)環(huán)境但帶有目標(biāo)人臉身份的新人臉,以完成視頻人物的身份替換。在人臉重演應(yīng)用中,通過單獨(dú)調(diào)整人臉關(guān)鍵點(diǎn)輸入,即可精確控制生成人臉的表情和姿態(tài)。為實(shí)現(xiàn)基于分離表示的人臉生成,我們基于生成式對(duì)抗網(wǎng)絡(luò)設(shè)計(jì)了可控融合生成網(wǎng)絡(luò)框... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：49 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖３－１?Ｘ－Ｆａｃｅ網(wǎng)絡(luò)架構(gòu)圖??１２??

數(shù)據(jù)標(biāo)注成本。由于上述的人臉關(guān)鍵點(diǎn)的這些優(yōu)勢，將其作為可控人臉生成??的一個(gè)屬性分量來進(jìn)行提取是十分合適的。??ＥＬ：?Ｅｎｃｏｄｅｒ＿ＬａｎｄＭａｒｋ??—＊■?ＵＮｅｌ?—＊?ＢＮｅｌ?－＊??ｒ．ｒｕｐ?￥??Ａ??＿．．．．．．．?????Ｒｆ５＜ｗ?．．．．．?？?????ｔ，Ｔ．．Ｌ？Ｋｈ？Ｍｒｋ：?ＷＩｊｃ?—－？?—＜????……．？…????：??■?ｍ?■?＇?Ａ?Ａ??輸入圖像?關(guān)鍵邊標(biāo)注關(guān)鍵邊預(yù)測結(jié)果關(guān)鍵點(diǎn)預(yù)測結(jié)果??圖３－２?ＥＬ模塊訓(xùn)練流程及兩階段預(yù)測流程??１３??

，同時(shí)在大數(shù)據(jù)量的預(yù)標(biāo)注數(shù)據(jù)??集上訓(xùn)練最終模型的方案。我們選取了經(jīng)典的公開數(shù)據(jù)集３００Ｗ［４５］和難度較大的??公開數(shù)據(jù)集ＷＦＬＷ［４４］來幫助我們暴露出算法的問題并加以解決。??３００Ｗ包含３１４８張訓(xùn)練樣本，５５４張測試樣本，帶有６８點(diǎn)關(guān)鍵點(diǎn)標(biāo)注。３００Ｗ??數(shù)據(jù)集難度適中但數(shù)據(jù)量很小，同時(shí)６８點(diǎn)的標(biāo)注更加稀疏，經(jīng)過在該數(shù)據(jù)集上的??訓(xùn)練測試，我們發(fā)現(xiàn)關(guān)鍵邊的錯(cuò)誤經(jīng)常發(fā)生在線段兩端，其表現(xiàn)為過長或過短，由??此現(xiàn)象我們提出了關(guān)注端點(diǎn)的ＬＡＱＬｏｏｋ?Ａｔ?Ｃｏｒｎｅｒ）策略，如圖３－３所示，我們?cè)??連線得到關(guān)鍵邊標(biāo)注時(shí)，在線段端點(diǎn)額外加入了輔助線，驅(qū)使網(wǎng)絡(luò)關(guān)注端點(diǎn)，本質(zhì)??上增加了端點(diǎn)預(yù)測失誤時(shí)的懲罰，經(jīng)過實(shí)驗(yàn)可以發(fā)現(xiàn)這一策略在主觀上能明顯緩??解端點(diǎn)錯(cuò)誤現(xiàn)象，同時(shí)在指標(biāo)上能有效降低第二階段關(guān)鍵點(diǎn)預(yù)測的誤差率。??關(guān)鍵邊標(biāo)注?ＬＡＣ訓(xùn)練前?ＬＡ〇ｌｌ＿???■Ｈｉ??圓３霞卜??圖３－３?ＬＡＣ策略使用前后結(jié)果對(duì)比?圖３－４?ＳＦＴ策略使用前后結(jié)果對(duì)比??ＷＦＬＷ數(shù)據(jù)集是近期開源的公開數(shù)據(jù)集，包含７５００張訓(xùn)練樣本，２５００張測??１５??


本文編號(hào)：3311761