人臉替換是將目標(biāo)圖片中的某個(gè)人的身份替換為源圖片中的另一個(gè)人的身份,同時(shí)保留原本的屬性,例如頭部姿態(tài),面部表情,膚色,光照,背景等。人臉替換在隱私保護(hù)、視頻合成、游戲渲染以及其他創(chuàng)意應(yīng)用程序等方面具有廣泛應(yīng)用價(jià)值。傳統(tǒng)人臉替換常常依托大量的手工勞動(dòng)來(lái)消除瑕疵,存在大量的重復(fù)操作,效率低,通用性能差。近年來(lái)隨著圖形學(xué)和深度學(xué)習(xí)的發(fā)展,圖像生成的效果和效率均取得了巨大提升。針對(duì)目前主流的幾種人臉替換算法存在的替換效果不佳的問(wèn)題,本文基于生成對(duì)抗網(wǎng)絡(luò),交叉重組身份、屬性、面部特征點(diǎn)三路特征,提出了一種單個(gè)模型、單次訓(xùn)練、單張參考人臉圖像即可實(shí)現(xiàn)開放集下任意人臉替換的算法,并圍繞此算法設(shè)計(jì)搭建了可穩(wěn)定高效進(jìn)行批量人臉替換的自動(dòng)化框架。開展的主要工作如下:(1)提出了任意人臉替換算法的結(jié)構(gòu)和流程,采用改進(jìn)后的WGAN作為人臉替換算法的基礎(chǔ)結(jié)構(gòu);引入身份編碼器、屬性編碼器、面部特征點(diǎn)提取器,針對(duì)面部特征點(diǎn)耦合身份特征影響生成器身份保持能力的問(wèn)題,提出了面部特征點(diǎn)轉(zhuǎn)換模塊,解耦面部特征點(diǎn)中的身份信息,盡可能地發(fā)揮特征點(diǎn)在保持姿態(tài)表情方面地作用;介紹了人臉替換算法的損失函數(shù)和訓(xùn)練流程,能夠無(wú)監(jiān)督地完成...

【文章頁(yè)數(shù)】：73 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
致謝
摘要
ABSTRACT
1 緒論
    1.1 引言
    1.2 人臉替換方法相關(guān)研究
    1.3 本文主要工作及意義
2 基于生成對(duì)抗網(wǎng)絡(luò)的任意人臉替換算法設(shè)計(jì)
    2.1 人臉替換模型整體框架
    2.2 生成對(duì)抗網(wǎng)絡(luò)介紹
        2.2.1 原始GAN
        2.2.2 Wasserstein距離
    2.3 人臉替換模型各模塊分析
        2.3.1 身份編碼模塊
        2.3.2 屬性編碼模塊
        2.3.3 面部特征點(diǎn)提取及轉(zhuǎn)換模塊
        2.3.4 生成器
        2.3.5 判別器
        2.3.6 損失函數(shù)及訓(xùn)練流程
    2.4 小結(jié)
3 自動(dòng)化人臉替換框架設(shè)計(jì)
    3.1 框架流程
    3.2 人臉檢測(cè)與對(duì)齊
    3.3 圖像融合
    3.4 分割蒙版策略
    3.5 小結(jié)
4 實(shí)驗(yàn)結(jié)果與分析
    4.1 訓(xùn)練細(xì)節(jié)
    4.2 評(píng)價(jià)指標(biāo)
        4.2.1 圖像質(zhì)量評(píng)價(jià)
        4.2.2 身份保持評(píng)價(jià)
        4.2.3 屬性保持評(píng)價(jià)
    4.3 實(shí)驗(yàn)對(duì)比結(jié)果
        4.3.1 上采樣方法對(duì)比
        4.3.2 模塊消融測(cè)試
        4.3.3 與現(xiàn)有方法對(duì)比
    4.4 小結(jié)
5 總結(jié)與展望
    5.1 主要研究成果
    5.2 未來(lái)研究工作展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間所取得的科研成果和榮譽(yù)



本文編號(hào)：3847746