基于深度學(xué)習(xí)的人臉老化合成研究
發(fā)布時(shí)間:2021-08-24 11:05
人臉老化合成是指利用計(jì)算機(jī)技術(shù)分析自然人臉圖像中年齡特征,渲染出個(gè)體在目標(biāo)年齡下的衰老樣貌,也叫年齡合成或年齡遞進(jìn)。人臉老化合成技術(shù)在人臉識(shí)別、人機(jī)交互、刑偵、娛樂及醫(yī)學(xué)等領(lǐng)域有著非常廣泛的應(yīng)用。隨著深度學(xué)習(xí)理論的發(fā)展,以深度學(xué)習(xí)網(wǎng)絡(luò)為工具,構(gòu)建從人臉圖像像素值到高層次衰老特征的網(wǎng)絡(luò)模型,較傳統(tǒng)人臉老化合成方法可以得到更自然、更逼真、更合理的老化效果,相關(guān)人臉老化合成研究具有重要的意義。當(dāng)前,基于深度學(xué)習(xí)的人臉老化合成面臨著面部衰老特征描述困難、衰老模態(tài)單一、低分辨率輸入引起的老化人臉圖像失真等研究難點(diǎn)。本文針對上述問題,研究工作和創(chuàng)新成果如下:(1)提出了基于分治策略的小年齡人臉老化合成算法小年齡人臉在成長過程中,面部特征受內(nèi)在因素的影響同時(shí)出現(xiàn)形狀變化和紋理變化。針對上述問題,本文提出的基于分治策略的小年齡人臉老化合成算法設(shè)計(jì)了并行的幾何形變生成對抗網(wǎng)絡(luò)和紋理遷移生成對抗網(wǎng)絡(luò)。在幾何形變生成對抗網(wǎng)絡(luò)中,本文利用面部形狀定位點(diǎn)信息來描述當(dāng)前輸入人臉圖像的幾何特征,并使用生成對抗思想學(xué)習(xí)面部輪廓、面部器官的幾何成長形變;在紋理遷移生成對抗網(wǎng)絡(luò)中,預(yù)訓(xùn)練的年齡預(yù)測模型被用作面部紋理顯著性...
【文章來源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】:118 頁
【學(xué)位級(jí)別】:博士
【部分圖文】:
方法[2]合成的老化人臉Figure1-1Theagingsimulationresultsin[2]
緒論3型模型的方法、傳統(tǒng)機(jī)器學(xué)習(xí)模型的方法及深度學(xué)習(xí)模型的方法。具體歸納為:(1)基于幾何物理的人臉老化合成受D’arcyThompson所提出形態(tài)學(xué)的影響[21],在早期的研究中[15,16,22-24],研究者們使用幾何物理類方法對面部衰老建模。這類方法將面部肌肉或皮膚分解為二維或三維的幾何單元,使用心源性轉(zhuǎn)換模型[15]、三維形狀模型[25]、人體測量學(xué)模型[26]、顱面生長模型[27]等來表示人臉圖像。圖1-2給出了典型的人臉老化幾何物理模型。基于幾何物理的人臉老化模型將人臉?biāo)ダ限D(zhuǎn)化為物理模型參數(shù)中線性和非線性約束,通過單元頂點(diǎn)位移和插值對人臉圖像進(jìn)行拉伸、描繪等操作,生成合成的老化圖像。因此,幾何物理模型建模以及合成變換操作是該類老化合成方法的關(guān)鍵。Pittenger等人[16]將面部建模為心源性變換模型,其將人臉老化定義為顱面復(fù)合體上的粘彈性事件。通過對面部輪廓拉伸、剪切和心源性變換等操作,合成目標(biāo)年齡的老化人臉。之后,Todd等人[15]在其工作基礎(chǔ)上,通過對作用于頭部的流體靜力學(xué)分析,提出了“修正”的心源性變換模型。進(jìn)一步,Mark等人[17,28,29]將這個(gè)模型推廣到三維中,得到了三維顱面生長模型。Ramanathan等人[27]在“修正”的心源性變換模型基礎(chǔ)上,參考Farkas等人[26]收集的關(guān)鍵點(diǎn)信息,提出了基于人體測量學(xué)的顱面生長模型。基于幾何物理的人臉老化模型通常只考慮人臉外形輪廓而不涉及紋理(如皺紋、老年斑等)變化、對種族及性別敏感,方法重建后的老化人臉真實(shí)感較差。受限于領(lǐng)域?qū)<业募夹g(shù)能力和水平,模型計(jì)算復(fù)雜。因此,此類方法受眾面小,主要應(yīng)用于非真實(shí)感的衰老渲染,如素描人臉圖像的老化合成在刑偵等專業(yè)領(lǐng)域。圖1-2基于幾何物理的人臉老化合成方法模型。圖a)心源性轉(zhuǎn)換模?
北京交通大學(xué)博士學(xué)位論文4觀信息,通常計(jì)算人臉圖像的像素值,而不是幾何物理模型中的幾何原語。基于圖像原型的人臉老化方法的核心通常包括預(yù)處理(計(jì)算原型臉)、核心算法(計(jì)算源年齡與目標(biāo)年齡的原型臉差異)、后處理(疊加至輸入人臉)等步驟,得到老化人臉。因此,原型臉的計(jì)算方式是此類方法的重點(diǎn)。圖1-3中展示了此類方法的基本思想。Burt等人[30]首次提出了以圖像的像素平均值為該年齡段原型臉。Du等人[31]在此工作基礎(chǔ)上,使用像素值的加權(quán)平均替代加和平均,使原型臉的計(jì)算方式更靈活。Kemelmacher等人[32]則在Burt等人工作基礎(chǔ)上,使用光流域轉(zhuǎn)換方法計(jì)算原型臉替代平均像素值,該方法不僅可適用于輸入臉的形狀,同時(shí)也考慮了光照條件對紋理的影響,其效果優(yōu)于文獻(xiàn)[30]的衰老合成效果。基于圖像原型的方法是基于人臉的RGB顏色圖像構(gòu)造的,較基于幾何物理的方法中輪廓信息,RGB圖像包含多種衰老的線索,如皮膚色素沉著、皺紋生長、頭發(fā)顏色變白等,因此此類方法更能反映面部衰老的真實(shí)情況。同時(shí),方法將處理過程自動(dòng)化,減少了研究者對專業(yè)領(lǐng)域知識(shí)的依賴,易于實(shí)現(xiàn),較之前基于幾何物理的方法拓展了人臉老化合成的應(yīng)用場景。然而,方法中平均臉的計(jì)算方式通常會(huì)丟失人臉圖像中個(gè)性化特征,使合成的老化人臉在感官上較相似。圖1-3基于圖像原型的人臉老化方法基本思想[33]Figure1-3Thebasicideaoftheprototypebasedfaceaging[33](3)基于傳統(tǒng)機(jī)器學(xué)習(xí)的人臉老化合成機(jī)器學(xué)習(xí)的出現(xiàn)和發(fā)展奠定了大規(guī)模數(shù)據(jù)驅(qū)動(dòng)的人臉老化合成技術(shù)的理論基矗此類方法通常將人臉圖像的像素值映射到高維空間,人為地構(gòu)造和提取衰老特征,利用機(jī)器學(xué)習(xí)模型對高維特征建模。典型的方法包括基于圖模型(GraphModel)的人臉老化合成方法[34-
【參考文獻(xiàn)】:
期刊論文
[1]基于多尺度和多方向特征的人臉超分辨率算法[J]. 黃麗,莊越挺,蘇從勇,吳飛. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2004(07)
博士論文
[1]基于深度學(xué)習(xí)的協(xié)同顯著性檢測方法研究[D]. 王沖.中國科學(xué)技術(shù)大學(xué) 2019
[2]基于一致性近鄰關(guān)系的極低質(zhì)量人臉超分辨率算法研究[D]. 陳亮.武漢大學(xué) 2017
[3]基于稀疏表示模型的人臉超分辨率研究[D]. 黃克斌.武漢大學(xué) 2017
[4]基于感知內(nèi)容的人臉圖像認(rèn)證技術(shù)研究[D]. 韓琦.哈爾濱工業(yè)大學(xué) 2009
本文編號(hào):3359870
【文章來源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】:118 頁
【學(xué)位級(jí)別】:博士
【部分圖文】:
方法[2]合成的老化人臉Figure1-1Theagingsimulationresultsin[2]
緒論3型模型的方法、傳統(tǒng)機(jī)器學(xué)習(xí)模型的方法及深度學(xué)習(xí)模型的方法。具體歸納為:(1)基于幾何物理的人臉老化合成受D’arcyThompson所提出形態(tài)學(xué)的影響[21],在早期的研究中[15,16,22-24],研究者們使用幾何物理類方法對面部衰老建模。這類方法將面部肌肉或皮膚分解為二維或三維的幾何單元,使用心源性轉(zhuǎn)換模型[15]、三維形狀模型[25]、人體測量學(xué)模型[26]、顱面生長模型[27]等來表示人臉圖像。圖1-2給出了典型的人臉老化幾何物理模型。基于幾何物理的人臉老化模型將人臉?biāo)ダ限D(zhuǎn)化為物理模型參數(shù)中線性和非線性約束,通過單元頂點(diǎn)位移和插值對人臉圖像進(jìn)行拉伸、描繪等操作,生成合成的老化圖像。因此,幾何物理模型建模以及合成變換操作是該類老化合成方法的關(guān)鍵。Pittenger等人[16]將面部建模為心源性變換模型,其將人臉老化定義為顱面復(fù)合體上的粘彈性事件。通過對面部輪廓拉伸、剪切和心源性變換等操作,合成目標(biāo)年齡的老化人臉。之后,Todd等人[15]在其工作基礎(chǔ)上,通過對作用于頭部的流體靜力學(xué)分析,提出了“修正”的心源性變換模型。進(jìn)一步,Mark等人[17,28,29]將這個(gè)模型推廣到三維中,得到了三維顱面生長模型。Ramanathan等人[27]在“修正”的心源性變換模型基礎(chǔ)上,參考Farkas等人[26]收集的關(guān)鍵點(diǎn)信息,提出了基于人體測量學(xué)的顱面生長模型。基于幾何物理的人臉老化模型通常只考慮人臉外形輪廓而不涉及紋理(如皺紋、老年斑等)變化、對種族及性別敏感,方法重建后的老化人臉真實(shí)感較差。受限于領(lǐng)域?qū)<业募夹g(shù)能力和水平,模型計(jì)算復(fù)雜。因此,此類方法受眾面小,主要應(yīng)用于非真實(shí)感的衰老渲染,如素描人臉圖像的老化合成在刑偵等專業(yè)領(lǐng)域。圖1-2基于幾何物理的人臉老化合成方法模型。圖a)心源性轉(zhuǎn)換模?
北京交通大學(xué)博士學(xué)位論文4觀信息,通常計(jì)算人臉圖像的像素值,而不是幾何物理模型中的幾何原語。基于圖像原型的人臉老化方法的核心通常包括預(yù)處理(計(jì)算原型臉)、核心算法(計(jì)算源年齡與目標(biāo)年齡的原型臉差異)、后處理(疊加至輸入人臉)等步驟,得到老化人臉。因此,原型臉的計(jì)算方式是此類方法的重點(diǎn)。圖1-3中展示了此類方法的基本思想。Burt等人[30]首次提出了以圖像的像素平均值為該年齡段原型臉。Du等人[31]在此工作基礎(chǔ)上,使用像素值的加權(quán)平均替代加和平均,使原型臉的計(jì)算方式更靈活。Kemelmacher等人[32]則在Burt等人工作基礎(chǔ)上,使用光流域轉(zhuǎn)換方法計(jì)算原型臉替代平均像素值,該方法不僅可適用于輸入臉的形狀,同時(shí)也考慮了光照條件對紋理的影響,其效果優(yōu)于文獻(xiàn)[30]的衰老合成效果。基于圖像原型的方法是基于人臉的RGB顏色圖像構(gòu)造的,較基于幾何物理的方法中輪廓信息,RGB圖像包含多種衰老的線索,如皮膚色素沉著、皺紋生長、頭發(fā)顏色變白等,因此此類方法更能反映面部衰老的真實(shí)情況。同時(shí),方法將處理過程自動(dòng)化,減少了研究者對專業(yè)領(lǐng)域知識(shí)的依賴,易于實(shí)現(xiàn),較之前基于幾何物理的方法拓展了人臉老化合成的應(yīng)用場景。然而,方法中平均臉的計(jì)算方式通常會(huì)丟失人臉圖像中個(gè)性化特征,使合成的老化人臉在感官上較相似。圖1-3基于圖像原型的人臉老化方法基本思想[33]Figure1-3Thebasicideaoftheprototypebasedfaceaging[33](3)基于傳統(tǒng)機(jī)器學(xué)習(xí)的人臉老化合成機(jī)器學(xué)習(xí)的出現(xiàn)和發(fā)展奠定了大規(guī)模數(shù)據(jù)驅(qū)動(dòng)的人臉老化合成技術(shù)的理論基矗此類方法通常將人臉圖像的像素值映射到高維空間,人為地構(gòu)造和提取衰老特征,利用機(jī)器學(xué)習(xí)模型對高維特征建模。典型的方法包括基于圖模型(GraphModel)的人臉老化合成方法[34-
【參考文獻(xiàn)】:
期刊論文
[1]基于多尺度和多方向特征的人臉超分辨率算法[J]. 黃麗,莊越挺,蘇從勇,吳飛. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2004(07)
博士論文
[1]基于深度學(xué)習(xí)的協(xié)同顯著性檢測方法研究[D]. 王沖.中國科學(xué)技術(shù)大學(xué) 2019
[2]基于一致性近鄰關(guān)系的極低質(zhì)量人臉超分辨率算法研究[D]. 陳亮.武漢大學(xué) 2017
[3]基于稀疏表示模型的人臉超分辨率研究[D]. 黃克斌.武漢大學(xué) 2017
[4]基于感知內(nèi)容的人臉圖像認(rèn)證技術(shù)研究[D]. 韓琦.哈爾濱工業(yè)大學(xué) 2009
本文編號(hào):3359870
本文鏈接:http://sikaile.net/shoufeilunwen/xxkjbs/3359870.html
最近更新
教材專著