發(fā)布時間：2021-10-15 03:58

　　隨著人工智能技術在服裝時尚領域的深入,服裝圖像的合成技術成為了當今社會的一個熱點研究方向。服裝圖像包含豐富的語義信息和細節(jié)信息,如何根據目標姿態(tài)合成服裝圖像是一個挑戰(zhàn)性難題。提出一種新的服裝圖像合成框架,提出一種姿態(tài)與生成對抗網絡相結合的圖像合成方法。該方法首先通過一種形狀編碼從原始服裝圖像提取語義掩模圖,從目標圖像中提取目標姿態(tài)以及pose mask,將它們作為與語義編碼器的輸入,通過語義生成器合成新的語義掩模圖;然后從原始圖像提取紋理特征并與語義掩模圖融合生成紋理特征圖;最后將紋理特征圖和語義掩模圖融入到紋理生成器中合成新的服裝圖像。實驗結果表明,與其他主流方法相比,此方法在圖像合成質量以及定量評估指標上有明顯提升。 

【文章來源】：現代計算機. 2020,(28)

【文章頁數】：6 頁

【部分圖文】：

服裝圖像合成框架

為了避免昂貴的姿態(tài)注釋，本文利用了最新的姿態(tài)估計器[9]來獲取近似的人體姿態(tài)，即目標姿態(tài)pt。模型學習將每個關鍵點映射到人體的某個位置，將姿態(tài)pt編碼為若干個heatmaps，每個heatmaps在對應關鍵點周圍半徑為4的像素中填充1，其他位置則填充0（請參看圖2，目標姿態(tài)）。由于只有語義掩模圖和目標姿態(tài)作為輸入，如果目標人體服裝圖像和原人體服裝圖像背景不同，則模型生成背景較困難。為了減輕背景變化的影響，于是添加了另一個姿態(tài)掩模圖Mpt，從而賦予了人體比背景更多的權重。姿態(tài)掩模Mpt的前景設置為1，背景設置為0，是通過將人體部位和運用一組形態(tài)學運算計算得出，以便使其易于覆蓋目標圖像中的整個人體（參看圖2）。2.1.3編輯模塊

語義編碼器的網絡結構定義為：p3,c7s1-16,d32,d64,d128,d128,d128,d128,d128,R128,R128,R128,R128,R128,R128,R128,R128,R128,fc8；語義生成器的網絡結構定義為：d128,d128,d128,d128,d128,d64,d32,d16,p3,c7s1-18。其中c7s1-k表示一個具有k個filters且步幅為1的7*7卷積塊，dk表示一個具有k個filters且步幅為2的3*3卷積塊，Rk表示一個殘差塊，包含兩個具有k個filters的3*3卷積塊。pk表示在所有邊界上的填充3。fck表示具有k個濾波器的完全連接層。圖4 服裝VAE-GAN模型


本文編號：3437380