圖像修復(fù)的主要任務(wù)是根據(jù)圖像已知信息來重建缺失內(nèi)容,使觀察者無法察覺到圖像曾經(jīng)被破壞過。作為計算機(jī)視覺研究領(lǐng)域的一項重要內(nèi)容,圖像修復(fù)因其在數(shù)字文化遺產(chǎn)保護(hù),圖片/視頻再編輯,電視/電影后期制作等行業(yè)中具有的重要應(yīng)用價值而被廣泛關(guān)注。傳統(tǒng)技術(shù)上,依據(jù)圖像像素間的相關(guān)性和內(nèi)容相似性,人們主要采用基于數(shù)學(xué)和物理的方法來實現(xiàn)圖像修復(fù)。隨著深度學(xué)習(xí)技術(shù)在學(xué)術(shù)界和工業(yè)界的飛速發(fā)展,尤其是各種生成網(wǎng)絡(luò)的出現(xiàn),利用深度學(xué)習(xí)實現(xiàn)圖像修復(fù)成為了研究的熱點并取得了眾多突破性的進(jìn)展。圖像作為結(jié)構(gòu)化數(shù)據(jù),必然存在上下文語義,而基于深度模型的圖像修復(fù)被證實能通過有效地提取圖像語義特征信息來生成修復(fù)圖像。具體研究中,如何增強(qiáng)深度模型對圖像語義特征的表達(dá)能力,以提高修復(fù)圖像的結(jié)構(gòu)連貫性、紋理一致性以及語義完整性是研究的焦點。同時,針對于隨機(jī)破損圖像的修復(fù),保證修復(fù)質(zhì)量,降低模型復(fù)雜度,提高模型的泛化能力也變得至關(guān)重要�？偟膩碚f,基于深度模型的語義圖像修復(fù)仍然是一個十分有挑戰(zhàn)的研究課題。本文針對現(xiàn)有圖像修復(fù)工作中依然存在的修復(fù)內(nèi)容模糊、語義不明確及深度模型復(fù)雜,模型泛化能力不強(qiáng)等問題展開研究。論文的主要工作和創(chuàng)新點如... 

【文章來源】：合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校

【文章頁數(shù)】：88 頁

【學(xué)位級別】：博士

【部分圖文】：

圖２．１卷積網(wǎng)絡(luò)發(fā)展史??Ｆｉｇ?２．１?Ｈｉｓｔｏｒｙ?ｏｆ?ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｔｗｏｒｋｓ??卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋｓ，簡稱ＣＮＮｓ）是一類可訓(xùn)練的??

輸出值等于輸入值，并使用反向傳播算法來對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。其由兩部分??組成：一個編碼器和一個生成重構(gòu)的解碼Ｉ?２００６年，Ｈｉｎｔｏｎ等［６１］對原型自編??碼器結(jié)構(gòu)進(jìn)行了改進(jìn)，提出了深度Ｓ動編碼（ＤＡＥ）網(wǎng)絡(luò)，相對于原始的自編碼??器加大了深度，提高了學(xué)習(xí)能力，更利于網(wǎng)絡(luò)預(yù)訓(xùn)練。先用無監(jiān)督逐層貪心訓(xùn)練??算法完成對隱含層的預(yù)訓(xùn)練，然后用ＢＰ算法對整個神經(jīng)網(wǎng)絡(luò)進(jìn)行系統(tǒng)性參數(shù)優(yōu)??化調(diào)整，有效改善了?ＢＰ算法易陷入局部最小值的不良狀況。??｜ｌｆｌ！??Ｌ１?Ｌ２?Ｌ３?Ｌ４?Ｌ５??圖２．２深度自編碼器網(wǎng)絡(luò)結(jié)構(gòu)圖??Ｆｉｇ?２．２?Ｔｈｅ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?ｄｅｅｐ?ａｕｔｏ－ｅｎｃｏｄｅｒ?ｎｅｔｗｏｒｋ??如圖２．２所示為一個５層的深度自編碼器，隱層節(jié)點從高到低（編碼），再??從低到高（解碼），其中間每一層都本質(zhì)上是原輸入的一個隱層表示。??２．２．１．３生成對抗網(wǎng)絡(luò)??生成對抗網(wǎng)絡(luò)（Ｇｅｎｅｒａｔｉｖｅ?Ａｄｖｅｒｓａｒｉａｌ?Ｎｅｔｗｏｒｋｓ，?ＧＡＮｓ）：最初是由?Ｇｏｏｄｆｅｌｌｏｗ??等［５］在２０１４年提出的一種圖像生成模型，主要靈感來源于博弈論咿零和博弈的??思想，具體來說就是“通過：由成網(wǎng)絡(luò)Ｇ?（Ｇｅｎｅｒａｔｏｒ）和判別網(wǎng)絡(luò)Ｄ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）??不斷博弈，生成器Ｇ用來捕獲真實數(shù)據(jù)樣本的潛在分布，通過隨機(jī)噪聲ｚ生成新的??數(shù)據(jù)樣本Ｇ（ｘ）；判別器Ｚ）是一個二分類器，判斷輸入是真實數(shù)據(jù)ｘ還是生成的樣??本，通過這種對抗學(xué)習(xí)的方式來訓(xùn)練整個模型”。將其用到圖像生成上，則訓(xùn)練??完成后，Ｇ可以從一段隨機(jī)噪聲中生成接近真實數(shù)據(jù)分布的看似逼真的圖像。??訓(xùn)練過程中，通過設(shè)定

Ｇ和Ｄ構(gòu)成了一??個動態(tài)的“博弈過程”，通過網(wǎng)絡(luò)對抗損失函數(shù)來不斷對抗訓(xùn)練以達(dá)到最終的平??衡點，其目標(biāo)函數(shù)Ｋ（Ｄ，Ｇ）如式（２－１）所示：??ｍｉｎｍａｘｌ／（Ｚ），Ｇ）?＝?Ｅｘ＾Ｐｄａｔａ（ｘ）［＼ｏｇＤ（ｘ＇）］?＋?Ｅｚ＾Ｐｚ（ｚ）［＼ｏｇ?（１?－Ｄ（Ｇ（ｚ）））］?（２－１）??Ｌｒ?Ｕ??其中，￡■表示分布．函數(shù)的期望僮＾?ｐｄａｔａ（ｘ）代表真實樣本的分布，ｐｚ（ｚ）為定義在??低維的噪聲分布，通過網(wǎng)絡(luò)參數(shù)＆的Ｇ映射到高維的數(shù)據(jù)空間得到ＧＡＮ??的計算流程和結(jié)構(gòu)如圖２．３所示。??對抗神經(jīng)網(wǎng)絡(luò)采用的是一種無監(jiān)督的學(xué)習(xí)方式訓(xùn)練，可以被廣泛用在無監(jiān)督??學(xué)習(xí)和半監(jiān)督領(lǐng)域，比如圖片風(fēng)格迀移，超分辨率，圖像修復(fù)，圖像去噪等ｆｔ．??１〇ＳＳｑ??ｒ?ｒ?＼?ｌ〇ＳＳｐ??隨機(jī)噪聲?？生成器Ｇ?—??ｚ￣Ｐ〇）???？判別器Ｄ?真／偽？）??真實數(shù)據(jù)??Ｘ?？ｐ（ｘ）??圖２．３?ＧＡＮ的計算流程和結(jié)構(gòu)圖??Ｆｉｇ?２．３?Ｔｈｅ?ｃａｌｃｕｌａｔｉｏｎ?ｆｌｏｗ?ｃｈａｒｔ?ａｎｄ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?ＧＡＮ??２．２．２基于自編碼器的圖像修復(fù)方法??自編碼器是一種無監(jiān)督學(xué)習(xí)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，在編碼過程中，將高維的圖像??數(shù)據(jù)進(jìn)行降維編碼，提取圖像的低維特征表達(dá)，再經(jīng)過解碼過程還原原始數(shù)據(jù)的??一種學(xué)習(xí)方式。應(yīng)用到圖像修復(fù)中，由編碼解碼過程修復(fù)出目標(biāo)內(nèi)容，再通過逐??像素縮小原始圖像與修復(fù)圖像間的像素誤差，逐步優(yōu)化修復(fù)結(jié)果的一種方式。嚴(yán)??格來說，這種方式并不是真正意義上的學(xué)習(xí)重建原始圖像，而是一種在像素級別??的逼近修復(fù)＊為了能讓修復(fù)圖像在數(shù)據(jù)分布上擬合原始數(shù)據(jù)，人們通常

【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)圖像修復(fù)方法綜述[J]. 強(qiáng)振平,何麗波,陳旭,徐丹.  中國圖象圖形學(xué)報. 2019(03)



本文編號：3106319