基于正交元空間的多模態(tài)圖像增強技術研究
發(fā)布時間:2021-11-07 06:08
圖像增強技術自適應地為普通圖像(主要體現(xiàn)為光照、對比度等的不和諧)賦予適當?shù)拿缹W特征,同時保留圖像的內(nèi)容細節(jié)。給定普通圖像,多數(shù)現(xiàn)有工作僅輸出唯一的具有統(tǒng)一美學樣式的增強圖像,該樣式來自于給定的參考圖像集。然而,不同用戶的審美偏好、具體應用場景均可能存在較大差異,這需要圖像增強技術具有單一模型多模態(tài)處理的能力,給出盡量多樣化的輸出供用戶選擇。與此同時,圖像內(nèi)容和樣式特征需要充分解耦,并有多模態(tài)融合的能力。為了實現(xiàn)圖像增強的多模態(tài)輸出,本文提出了一種基于正交元空間的多模態(tài)圖像增強框架,提取出參考圖像中具有視覺吸引力的美學特征,并將其顯式地編碼到一個正交的元空間中。具體地,本文首先使用編碼-解碼器及對抗訓練策略提取出高美學質(zhì)量圖像的樣式和內(nèi)容特征。接下來,本文將參考圖像的樣式編碼映射到一個由一組正交基張成的樣式元空間中,其中正交基通過引入正交正則化損失來實現(xiàn)。在測試階段,給定任意一張普通圖像,本文由編碼器提取其內(nèi)容特征;同時在樣式元空間中隨機采樣多個樣式特征;最后將原圖內(nèi)容編碼與樣式特征分別融合后,送入解碼器得到最終的多模態(tài)增強圖像。另外,為提高多模態(tài)場景下樣式、內(nèi)容特征解耦及融合的穩(wěn)定性...
【文章來源】:南開大學天津市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:79 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
第一節(jié) 研究背景與動機
第二節(jié) 相關工作
第三節(jié) 本文研究內(nèi)容
第二章 基于正交元空間的多模態(tài)圖像增強技術
第一節(jié) 單一模型多模態(tài)圖像增強問題定義
第二節(jié) 樣式元空間的構建與學習
第三節(jié) 普通及參考圖像的重建
第四節(jié) 使用跨域隱變量進行圖像增強
第五節(jié) 本章小結
第三章 基于實例標準化及互信息優(yōu)化的特征解耦方法
第一節(jié) 基于元空間坐標及樣式編碼的實例標準化
第二節(jié) 基于互信息最大化的元空間增強
第三節(jié) 本章小結
第四章 實驗結果與分析
第一節(jié) 實驗配置細節(jié)
第二節(jié) HDR數(shù)據(jù)集樣式多樣性分析
第三節(jié) 元空間正交性與可解釋性分析
第四節(jié) 消融實驗
第五節(jié) 本文方法與現(xiàn)有技術的比較
第六節(jié) 用戶調(diào)查
第七節(jié) 本章小結
第五章 結論
第一節(jié) 本文工作總結
第二節(jié) 未來工作展望
參考文獻
致謝
個人簡歷
【參考文獻】:
期刊論文
[1]協(xié)作式生成對抗網(wǎng)絡[J]. 張龍,趙杰煜,葉緒倫,董偉. 自動化學報. 2018(05)
[2]生成式對抗網(wǎng)絡GAN的研究進展與展望[J]. 王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍. 自動化學報. 2017(03)
[3]基于互信息的貝葉斯網(wǎng)絡結構學習[J]. 紀厚業(yè),羅倩. 北京信息科技大學學報(自然科學版). 2016(06)
本文編號:3481315
【文章來源】:南開大學天津市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:79 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
第一節(jié) 研究背景與動機
第二節(jié) 相關工作
第三節(jié) 本文研究內(nèi)容
第二章 基于正交元空間的多模態(tài)圖像增強技術
第一節(jié) 單一模型多模態(tài)圖像增強問題定義
第二節(jié) 樣式元空間的構建與學習
第三節(jié) 普通及參考圖像的重建
第四節(jié) 使用跨域隱變量進行圖像增強
第五節(jié) 本章小結
第三章 基于實例標準化及互信息優(yōu)化的特征解耦方法
第一節(jié) 基于元空間坐標及樣式編碼的實例標準化
第二節(jié) 基于互信息最大化的元空間增強
第三節(jié) 本章小結
第四章 實驗結果與分析
第一節(jié) 實驗配置細節(jié)
第二節(jié) HDR數(shù)據(jù)集樣式多樣性分析
第三節(jié) 元空間正交性與可解釋性分析
第四節(jié) 消融實驗
第五節(jié) 本文方法與現(xiàn)有技術的比較
第六節(jié) 用戶調(diào)查
第七節(jié) 本章小結
第五章 結論
第一節(jié) 本文工作總結
第二節(jié) 未來工作展望
參考文獻
致謝
個人簡歷
【參考文獻】:
期刊論文
[1]協(xié)作式生成對抗網(wǎng)絡[J]. 張龍,趙杰煜,葉緒倫,董偉. 自動化學報. 2018(05)
[2]生成式對抗網(wǎng)絡GAN的研究進展與展望[J]. 王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍. 自動化學報. 2017(03)
[3]基于互信息的貝葉斯網(wǎng)絡結構學習[J]. 紀厚業(yè),羅倩. 北京信息科技大學學報(自然科學版). 2016(06)
本文編號:3481315
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3481315.html
最近更新
教材專著