基于無監(jiān)督深度學(xué)習(xí)的紅外與可見光圖像融合方法研究
發(fā)布時(shí)間:2021-01-19 11:06
紅外與可見光圖像融合技術(shù)一直是圖像融合領(lǐng)域研究熱點(diǎn)之一。紅外圖像反映物體熱輻射信息,對隱藏目標(biāo)具有較強(qiáng)的指示特性。將其與分辨率高、場景紋理清晰的可見光圖像融合,能夠突出目標(biāo)同時(shí)保持背景細(xì)節(jié),有利于系統(tǒng)全天候工作,實(shí)現(xiàn)目標(biāo)檢測、跟蹤、監(jiān)控等任務(wù)。傳統(tǒng)的紅外與可見光圖像融合方法發(fā)展較早,應(yīng)用廣泛。圖像融合時(shí),變換方式雖靈活,但活動水平測量及融合規(guī)則仍需人工手動設(shè)置,實(shí)現(xiàn)相對困難且模型不易調(diào)整。近年來,深度學(xué)習(xí)逐步應(yīng)用到紅外與可見光圖像融合領(lǐng)域并取得較好效果。通過訓(xùn)練多層、深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)間復(fù)雜關(guān)系,在損失函數(shù)約束下,能夠自動提取圖像特征信息后融合,實(shí)現(xiàn)更為簡潔、智能化,且模型易于調(diào)整,適應(yīng)性強(qiáng)。紅外與可見光圖像數(shù)據(jù)集中源圖像較少,且沒有標(biāo)準(zhǔn)的融合參考圖像。目前應(yīng)用的幾種深度學(xué)習(xí)融合方法,大多需要在其他可見光數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,且訓(xùn)練與測試模型不完全一致,無法實(shí)現(xiàn)輸入源圖像到輸出源圖像的端到端直接映射。這些有監(jiān)督網(wǎng)絡(luò)實(shí)現(xiàn)過程較復(fù)雜,且由于紅外與可見光源圖像并未參與網(wǎng)絡(luò)訓(xùn)練,得到的融合模型泛化能力較差。針對上述相關(guān)問題,本文從無監(jiān)督深度學(xué)習(xí)融合角度出發(fā),在對原始數(shù)據(jù)集擴(kuò)增基礎(chǔ)上,提出并設(shè)計(jì)...
【文章來源】:中國科學(xué)院大學(xué)(中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所)吉林省
【文章頁數(shù)】:133 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
Abstract
第1章 緒論
1.1 課題研究背景及意義
1.2 相關(guān)領(lǐng)域的研究現(xiàn)狀
1.2.1 紅外與可見光圖像融合研究現(xiàn)狀
1.2.2 深度學(xué)習(xí)網(wǎng)絡(luò)模型發(fā)展現(xiàn)狀
1.2.3 基于深度學(xué)習(xí)的圖像融合研究現(xiàn)狀
1.3 論文研究內(nèi)容及章節(jié)安排
1.3.1 研究內(nèi)容
1.3.2 章節(jié)安排
1.4 本章小結(jié)
第2章 深度學(xué)習(xí)與圖像融合研究基礎(chǔ)
2.1 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
2.1.1 卷積神經(jīng)網(wǎng)絡(luò)
2.1.2 殘差網(wǎng)絡(luò)
2.1.3 密集連接網(wǎng)絡(luò)
2.1.4 生成對抗網(wǎng)絡(luò)
2.2 監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)
2.2.1 監(jiān)督學(xué)習(xí)
2.2.2 無監(jiān)督學(xué)習(xí)
2.3 紅外與可見光圖像融合方法
2.3.1 傳統(tǒng)融合方法
2.3.2 基于深度學(xué)習(xí)的融合方法
2.4 本章小結(jié)
第3章 基于深度無監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合
3.1 深度無監(jiān)督融合網(wǎng)絡(luò)構(gòu)建
3.2 損失函數(shù)設(shè)計(jì)與分析
3.2.1 感知損失設(shè)計(jì)
3.2.2 結(jié)構(gòu)相似性損失設(shè)計(jì)
3.3 網(wǎng)絡(luò)訓(xùn)練與測試
3.3.1 實(shí)驗(yàn)平臺
3.3.2 數(shù)據(jù)集擴(kuò)增
3.3.3 訓(xùn)練及測試細(xì)節(jié)
3.4 實(shí)驗(yàn)結(jié)果與分析
3.4.1 融合結(jié)果比較
3.4.2 網(wǎng)絡(luò)模型分析
3.5 本章小結(jié)
第4章 基于生成對抗網(wǎng)絡(luò)及殘差網(wǎng)絡(luò)的紅外與可見光圖像融合
4.1 深度無監(jiān)督融合網(wǎng)絡(luò)構(gòu)建
4.1.1 對抗網(wǎng)絡(luò)融合過程
4.1.2 生成器網(wǎng)絡(luò)結(jié)構(gòu)
4.1.3 判別器網(wǎng)絡(luò)結(jié)構(gòu)
4.2 損失函數(shù)設(shè)計(jì)與分析
4.2.1 生成器損失函數(shù)
4.2.2 判別器損失函數(shù)
4.3 網(wǎng)絡(luò)訓(xùn)練與測試
4.4 實(shí)驗(yàn)結(jié)果與分析
4.4.1 融合結(jié)果比較
4.4.2 網(wǎng)絡(luò)模型分析
4.5 本章小結(jié)
第5章 融合圖像質(zhì)量客觀綜合評價(jià)
5.1 概述
5.2 融合圖像質(zhì)量主觀評價(jià)
5.3 融合圖像質(zhì)量客觀評價(jià)
5.3.1 融合圖像本身質(zhì)量評價(jià)指標(biāo)
5.3.2 融合圖像與源圖像關(guān)聯(lián)性評價(jià)指標(biāo)
5.4 多指標(biāo)綜合評價(jià)融合圖像質(zhì)量
5.4.1 評價(jià)指標(biāo)體系構(gòu)建
5.4.2 結(jié)果對比分析
5.5 本章小結(jié)
第6章 總結(jié)與展望
6.1 論文總結(jié)
6.2 創(chuàng)新性成果
6.3 研究展望
參考文獻(xiàn)
致謝
作者簡歷及攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與研究成果
【參考文獻(xiàn)】:
期刊論文
[1]基于NSCT-PCNN的多聚焦紅外圖像融合[J]. 岳靜靜,李茂忠,陳驥,羅永芳,胡志宇. 紅外技術(shù). 2017(09)
[2]一種基于稀疏表示的可見光與紅外圖像融合方法[J]. 張生偉,李偉,趙雪景. 電光與控制. 2017(06)
[3]基于OpenCV的紅外與可見光圖像實(shí)時(shí)融合系統(tǒng)[J]. 任貴文,賀行政,康榮學(xué),李旭明. 單片機(jī)與嵌入式系統(tǒng)應(yīng)用. 2017(04)
[4]利用紅外與可見光圖像融合測溫技術(shù)實(shí)現(xiàn)設(shè)備異常狀態(tài)預(yù)警[J]. 楊承,楊昕梅,李紹榮. 現(xiàn)代建筑電氣. 2014(S1)
[5]基于壓縮感知的紅外與可見光圖像融合算法[J]. 何國棟,石建平,馮友宏,謝小娟,楊凌云. 激光與紅外. 2014(05)
[6]融合圖像質(zhì)量評價(jià)指標(biāo)的相關(guān)性分析及性能評估[J]. 張小利,李雄飛,李軍. 自動化學(xué)報(bào). 2014(02)
[7]圖像融合質(zhì)量客觀評價(jià)方法[J]. 高紹姝,金偉其,王嶺雪,王吉暉,王霞. 應(yīng)用光學(xué). 2011(04)
[8]基于YUV空間色彩傳遞的可見光/熱成像雙通道彩色成像系統(tǒng)[J]. 史世明,王嶺雪,金偉其,趙源萌. 兵工學(xué)報(bào). 2009(01)
[9]基于YUV空間的雙通道視頻圖像色彩傳遞及實(shí)時(shí)系統(tǒng)[J]. 王嶺雪,史世明,金偉其,趙源萌,王生祥. 北京理工大學(xué)學(xué)報(bào). 2007(03)
[10]基于TMS320C6x的雙波段圖象高速融合系統(tǒng)[J]. 王毅,倪國強(qiáng),李勇量. 中國圖象圖形學(xué)報(bào). 2002(10)
博士論文
[1]紅外與紅外偏振/可見光圖像融合算法研究[D]. 朱攀.天津大學(xué) 2017
[2]紅外與可見光圖像融合技術(shù)研究[D]. 張蕾.中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所) 2015
[3]紅外與可見光圖像融合算法研究[D]. 周渝人.中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所) 2014
[4]紅外與可見光的圖像融合系統(tǒng)及應(yīng)用研究[D]. 張寶輝.南京理工大學(xué) 2013
[5]微光與紅外圖像實(shí)時(shí)融合關(guān)鍵技術(shù)研究[D]. 田思.南京理工大學(xué) 2010
[6]基于多尺度經(jīng)驗(yàn)?zāi)B(tài)分解的圖像融合算法研究[D]. 鄭有志.清華大學(xué) 2009
碩士論文
[1]紅外圖像和可見光圖像融合方法及其在電力設(shè)備監(jiān)測中的應(yīng)用[D]. 師穎.西安理工大學(xué) 2018
[2]紅外多波段圖像融合算法研究[D]. 李朝陽.中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所) 2018
[3]基于稀疏表示的紅外與可見光圖像融合方法研究[D]. 許曉偉.電子科技大學(xué) 2017
[4]紅外與可見光圖像融合方法研究[D]. 黃良學(xué).重慶郵電大學(xué) 2016
[5]基于稀疏表示的圖像融合方法研究[D]. 李錦興.重慶大學(xué) 2015
本文編號:2986870
【文章來源】:中國科學(xué)院大學(xué)(中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所)吉林省
【文章頁數(shù)】:133 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
Abstract
第1章 緒論
1.1 課題研究背景及意義
1.2 相關(guān)領(lǐng)域的研究現(xiàn)狀
1.2.1 紅外與可見光圖像融合研究現(xiàn)狀
1.2.2 深度學(xué)習(xí)網(wǎng)絡(luò)模型發(fā)展現(xiàn)狀
1.2.3 基于深度學(xué)習(xí)的圖像融合研究現(xiàn)狀
1.3 論文研究內(nèi)容及章節(jié)安排
1.3.1 研究內(nèi)容
1.3.2 章節(jié)安排
1.4 本章小結(jié)
第2章 深度學(xué)習(xí)與圖像融合研究基礎(chǔ)
2.1 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
2.1.1 卷積神經(jīng)網(wǎng)絡(luò)
2.1.2 殘差網(wǎng)絡(luò)
2.1.3 密集連接網(wǎng)絡(luò)
2.1.4 生成對抗網(wǎng)絡(luò)
2.2 監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)
2.2.1 監(jiān)督學(xué)習(xí)
2.2.2 無監(jiān)督學(xué)習(xí)
2.3 紅外與可見光圖像融合方法
2.3.1 傳統(tǒng)融合方法
2.3.2 基于深度學(xué)習(xí)的融合方法
2.4 本章小結(jié)
第3章 基于深度無監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合
3.1 深度無監(jiān)督融合網(wǎng)絡(luò)構(gòu)建
3.2 損失函數(shù)設(shè)計(jì)與分析
3.2.1 感知損失設(shè)計(jì)
3.2.2 結(jié)構(gòu)相似性損失設(shè)計(jì)
3.3 網(wǎng)絡(luò)訓(xùn)練與測試
3.3.1 實(shí)驗(yàn)平臺
3.3.2 數(shù)據(jù)集擴(kuò)增
3.3.3 訓(xùn)練及測試細(xì)節(jié)
3.4 實(shí)驗(yàn)結(jié)果與分析
3.4.1 融合結(jié)果比較
3.4.2 網(wǎng)絡(luò)模型分析
3.5 本章小結(jié)
第4章 基于生成對抗網(wǎng)絡(luò)及殘差網(wǎng)絡(luò)的紅外與可見光圖像融合
4.1 深度無監(jiān)督融合網(wǎng)絡(luò)構(gòu)建
4.1.1 對抗網(wǎng)絡(luò)融合過程
4.1.2 生成器網(wǎng)絡(luò)結(jié)構(gòu)
4.1.3 判別器網(wǎng)絡(luò)結(jié)構(gòu)
4.2 損失函數(shù)設(shè)計(jì)與分析
4.2.1 生成器損失函數(shù)
4.2.2 判別器損失函數(shù)
4.3 網(wǎng)絡(luò)訓(xùn)練與測試
4.4 實(shí)驗(yàn)結(jié)果與分析
4.4.1 融合結(jié)果比較
4.4.2 網(wǎng)絡(luò)模型分析
4.5 本章小結(jié)
第5章 融合圖像質(zhì)量客觀綜合評價(jià)
5.1 概述
5.2 融合圖像質(zhì)量主觀評價(jià)
5.3 融合圖像質(zhì)量客觀評價(jià)
5.3.1 融合圖像本身質(zhì)量評價(jià)指標(biāo)
5.3.2 融合圖像與源圖像關(guān)聯(lián)性評價(jià)指標(biāo)
5.4 多指標(biāo)綜合評價(jià)融合圖像質(zhì)量
5.4.1 評價(jià)指標(biāo)體系構(gòu)建
5.4.2 結(jié)果對比分析
5.5 本章小結(jié)
第6章 總結(jié)與展望
6.1 論文總結(jié)
6.2 創(chuàng)新性成果
6.3 研究展望
參考文獻(xiàn)
致謝
作者簡歷及攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與研究成果
【參考文獻(xiàn)】:
期刊論文
[1]基于NSCT-PCNN的多聚焦紅外圖像融合[J]. 岳靜靜,李茂忠,陳驥,羅永芳,胡志宇. 紅外技術(shù). 2017(09)
[2]一種基于稀疏表示的可見光與紅外圖像融合方法[J]. 張生偉,李偉,趙雪景. 電光與控制. 2017(06)
[3]基于OpenCV的紅外與可見光圖像實(shí)時(shí)融合系統(tǒng)[J]. 任貴文,賀行政,康榮學(xué),李旭明. 單片機(jī)與嵌入式系統(tǒng)應(yīng)用. 2017(04)
[4]利用紅外與可見光圖像融合測溫技術(shù)實(shí)現(xiàn)設(shè)備異常狀態(tài)預(yù)警[J]. 楊承,楊昕梅,李紹榮. 現(xiàn)代建筑電氣. 2014(S1)
[5]基于壓縮感知的紅外與可見光圖像融合算法[J]. 何國棟,石建平,馮友宏,謝小娟,楊凌云. 激光與紅外. 2014(05)
[6]融合圖像質(zhì)量評價(jià)指標(biāo)的相關(guān)性分析及性能評估[J]. 張小利,李雄飛,李軍. 自動化學(xué)報(bào). 2014(02)
[7]圖像融合質(zhì)量客觀評價(jià)方法[J]. 高紹姝,金偉其,王嶺雪,王吉暉,王霞. 應(yīng)用光學(xué). 2011(04)
[8]基于YUV空間色彩傳遞的可見光/熱成像雙通道彩色成像系統(tǒng)[J]. 史世明,王嶺雪,金偉其,趙源萌. 兵工學(xué)報(bào). 2009(01)
[9]基于YUV空間的雙通道視頻圖像色彩傳遞及實(shí)時(shí)系統(tǒng)[J]. 王嶺雪,史世明,金偉其,趙源萌,王生祥. 北京理工大學(xué)學(xué)報(bào). 2007(03)
[10]基于TMS320C6x的雙波段圖象高速融合系統(tǒng)[J]. 王毅,倪國強(qiáng),李勇量. 中國圖象圖形學(xué)報(bào). 2002(10)
博士論文
[1]紅外與紅外偏振/可見光圖像融合算法研究[D]. 朱攀.天津大學(xué) 2017
[2]紅外與可見光圖像融合技術(shù)研究[D]. 張蕾.中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所) 2015
[3]紅外與可見光圖像融合算法研究[D]. 周渝人.中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所) 2014
[4]紅外與可見光的圖像融合系統(tǒng)及應(yīng)用研究[D]. 張寶輝.南京理工大學(xué) 2013
[5]微光與紅外圖像實(shí)時(shí)融合關(guān)鍵技術(shù)研究[D]. 田思.南京理工大學(xué) 2010
[6]基于多尺度經(jīng)驗(yàn)?zāi)B(tài)分解的圖像融合算法研究[D]. 鄭有志.清華大學(xué) 2009
碩士論文
[1]紅外圖像和可見光圖像融合方法及其在電力設(shè)備監(jiān)測中的應(yīng)用[D]. 師穎.西安理工大學(xué) 2018
[2]紅外多波段圖像融合算法研究[D]. 李朝陽.中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所) 2018
[3]基于稀疏表示的紅外與可見光圖像融合方法研究[D]. 許曉偉.電子科技大學(xué) 2017
[4]紅外與可見光圖像融合方法研究[D]. 黃良學(xué).重慶郵電大學(xué) 2016
[5]基于稀疏表示的圖像融合方法研究[D]. 李錦興.重慶大學(xué) 2015
本文編號:2986870
本文鏈接:http://sikaile.net/shoufeilunwen/xxkjbs/2986870.html
最近更新
教材專著