壓縮感知物理實現(xiàn)光場重建的算法研究
發(fā)布時間:2021-09-03 09:32
成像技術(shù)一直以來都受到了人們的廣泛關(guān)注,近幾年隨著虛擬現(xiàn)實技術(shù)的發(fā)展,光場成像技術(shù)已經(jīng)成為了當下的研究熱點。本文結(jié)合壓縮感知(Compressed Sensing,CS)理論和計算成像技術(shù),物理實現(xiàn)了對真實場景低采樣率的光場重建,克服了傳統(tǒng)多相機光場成像體積大、成本高、標定難的缺點,解決了基于微透鏡陣列光場成像技術(shù)中存儲空間大、不便傳輸?shù)膯栴}。本文深入研究了壓縮感知原理和計算成像技術(shù)。針對目前光場圖像通過降低空間分辨率增加角度分辨率、占據(jù)內(nèi)存較大及傳輸不便等問題,本文通過拍攝一幅真實場景的編碼圖像,基于壓縮感知原理重建出25幅光場圖像,在保證圖像空間分辨率的同時,又降低了光場圖像的存儲空間,便于傳輸。改進了過完備字典的K-SVD訓練算法。K-SVD算法是訓練字典的經(jīng)典算法,能夠?qū)颖炯卣魈崛〔⒈4嬖谧值渲小1疚奶岢鯧-SVD算法正則化優(yōu)化方法,通過引入不同范數(shù)解決降低字典原子誤差與過擬合的問題,提高了光場重建的質(zhì)量。通過仿真實驗驗證了改進算法的優(yōu)越性,與K-SVD算法相比,重建的光場圖像峰值信噪比有了很大的提升。物理實現(xiàn)了真實場景的編碼采集過程以及對光場圖像的重建。本文首先利用仿真實...
【文章來源】:鄭州大學河南省 211工程院校
【文章頁數(shù)】:63 頁
【學位級別】:碩士
【部分圖文】:
Lytro光場相機重聚焦效果
1緒論4鏡陣列雖然能夠采集目標物的光場信息,但是成像傳感器不僅要記錄目標物的角度信息,還要記錄其空間信息。這種犧牲圖像空間分辨率來增加角度分辨率的積分成像技術(shù)仍存在一定的不足,這就促進了壓縮光場成像技術(shù)的發(fā)展。1.2.2光場重建研究現(xiàn)狀隨著光場成像技術(shù)的發(fā)展和光場設(shè)備的更新,光場數(shù)據(jù)十分龐大已是不爭的事實,所以研究者們思考能否在較小的數(shù)據(jù)上通過特定的方法得到完整的光場?光場重建的研究也從此展開,并且成為了目前多個相關(guān)領(lǐng)域的熱點研究問題[31-35]。BishopTE等[31]考慮到光場相機拍攝的光場圖像是權(quán)衡空間分辨率和角度分辨率后一個場景光場的樣本,但是目前的方法采集到的圖像分辨率遠低于傳統(tǒng)的成像設(shè)備,所以BishopTE等首次提出了對光場圖像做超分辨率重建,基于變分貝葉斯框架進行重建,并在光場相機的合成圖像和真實圖像上都得到了驗證。之后基于光場圖像的中心視圖、視差關(guān)系和深度信息等,相關(guān)文獻[32-41]實現(xiàn)了光場角度分辨率和空間分辨率的重建與優(yōu)化。利用Epipolarplaneimage(EPI)對視差圖的局部估計不需要進行高昂的匹配代價。2015年LiJ等[42]提出了一種確定性圖,用于對初始估計深度圖施加可見性約束。而VagharshakyanS等[43]利用了適應性的離散小波變換從稀疏采樣光場中重建光常2017年WuG等[44]提出使用非盲去模糊操作來恢復被EPI模糊抑制的空間細節(jié),實現(xiàn)小視差范圍(最多5個像素)的稀疏采樣光場數(shù)據(jù)。之后GaoY和VagharshakyanS等人[45-47]利用剪切波變換(ShearletTransform,ST)進行光場重建,將視差范圍擴大到16個像素以上。圖1.4基于神經(jīng)網(wǎng)絡(luò)的光場超分辨率重建原理框圖
捶矯嫻某曬ττ,YoonY等[55]在2015年第一次將卷積神經(jīng)網(wǎng)絡(luò)框架應用于光場圖像領(lǐng)域。該神經(jīng)網(wǎng)絡(luò)使用垂直(水平)角度維度中的兩個相鄰視圖通過插值法,分別進行空間和角度超分辨率重建,如圖1.4所示。同年,F(xiàn)lynnJ等[56]基于神經(jīng)網(wǎng)絡(luò)提供端到端的訓練。將場景中相鄰視圖的像素提交給網(wǎng)絡(luò),由網(wǎng)絡(luò)直接生成不可見視圖的像素,并在傳統(tǒng)的困難場景上得到高質(zhì)量的結(jié)果。2016年,KalantariNK等[57]提出從稀疏的輸入視圖集合中合成新的視圖。以現(xiàn)有的視圖合成技術(shù)為基礎(chǔ),將過程分解為視差估計和顏色估計兩部分。訓練流程如圖1.5所示。2018年,WingFungYeungH和WangY等[58-59]在深度學習中增加引導學習和分配權(quán)重等手段提高了重建質(zhì)量和速度[60]。2019年HuZ等[61]提出使用分層特征融合的方法在遮擋情況下的重建。圖1.5基于視差與顏色光場重建的神經(jīng)網(wǎng)絡(luò)訓練模型1.2.3壓縮感知在光場重建中的研究現(xiàn)狀DonohoDL和CandèsEJ等人[62-63]在2006年首次提出了壓縮感知理論,提出利用觀測矩陣對原始信號進行觀測得到觀測值,然后在后端進行原始信號的重建[64-65]。在壓縮感知理論被提出之后,很快就成為了研究熱點,而且壓縮感知的應用領(lǐng)域也十分廣泛[66-72]。2008年,DuarteMF等[73]設(shè)計了單像素相機壓縮成像系統(tǒng),利用快速反轉(zhuǎn)的數(shù)字微透鏡陣列,在短時間內(nèi)獲得目標物的隨機測量值,由單像素探測器采集較少的像素點,求解稀疏系數(shù),最后對稀疏系數(shù)逆變換重建出原始圖像。同年,MarciaRF等[74]設(shè)計了基于編碼孔徑成像的壓縮光場成像系統(tǒng)。編碼板插入相機鏡頭與傳感器之間,經(jīng)過編碼板調(diào)制后的光場信息被傳感器所接收,使用迭代重建方法實現(xiàn)原始光場重建[75]。Ashok等首次嘗試利用光場中固有的空間-角度相關(guān)性,與非壓縮方案相比,
【參考文獻】:
期刊論文
[1]基于字典學習的稠密光場重建算法[J]. 夏正德,宋娜,劉賓,潘晉孝,閆文敏,邵子惠. 物理學報. 2020(06)
[2]壓縮感知在光學成像領(lǐng)域的應用[J]. 柯鈞,張臨夏,周群. 光學學報. 2020(01)
[3]圖像壓縮感知理論研究綜述[J]. 王茁,黨姜婷,李育亮,楊海魚,楊文. 機械制造與自動化. 2019(01)
[4]壓縮感知理論綜述與展望[J]. 沈益,朱歌. 西華師范大學學報(自然科學版). 2018(04)
博士論文
[1]基于液晶面陣微鏡的偏振光場成像方法研究[D]. 信釗煒.華中科技大學 2019
[2]光場三維成像技術(shù)研究[D]. 劉永春.南京航空航天大學 2016
碩士論文
[1]壓縮感知重構(gòu)算法的改進及研究[D]. 孫潤潤.安徽理工大學 2019
[2]基于空間光調(diào)制器的波前再現(xiàn)技術(shù)研究[D]. 劉洪順.天津理工大學 2019
[3]基于微透鏡陣列的光場成像技術(shù)研究[D]. 許春濤.電子科技大學 2019
[4]基于壓縮感知的圖像高分辨率重建技術(shù)的研究[D]. 魏子然.中國科學院大學(中國科學院光電技術(shù)研究所) 2018
[5]光場圖像的超分辨率重建方法研究[D]. 鄧武.合肥工業(yè)大學 2018
[6]基于壓縮感知的光場采集和重建研究[D]. 陽寧凱.杭州電子科技大學 2018
[7]壓縮感知光場重建及深度估計的研究[D]. 牛原野.鄭州大學 2017
[8]光場的稀疏編碼模型及重構(gòu)算法的研究[D]. 張曉帥.浙江工業(yè)大學 2017
[9]基于壓縮感知的測量矩陣研究[D]. 李小波.北京交通大學 2010
本文編號:3380865
【文章來源】:鄭州大學河南省 211工程院校
【文章頁數(shù)】:63 頁
【學位級別】:碩士
【部分圖文】:
Lytro光場相機重聚焦效果
1緒論4鏡陣列雖然能夠采集目標物的光場信息,但是成像傳感器不僅要記錄目標物的角度信息,還要記錄其空間信息。這種犧牲圖像空間分辨率來增加角度分辨率的積分成像技術(shù)仍存在一定的不足,這就促進了壓縮光場成像技術(shù)的發(fā)展。1.2.2光場重建研究現(xiàn)狀隨著光場成像技術(shù)的發(fā)展和光場設(shè)備的更新,光場數(shù)據(jù)十分龐大已是不爭的事實,所以研究者們思考能否在較小的數(shù)據(jù)上通過特定的方法得到完整的光場?光場重建的研究也從此展開,并且成為了目前多個相關(guān)領(lǐng)域的熱點研究問題[31-35]。BishopTE等[31]考慮到光場相機拍攝的光場圖像是權(quán)衡空間分辨率和角度分辨率后一個場景光場的樣本,但是目前的方法采集到的圖像分辨率遠低于傳統(tǒng)的成像設(shè)備,所以BishopTE等首次提出了對光場圖像做超分辨率重建,基于變分貝葉斯框架進行重建,并在光場相機的合成圖像和真實圖像上都得到了驗證。之后基于光場圖像的中心視圖、視差關(guān)系和深度信息等,相關(guān)文獻[32-41]實現(xiàn)了光場角度分辨率和空間分辨率的重建與優(yōu)化。利用Epipolarplaneimage(EPI)對視差圖的局部估計不需要進行高昂的匹配代價。2015年LiJ等[42]提出了一種確定性圖,用于對初始估計深度圖施加可見性約束。而VagharshakyanS等[43]利用了適應性的離散小波變換從稀疏采樣光場中重建光常2017年WuG等[44]提出使用非盲去模糊操作來恢復被EPI模糊抑制的空間細節(jié),實現(xiàn)小視差范圍(最多5個像素)的稀疏采樣光場數(shù)據(jù)。之后GaoY和VagharshakyanS等人[45-47]利用剪切波變換(ShearletTransform,ST)進行光場重建,將視差范圍擴大到16個像素以上。圖1.4基于神經(jīng)網(wǎng)絡(luò)的光場超分辨率重建原理框圖
捶矯嫻某曬ττ,YoonY等[55]在2015年第一次將卷積神經(jīng)網(wǎng)絡(luò)框架應用于光場圖像領(lǐng)域。該神經(jīng)網(wǎng)絡(luò)使用垂直(水平)角度維度中的兩個相鄰視圖通過插值法,分別進行空間和角度超分辨率重建,如圖1.4所示。同年,F(xiàn)lynnJ等[56]基于神經(jīng)網(wǎng)絡(luò)提供端到端的訓練。將場景中相鄰視圖的像素提交給網(wǎng)絡(luò),由網(wǎng)絡(luò)直接生成不可見視圖的像素,并在傳統(tǒng)的困難場景上得到高質(zhì)量的結(jié)果。2016年,KalantariNK等[57]提出從稀疏的輸入視圖集合中合成新的視圖。以現(xiàn)有的視圖合成技術(shù)為基礎(chǔ),將過程分解為視差估計和顏色估計兩部分。訓練流程如圖1.5所示。2018年,WingFungYeungH和WangY等[58-59]在深度學習中增加引導學習和分配權(quán)重等手段提高了重建質(zhì)量和速度[60]。2019年HuZ等[61]提出使用分層特征融合的方法在遮擋情況下的重建。圖1.5基于視差與顏色光場重建的神經(jīng)網(wǎng)絡(luò)訓練模型1.2.3壓縮感知在光場重建中的研究現(xiàn)狀DonohoDL和CandèsEJ等人[62-63]在2006年首次提出了壓縮感知理論,提出利用觀測矩陣對原始信號進行觀測得到觀測值,然后在后端進行原始信號的重建[64-65]。在壓縮感知理論被提出之后,很快就成為了研究熱點,而且壓縮感知的應用領(lǐng)域也十分廣泛[66-72]。2008年,DuarteMF等[73]設(shè)計了單像素相機壓縮成像系統(tǒng),利用快速反轉(zhuǎn)的數(shù)字微透鏡陣列,在短時間內(nèi)獲得目標物的隨機測量值,由單像素探測器采集較少的像素點,求解稀疏系數(shù),最后對稀疏系數(shù)逆變換重建出原始圖像。同年,MarciaRF等[74]設(shè)計了基于編碼孔徑成像的壓縮光場成像系統(tǒng)。編碼板插入相機鏡頭與傳感器之間,經(jīng)過編碼板調(diào)制后的光場信息被傳感器所接收,使用迭代重建方法實現(xiàn)原始光場重建[75]。Ashok等首次嘗試利用光場中固有的空間-角度相關(guān)性,與非壓縮方案相比,
【參考文獻】:
期刊論文
[1]基于字典學習的稠密光場重建算法[J]. 夏正德,宋娜,劉賓,潘晉孝,閆文敏,邵子惠. 物理學報. 2020(06)
[2]壓縮感知在光學成像領(lǐng)域的應用[J]. 柯鈞,張臨夏,周群. 光學學報. 2020(01)
[3]圖像壓縮感知理論研究綜述[J]. 王茁,黨姜婷,李育亮,楊海魚,楊文. 機械制造與自動化. 2019(01)
[4]壓縮感知理論綜述與展望[J]. 沈益,朱歌. 西華師范大學學報(自然科學版). 2018(04)
博士論文
[1]基于液晶面陣微鏡的偏振光場成像方法研究[D]. 信釗煒.華中科技大學 2019
[2]光場三維成像技術(shù)研究[D]. 劉永春.南京航空航天大學 2016
碩士論文
[1]壓縮感知重構(gòu)算法的改進及研究[D]. 孫潤潤.安徽理工大學 2019
[2]基于空間光調(diào)制器的波前再現(xiàn)技術(shù)研究[D]. 劉洪順.天津理工大學 2019
[3]基于微透鏡陣列的光場成像技術(shù)研究[D]. 許春濤.電子科技大學 2019
[4]基于壓縮感知的圖像高分辨率重建技術(shù)的研究[D]. 魏子然.中國科學院大學(中國科學院光電技術(shù)研究所) 2018
[5]光場圖像的超分辨率重建方法研究[D]. 鄧武.合肥工業(yè)大學 2018
[6]基于壓縮感知的光場采集和重建研究[D]. 陽寧凱.杭州電子科技大學 2018
[7]壓縮感知光場重建及深度估計的研究[D]. 牛原野.鄭州大學 2017
[8]光場的稀疏編碼模型及重構(gòu)算法的研究[D]. 張曉帥.浙江工業(yè)大學 2017
[9]基于壓縮感知的測量矩陣研究[D]. 李小波.北京交通大學 2010
本文編號:3380865
本文鏈接:http://sikaile.net/kejilunwen/wulilw/3380865.html
最近更新
教材專著