基于深度神經(jīng)網(wǎng)絡(luò)的光場圖像編碼研究
發(fā)布時間:2021-09-05 22:56
隨著科學(xué)技術(shù)的發(fā)展,視頻圖像等影像數(shù)據(jù)的清晰度越來越高,他們所需要的存儲與傳輸資源也越來越多。為了緩解存儲與網(wǎng)絡(luò)傳輸?shù)呢?fù)擔(dān),所以我們需要對影像數(shù)據(jù)做一定的壓縮處理。HEVC(High Efficiency Video Coding)標(biāo)準(zhǔn)就是圖像編碼方法中的一種,它有著非常不錯的編碼效率,可以盡可能的壓縮圖像文件的同時保證圖像質(zhì)量。HEVC編碼標(biāo)準(zhǔn)通過對圖像分塊來進(jìn)行圖像的編碼,利用已經(jīng)編碼過的圖像塊來預(yù)測相鄰塊,將它們之間的差值記錄下來就可以達(dá)到編碼圖像的效果。目前,將深度神經(jīng)網(wǎng)絡(luò)用于圖像編碼十分的火熱,很多圖像編碼網(wǎng)絡(luò)模型都取得了不錯的效果,本文中我分別采用了長短期記憶網(wǎng)絡(luò)(LSTM,Long Short-Term Memory)模型和生成對抗網(wǎng)絡(luò)(GAN,Generative Adversarial Networks)模型來進(jìn)行光場圖像的編碼。LSTM模型利用了循環(huán)神經(jīng)網(wǎng)絡(luò),LSTM模型一共包含三個主要部分,分別是編碼器,二值化網(wǎng)絡(luò),解碼器。利用大量圖像數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò),可以得到一個用于編碼的權(quán)重參數(shù)。在編碼過程中編碼器會加載這些權(quán)值參數(shù),圖像經(jīng)過編碼器和二值化網(wǎng)絡(luò)會生成編碼文件。解碼...
【文章來源】:華中師范大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】:55 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖1.2?HEVC編碼塊的劃分方式??HEVC編碼器會將圖像劃分成多個大小統(tǒng)一的編碼樹塊,在將編碼樹塊??,
碩士學(xué)位論文??MASTER?S?THESIS??(b)是圖1.3?(a)的四叉樹劃分示結(jié)構(gòu)圖,第0層表示四叉樹的根節(jié)點(diǎn),也??就是64X64大小的編碼樹塊,然后再將整個編碼數(shù)塊劃分成多個編碼塊。??在一整幅圖像當(dāng)中,每一個編碼樹塊的掃描方式也是按照從左到右,從上到??下的順序。但由于圖像的尺寸不同,所以可能會出現(xiàn)邊緣圖像無法填滿整個??編碼樹塊的情況,這就需要編碼樹塊進(jìn)行四叉樹分裂。??°?PH?咖.......??-iKj?12??迦一?15??(a)編碼樹塊空間劃分?(b)編碼樹塊的四叉樹結(jié)構(gòu)??圖1.3編碼樹塊的劃分及其四叉樹結(jié)構(gòu)表示??在編碼過程中編碼塊還可以進(jìn)一步劃分為預(yù)測塊和變換塊用于圖像編碼??的預(yù)測和變化。在HEVC標(biāo)準(zhǔn)中編碼單元是預(yù)測單元和變換單元的基礎(chǔ),預(yù)??測單元是預(yù)測的最基本單元,變換單元則是變化的最基本單元。在預(yù)測過程??中,首先需要從幀間預(yù)測和幀內(nèi)預(yù)測中選取合適的預(yù)測方式,對于同一編碼??單元中的不同預(yù)測單元采用相同的預(yù)測方式。由于圖像內(nèi)部紋理的不同,所??以同一編碼單元內(nèi)的預(yù)測單元劃分也不同。預(yù)測單元的最小尺寸是4X4,且??預(yù)測單元的劃分相互獨(dú)立,所以一個編碼單元可以劃分出多個不同的預(yù)測單??元。預(yù)測單元的劃分一般分為三種模式,Skip模式,巾貞內(nèi)模式,巾貞間模式。??Skip模式是一種特殊的幀間預(yù)測模式,它主要應(yīng)用在相似度較高的塊之??間。Skip模式下劃分的預(yù)測單元尺寸和原編碼單元一樣,此時的編碼單元被??認(rèn)為和某個參考塊的相似度較高。所以此預(yù)測塊不需要通過運(yùn)動估計來獲得??預(yù)測值,只需要記錄當(dāng)前塊與參照塊的的運(yùn)動矢量。由于Skip模式這一特殊??性,所以在圖像編碼
碩士學(xué)位論文??ViW^wl)?MASTER'S?THESIS??變化單元的劃分方式要比預(yù)測單元簡單,它的劃分為殘差四叉樹劃分。??與四叉樹劃分的思路相似,變換單元的劃分是利用在預(yù)測單元產(chǎn)生的殘差數(shù)??據(jù)來進(jìn)行劃分,它的尺寸最大為64X64,最小為4X4。在同一個編碼單元??中,預(yù)測單元的尺寸和變換單元的尺寸可以不相同,預(yù)測單元和變換單元的??劃分互不影響。??1.3.4幀內(nèi)預(yù)測模式??本文中我們主要研宄如何去除光場圖像內(nèi)部的冗余信息,這與HEVC標(biāo)??準(zhǔn)的幀內(nèi)預(yù)測目的相同,所以這里我們主要介紹HEVC編碼標(biāo)準(zhǔn)的幀內(nèi)預(yù)測??模式。由于圖像的紋理與色彩變化各不相同,所以為了更好的編碼圖像,??HEVC標(biāo)準(zhǔn)使用了基于塊的多方向預(yù)測模式。為了滿足不同的圖像需求,達(dá)??到最好的編碼效果,HEVC標(biāo)準(zhǔn)的幀內(nèi)預(yù)測模式包括33種不同的預(yù)測方向??以及平面預(yù)測和直流預(yù)測。圖1.4為HEVC標(biāo)準(zhǔn)幀內(nèi)預(yù)測模式的各種不同預(yù)??測角度。??闕??圖1.?4?HEVC編碼幀內(nèi)預(yù)測的33種不同角度??HEVC標(biāo)準(zhǔn)幀內(nèi)預(yù)測模式分別是平面預(yù)測模式,直流預(yù)測模式和角度預(yù)??測模式。平面預(yù)測模式適用于顏色變化平滑的場景,若圖像中某一區(qū)域紋理??和顏色變化趨勢一致,則首先考慮使用平面預(yù)測模式。直流預(yù)測模式適用于??預(yù)測快內(nèi)像素值平坦的區(qū)域,因為預(yù)測塊內(nèi)的像素值相似度很高,所以可以??對整個預(yù)測塊使用同一個預(yù)測值。角度預(yù)測模式則適用于大部分的預(yù)測場景,??對于大部分圖像來說,它們內(nèi)部的紋理和色彩比較錯綜復(fù)雜,平面預(yù)測模式??和直流預(yù)測模式并不適用于這種情況,所以需要角度預(yù)測模式來進(jìn)行預(yù)測。??7??
【參考文獻(xiàn)】:
期刊論文
[1]基于小波變換與稀疏傅里葉變換相結(jié)合的光場重構(gòu)方法[J]. 周廣福,文成林,高敬禮. 電子學(xué)報. 2017(04)
[2]AVS2視頻編碼關(guān)鍵技術(shù)[J]. 周蕓,郭曉強(qiáng),王強(qiáng). 廣播電視信息. 2015(09)
博士論文
[1]生成對抗網(wǎng)絡(luò)的改進(jìn)方法與超分辨率圖像重建研究[D]. 李艷春.華南理工大學(xué) 2019
[2]HEVC與3D-HEVC快速編碼算法的研究[D]. 楊智堯.吉林大學(xué) 2017
本文編號:3386241
【文章來源】:華中師范大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】:55 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖1.2?HEVC編碼塊的劃分方式??HEVC編碼器會將圖像劃分成多個大小統(tǒng)一的編碼樹塊,在將編碼樹塊??,
碩士學(xué)位論文??MASTER?S?THESIS??(b)是圖1.3?(a)的四叉樹劃分示結(jié)構(gòu)圖,第0層表示四叉樹的根節(jié)點(diǎn),也??就是64X64大小的編碼樹塊,然后再將整個編碼數(shù)塊劃分成多個編碼塊。??在一整幅圖像當(dāng)中,每一個編碼樹塊的掃描方式也是按照從左到右,從上到??下的順序。但由于圖像的尺寸不同,所以可能會出現(xiàn)邊緣圖像無法填滿整個??編碼樹塊的情況,這就需要編碼樹塊進(jìn)行四叉樹分裂。??°?PH?咖.......??-iKj?12??迦一?15??(a)編碼樹塊空間劃分?(b)編碼樹塊的四叉樹結(jié)構(gòu)??圖1.3編碼樹塊的劃分及其四叉樹結(jié)構(gòu)表示??在編碼過程中編碼塊還可以進(jìn)一步劃分為預(yù)測塊和變換塊用于圖像編碼??的預(yù)測和變化。在HEVC標(biāo)準(zhǔn)中編碼單元是預(yù)測單元和變換單元的基礎(chǔ),預(yù)??測單元是預(yù)測的最基本單元,變換單元則是變化的最基本單元。在預(yù)測過程??中,首先需要從幀間預(yù)測和幀內(nèi)預(yù)測中選取合適的預(yù)測方式,對于同一編碼??單元中的不同預(yù)測單元采用相同的預(yù)測方式。由于圖像內(nèi)部紋理的不同,所??以同一編碼單元內(nèi)的預(yù)測單元劃分也不同。預(yù)測單元的最小尺寸是4X4,且??預(yù)測單元的劃分相互獨(dú)立,所以一個編碼單元可以劃分出多個不同的預(yù)測單??元。預(yù)測單元的劃分一般分為三種模式,Skip模式,巾貞內(nèi)模式,巾貞間模式。??Skip模式是一種特殊的幀間預(yù)測模式,它主要應(yīng)用在相似度較高的塊之??間。Skip模式下劃分的預(yù)測單元尺寸和原編碼單元一樣,此時的編碼單元被??認(rèn)為和某個參考塊的相似度較高。所以此預(yù)測塊不需要通過運(yùn)動估計來獲得??預(yù)測值,只需要記錄當(dāng)前塊與參照塊的的運(yùn)動矢量。由于Skip模式這一特殊??性,所以在圖像編碼
碩士學(xué)位論文??ViW^wl)?MASTER'S?THESIS??變化單元的劃分方式要比預(yù)測單元簡單,它的劃分為殘差四叉樹劃分。??與四叉樹劃分的思路相似,變換單元的劃分是利用在預(yù)測單元產(chǎn)生的殘差數(shù)??據(jù)來進(jìn)行劃分,它的尺寸最大為64X64,最小為4X4。在同一個編碼單元??中,預(yù)測單元的尺寸和變換單元的尺寸可以不相同,預(yù)測單元和變換單元的??劃分互不影響。??1.3.4幀內(nèi)預(yù)測模式??本文中我們主要研宄如何去除光場圖像內(nèi)部的冗余信息,這與HEVC標(biāo)??準(zhǔn)的幀內(nèi)預(yù)測目的相同,所以這里我們主要介紹HEVC編碼標(biāo)準(zhǔn)的幀內(nèi)預(yù)測??模式。由于圖像的紋理與色彩變化各不相同,所以為了更好的編碼圖像,??HEVC標(biāo)準(zhǔn)使用了基于塊的多方向預(yù)測模式。為了滿足不同的圖像需求,達(dá)??到最好的編碼效果,HEVC標(biāo)準(zhǔn)的幀內(nèi)預(yù)測模式包括33種不同的預(yù)測方向??以及平面預(yù)測和直流預(yù)測。圖1.4為HEVC標(biāo)準(zhǔn)幀內(nèi)預(yù)測模式的各種不同預(yù)??測角度。??闕??圖1.?4?HEVC編碼幀內(nèi)預(yù)測的33種不同角度??HEVC標(biāo)準(zhǔn)幀內(nèi)預(yù)測模式分別是平面預(yù)測模式,直流預(yù)測模式和角度預(yù)??測模式。平面預(yù)測模式適用于顏色變化平滑的場景,若圖像中某一區(qū)域紋理??和顏色變化趨勢一致,則首先考慮使用平面預(yù)測模式。直流預(yù)測模式適用于??預(yù)測快內(nèi)像素值平坦的區(qū)域,因為預(yù)測塊內(nèi)的像素值相似度很高,所以可以??對整個預(yù)測塊使用同一個預(yù)測值。角度預(yù)測模式則適用于大部分的預(yù)測場景,??對于大部分圖像來說,它們內(nèi)部的紋理和色彩比較錯綜復(fù)雜,平面預(yù)測模式??和直流預(yù)測模式并不適用于這種情況,所以需要角度預(yù)測模式來進(jìn)行預(yù)測。??7??
【參考文獻(xiàn)】:
期刊論文
[1]基于小波變換與稀疏傅里葉變換相結(jié)合的光場重構(gòu)方法[J]. 周廣福,文成林,高敬禮. 電子學(xué)報. 2017(04)
[2]AVS2視頻編碼關(guān)鍵技術(shù)[J]. 周蕓,郭曉強(qiáng),王強(qiáng). 廣播電視信息. 2015(09)
博士論文
[1]生成對抗網(wǎng)絡(luò)的改進(jìn)方法與超分辨率圖像重建研究[D]. 李艷春.華南理工大學(xué) 2019
[2]HEVC與3D-HEVC快速編碼算法的研究[D]. 楊智堯.吉林大學(xué) 2017
本文編號:3386241
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3386241.html
最近更新
教材專著