隨著通信技術(shù)、大數(shù)據(jù)以及多媒體技術(shù)的發(fā)展,多媒體應(yīng)用已在人們的生活中扮演著越來(lái)越重要的角色。移動(dòng)終端的普及以及視頻分辨率的增長(zhǎng)使得互聯(lián)網(wǎng)上傳輸?shù)囊曨l數(shù)據(jù)量呈迅猛增長(zhǎng)態(tài)勢(shì),給視頻編碼帶來(lái)了前所未有的挑戰(zhàn)。近年來(lái),以深度學(xué)習(xí)為代表的人工智能技術(shù)在圖像處理、計(jì)算機(jī)視覺(jué)以及自然語(yǔ)言理解等領(lǐng)域取得了巨大的突破。深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性表達(dá)能力,可以進(jìn)行端到端訓(xùn)練的方式實(shí)現(xiàn)聯(lián)合優(yōu)化。如何將深度學(xué)習(xí)技術(shù)與視頻編碼結(jié)合起來(lái),利用深度學(xué)習(xí)進(jìn)一步提升視頻編碼的性能是一個(gè)具有價(jià)值的課題�，F(xiàn)有的視頻編碼標(biāo)準(zhǔn)中采用基于運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)技術(shù)來(lái)去除時(shí)間冗余,從而降低待編碼塊的編碼碼率。由于數(shù)字采樣的緣故,物體的實(shí)際運(yùn)動(dòng)往往無(wú)法與采樣網(wǎng)格對(duì)齊,因此難以在參考幀中找到精確的匹配塊。為了解決這個(gè)問(wèn)題,視頻編碼中引入了分像素運(yùn)動(dòng)補(bǔ)償?shù)母拍?通過(guò)插值濾波器從整像素圖像插值得到分像素圖像,利用得到的分像素圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償。傳統(tǒng)的分像素運(yùn)動(dòng)補(bǔ)償一般是使用簡(jiǎn)單的有限沖激響應(yīng)濾波器,固定的線性濾波器實(shí)現(xiàn)簡(jiǎn)單復(fù)雜度低,但是難以處理視頻信號(hào)中普遍的非線性和非平穩(wěn)性,編碼效率有待提高。本文主要研究如何利用深度學(xué)習(xí)技術(shù)學(xué)習(xí)更加高效的插值濾波器,從而提高分像素運(yùn)動(dòng)補(bǔ)償?shù)木幋a性能。本文的主要的創(chuàng)新點(diǎn)和貢獻(xiàn)如下:1.本文提出了首個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的分像素插值技術(shù)。卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督訓(xùn)練需要預(yù)先確定網(wǎng)絡(luò)的輸入和目標(biāo)輸出,即本文中的整數(shù)圖像和分?jǐn)?shù)圖像。但是由于分?jǐn)?shù)圖像在數(shù)字采樣時(shí)并未獲取,因此無(wú)法獲得訓(xùn)練所需的訓(xùn)練數(shù)據(jù)。針對(duì)分像素樣本無(wú)法獲取的問(wèn)題,本文首先分析了數(shù)字圖像的成像原理,提出了基于高斯低通濾波和多相抽樣的分像素樣本生成算法。此外,由于一般視頻編碼中采用的是有損編碼,參考幀中存在編碼噪聲。為了處理參考幀存在的編碼噪聲,本文提出基于量化參數(shù)的訓(xùn)練數(shù)據(jù)產(chǎn)生方法。最后,本文進(jìn)一步提出利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到更加高效的插值濾波器。本文的結(jié)果證實(shí)了基于深度學(xué)習(xí)的分像素插值技術(shù)的有效性。2.本文提出了基于幀間回歸模型的的分像素運(yùn)動(dòng)補(bǔ)償方法。從率失真優(yōu)化的角度看,分像素運(yùn)動(dòng)補(bǔ)償?shù)哪康氖翘岣邘g預(yù)測(cè)的精度,因此本文將分像素運(yùn)動(dòng)補(bǔ)償定義為幀間回歸問(wèn)題,即將參考圖像的整像素樣本映射為當(dāng)前待編碼圖像樣本的映射過(guò)程。本文進(jìn)一步設(shè)計(jì)了基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法求解上述幀間回歸問(wèn)題。HEVC中采用了雙向預(yù)測(cè)技術(shù),采用兩個(gè)預(yù)測(cè)塊的平均值作為當(dāng)前編碼塊的預(yù)測(cè)。針對(duì)雙向預(yù)測(cè)問(wèn)題,本文提出了一般化的分像素插值模型,將雙向預(yù)測(cè)的分像素插值看作是二元回歸模型,即將兩個(gè)方向的整像素參考?jí)K映射為當(dāng)前待編碼塊。為了求解雙向預(yù)測(cè)中的分像素插值問(wèn)題,本文設(shè)計(jì)了迭代求解算法,將二元回歸模型轉(zhuǎn)化為兩個(gè)一元回歸模型。此外,本文提出了基于視頻序列的分像素插值模型的訓(xùn)練數(shù)據(jù)產(chǎn)生方法。本文進(jìn)一步研究了如何更加靈活高效地將訓(xùn)練得到的插值模型集成到HEVC參考軟件中。實(shí)驗(yàn)結(jié)果顯示,本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)的分像素運(yùn)動(dòng)補(bǔ)償方法可以顯著提高幀間預(yù)測(cè)的編碼性能。3.本文提出了基于可逆性的插值濾波器的訓(xùn)練方法。本文首先從整像素和分像素具有的空間位置的對(duì)偶性,揭示了分像素插值的可逆性,即理想的插值濾波器不僅能從整像素插值得到分像素,還可以從分像素插值得到整像素。本文進(jìn)一步從信號(hào)處理的角度給出了可逆性的理論解釋。利用可逆性,本文提出了插值濾波器的無(wú)監(jiān)督訓(xùn)練算法,并設(shè)計(jì)了相應(yīng)的端到端的訓(xùn)練框架。本文設(shè)計(jì)了兩種損失函數(shù)來(lái)優(yōu)化所提出的訓(xùn)練框架,包括可逆重建損失函數(shù)以及分像素正則損失函數(shù)。本文提出的基于可逆性的插值濾波器的訓(xùn)練方法不再需要手工設(shè)計(jì)的分像素樣本作為標(biāo)簽數(shù)據(jù),克服了之前基于學(xué)習(xí)的插值濾波器的缺點(diǎn)。
【學(xué)位單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2020
【中圖分類】：TP18;TN919.81;TN713
【部分圖文】：

?第二章ＨＥＶＣ與深度學(xué)習(xí)基礎(chǔ)???信源?？?ｍｍ?？編碼????１?ｒ???信道傳輸??顯示４?后＿：＾?［解碼＾???圖２．１視頻編碼系統(tǒng)的一般框圖??２．１．３視頻編碼技術(shù)??視頻編碼的目的是去除視頻信號(hào)中的冗余，從而更加高效地表達(dá)視頻信號(hào)。??圖２．１為視頻編碼系統(tǒng)的一般框圖。實(shí)際場(chǎng)景經(jīng)過(guò)信號(hào)采集過(guò)程得到數(shù)字視頻信??號(hào)，采集到的視頻信號(hào)一般要經(jīng)過(guò)一些預(yù)處理，包括去噪、顏色校正及顏色空間??轉(zhuǎn)換等過(guò)程。編碼過(guò)程將輸入視頻轉(zhuǎn)換為編碼碼流的形式，目的是得到輸入信號(hào)??更加緊致的表達(dá)從而更適合在信道中傳輸。編碼碼流經(jīng)過(guò)特定的打包，然后在信??道中傳輸。傳輸包括傳輸和接收兩個(gè)過(guò)程，實(shí)際傳輸?shù)倪^(guò)程中還需要一些差錯(cuò)控??制技術(shù)。解碼端將接收到的編碼碼流轉(zhuǎn)換為重建的視頻序列。由于編碼經(jīng)常會(huì)采??用有損編碼，因此解碼重建的視頻只是原始視頻的一種近似。重建的視頻會(huì)經(jīng)過(guò)??一些后處理過(guò)程從而更適合顯示，包括顏色校正、去噪以及重采樣等。??根據(jù)冗余的不同特性，視頻編碼技術(shù)發(fā)展的過(guò)程中衍生出了很多編碼工具。??理論上最優(yōu)的編碼方法是矢量量化（Ｇｅｒｓｈｏ?ａｎｄ?Ｇｒａｙ，?１９９２），當(dāng)矢量的維度足夠??大的時(shí)候，矢量量化可以逼近香農(nóng)界。但是由于矢量量化的設(shè)計(jì)難度，并且計(jì)算??復(fù)雜度隨著矢量維度增加呈指數(shù)增長(zhǎng)，因此矢量量化難以在實(shí)際中應(yīng)用。在實(shí)??際的視頻編碼器設(shè)計(jì)過(guò)程中，往往將整個(gè)系統(tǒng)分成若干個(gè)模塊，每個(gè)模塊使用相??對(duì)簡(jiǎn)單容易實(shí)現(xiàn)的編碼工具，并且每個(gè)模塊用于去除視頻信號(hào)的某一特定冗余。??這種分模塊的視頻編碼系統(tǒng)在實(shí)際中得到了廣泛的應(yīng)用。常用的編碼技術(shù)有預(yù)??測(cè)技術(shù)、變換技術(shù)、以及熵編

＾＾ＥＳｈＨＢｂ?Ｉｎｖ．Ｔｒａｎｓｆｏｆｉｎ??Ｓｐｌｉｔ?ｉｎｔｏ?ＣＵｓ????〇?Ｎｒａ?Ｐｒｅｄｉｃｔｉｏｎ?＜???（ｒ０＾＾?ｊ＾＇ＬｏｏｐＦＩｔｅｒｓ?Ｉ??Ｓ???■■?????＿＿■＊??ｏ?Ｍｏｔｉｏｎ?Ｏｕｔｐｕｔ?Ｖｉｄｅｏ?Ｓｉｇｎａｌ??ｌｎ．ｒａ／ｌｎ．ｅｒ?＾Ｐｐ３１＾．．?ｒｌ??????＾￣ｍｍ＼??［＿?Ｒ＾ｅｒｅｎｃｅｐｊｃｔｕｒｅｓ?｜????Ｍｏｔｉｏｎ????Ｅｓｔｉｍａｔｉｏｎ??圖２．２?ＨＥＶＣ的編碼框架圖??２．２．２?ＨＥＶＣ的編碼框架??與之前的視頻編碼標(biāo)準(zhǔn)類似，ＨＥＶＣ也是使用基于塊的混合編碼架構(gòu)，包括??幀內(nèi)或者幀間預(yù)測(cè)以及二維變換編碼。圖２．２給出了?ＨＥＶＣ的編碼框架圖。編碼??端按照如下方式產(chǎn)生符合ＨＥＶＣ編碼標(biāo)準(zhǔn)的視頻碼流。每一幀圖像劃分成若干??個(gè)方形區(qū)域，劃分方式需要傳至解碼端。視頻序列的第一幀圖像（或者每個(gè)隨機(jī)??接入點(diǎn)的第一幅圖像）使用幀內(nèi)預(yù)測(cè)編碼，序列的其他圖像或者隨機(jī)接入點(diǎn)之間??的圖像則使用幀間預(yù)測(cè)模式。幀間預(yù)測(cè)包括運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償兩個(gè)過(guò)程。運(yùn)動(dòng)??估計(jì)是找到最優(yōu)的運(yùn)動(dòng)數(shù)據(jù)的過(guò)程，包括參考幀以及參考?jí)K在參考幀中的位置，??該位置使用運(yùn)動(dòng)矢量（ｍｏｔｉｏｎ?ｖｅｃｔｏｒ，?ＭＶ）表示。編碼端和解碼端根據(jù)ＭＶ和參考??中貞執(zhí)行同樣的運(yùn)動(dòng)補(bǔ)償（ｍｏｔｉｏｎ?ｃｏｍｐｅｎｓａｔｉｏｎ，?ＭＣ）操作得到預(yù)測(cè)塊。巾貞內(nèi)／楨間??預(yù)測(cè)的殘差信號(hào)經(jīng)過(guò)線性空域變換得到變換系數(shù)，變換系數(shù)再經(jīng)過(guò)縮放、量化和??熵編碼，殘差系數(shù)的碼流與運(yùn)動(dòng)信息一起傳輸?shù)浇獯a端。??圖２．２中的編碼框架中也復(fù)用了解碼器的

?第二章ＨＥＶＣ與深度學(xué)習(xí)基礎(chǔ)??????＋二Ｚ，????／??＿＿＿??—?—?－？？??圖２．３?ＨＥＶＣ中ＣＴＵ劃分為ＣＵ示意圖??２．２．３?ＨＥＶＣ的塊劃分結(jié)構(gòu)??ＨＥＶＣ標(biāo)準(zhǔn)采用了一種十分靈活的塊劃分結(jié)構(gòu)，引入了四種不同的塊的概??念：編碼樹單元（Ｃｏｄｉｎｇ?Ｔｒｅｅ?Ｕｎｉｔ，ＣＴＵ）、編碼單元（Ｃｏｄｉｎｇ?Ｕｎｉｔ，ＣＵ）、預(yù)測(cè)單??元（Ｐｒｅｄｉｃｔｉｏｎ?Ｕｎｉｔ，?ＰＵ）和變換單元（Ｔｒａｎｓｆｏｒｍ?Ｕｎｉｔ）。每個(gè)單元（Ｕｎｉｔ）包含了定義??的塊劃分的語(yǔ)法以及相應(yīng)的二維像素序列。編碼樹塊（Ｃｏｄｉｎｇ?Ｔｒｅｅ?Ｂｌｏｃｋ，?ＣＴＢ）、??編碼塊（Ｃｏｄｉｎｇ?Ｂｌｏｃｋ，?ＣＢ）、預(yù)測(cè)塊（Ｐｒｅｄｉｃｔｉｏｎ?Ｂｌｏｃｋ，?ＰＢ）以及變換塊（Ｔｒａｎｓｆｏｒｍ??Ｂｌｏｃｋ，ＴＢ）分別表示各個(gè)單元的像素信息。因此，每個(gè)ＣＴＵ包括一個(gè)亮度ＣＴＢ??和兩個(gè)色度ＣＴＢ，?ＣＵ、ＰＵ和ＴＵ類似。??ＣＴＵ的概念與Ｈ．２６４／ＡＶＣ中的宏塊（ｍａｃｒｏｂｌｏｃｋ，?ＭＢ）的概念類似，每個(gè)ｓｌｉｃｅ??中包含若干個(gè)ＣＴＵ，其中的ＣＴＵ按照光柵掃描順序進(jìn)行處理。ＨＥＶＣ?ｍａｉｎ?ｐｒｏｆｉｌｅ??中，ＣＴＵ的大小在序列參數(shù)集（ｓｅｑｕｅｎｃｅ?ｐａｒａｍｅｔｅｒ?ｓｅｔ，?ＳＰＳ）中的語(yǔ)法兀素表ｔｋ，??ＣＴＵ的大小可以是８ｘ８，?１６ｘ１６，?３２ｘ３２或者６４ｘ６４。這種靈活的設(shè)計(jì)能夠根據(jù)??實(shí)際編解碼器的流水線的延時(shí)限制或者片上存儲(chǔ)需求實(shí)現(xiàn)自適應(yīng)。此外，最大的??ＣＴＵ為６４ｘ６４，能夠更好的適應(yīng)高清視頻內(nèi)容的統(tǒng)計(jì)特性。允許更大的塊劃分??也是ＨＥＶＣ的主要編碼性能
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 熊承義;董朝南;;基于中心點(diǎn)預(yù)測(cè)的分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)改進(jìn)算法[J];中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年01期

2 王慶春;何曉燕;曹喜信;;分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)的VLSI結(jié)構(gòu)設(shè)計(jì)[J];電視技術(shù);2010年06期

3 賀建峰;變速運(yùn)動(dòng)圖象的恢復(fù)[J];昆明理工大學(xué)學(xué)報(bào);1998年02期

4 李穎超;王涌天;楊健;;基于像素運(yùn)動(dòng)模型的數(shù)字造影系統(tǒng)成像畸變校正[J];電子學(xué)報(bào);2008年08期

5 吳燕秀;王法翔;;適用于AVS的高性能整像素運(yùn)動(dòng)估計(jì)硬件設(shè)計(jì)[J];電子技術(shù)應(yīng)用;2013年01期

6 邵春芳;;AVS中一種分像素運(yùn)動(dòng)估計(jì)的快速算法[J];科技資訊;2009年30期

7 魏志強(qiáng);李翠蘋;劉敏;王巖;王莉;;自適應(yīng)AVS_M分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)快速算法[J];計(jì)算機(jī)科學(xué);2008年10期

8 熊承義;白云;;基于方向信息的快速整像素運(yùn)動(dòng)估計(jì)優(yōu)化[J];中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年01期

9 楊涵悅;張兆楊;滕國(guó)偉;;AVS分像素運(yùn)動(dòng)估計(jì)優(yōu)化算法[J];計(jì)算機(jī)工程;2010年14期

10 崔巖松;趙佳瑜;任維政;;一種HEVC整像素運(yùn)動(dòng)估計(jì)優(yōu)化算法[J];電視技術(shù);2015年03期

相關(guān)博士學(xué)位論文 前3條

1 閆寧;基于深度學(xué)習(xí)的分?jǐn)?shù)像素運(yùn)動(dòng)補(bǔ)償方法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2020年

2 王榮剛;分像素運(yùn)動(dòng)補(bǔ)償優(yōu)化技術(shù)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

3 王剛;高效視頻編碼的分像素運(yùn)動(dòng)補(bǔ)償插值算法及VLSI實(shí)現(xiàn)[D];吉林大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 王彥超;H.264分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)的FPGA設(shè)計(jì)[D];西安電子科技大學(xué);2014年

2 趙文超;基于FPGA的H.264分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)[D];西安電子科技大學(xué);2013年

3 王慶春;H.264/AVC編碼器中分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)的VLSI設(shè)計(jì)與FPGA驗(yàn)證[D];北京大學(xué);2007年

4 胡雙;H.264整像素運(yùn)動(dòng)估計(jì)的FPGA設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2013年

5 童禎;AVS運(yùn)動(dòng)估計(jì)模塊硬件設(shè)計(jì)[D];山東大學(xué);2015年

6 顏琥;1080P視頻編碼分像素運(yùn)動(dòng)估計(jì)算法與硬件實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2010年

7 劉曉彤;高效視頻編碼中自適應(yīng)插值濾波器的研究[D];吉林大學(xué);2014年

8 袁紅;基于二維不可分插值濾波器的圖像尺寸轉(zhuǎn)換方法[D];西安電子科技大學(xué);2006年

9 商迪;基于H.264視頻標(biāo)準(zhǔn)的運(yùn)動(dòng)估計(jì)算法研究與硬件設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2009年

10 周晉;視頻編碼中自適應(yīng)插值濾波器的算法研究[D];西安電子科技大學(xué);2011年

本文編號(hào)：2891919