本文關鍵詞：基于背景建模的高性能視頻編碼方法研究　出處：《中國科學技術大學》2017年博士論文　論文類型：學位論文

  更多相關文章： 高性能視頻編碼 背景建模 參考圖像 監(jiān)控視頻 碼率分配

【摘要】：隨著通信技術和多媒體技術的快速發(fā)展,視頻媒體已經(jīng)深入到人們工作和生活的各個方面,成為不可替代的第一媒介。而視頻的數(shù)據(jù)量巨大,不經(jīng)過壓縮編碼的視頻幾乎無法在網(wǎng)絡中傳輸,其存儲代價更是無法承受。因此,視頻編碼技術在目前的視頻大數(shù)據(jù)時代顯得愈加重要。視頻編碼技術是安防監(jiān)控、廣播電視等應用的核心技術,視頻編碼標準為視頻編碼技術提供了統(tǒng)一的技術規(guī)范,使得視頻技術得以推廣流行。從上個世紀九十年代至今,制定了一系列的視頻編碼標準,不斷推動了視頻技術的發(fā)展,以滿足不斷變化的需求。然而,這幾年自媒體的爆炸式增長,AR、VR等新媒體的出現(xiàn),以及公共安全需求下監(jiān)控視頻的更高清化,均急劇加快了視頻數(shù)據(jù)的增長規(guī)模,過去幾年產(chǎn)生的數(shù)據(jù)比以前四萬年產(chǎn)生的數(shù)據(jù)還多,即使最新的視頻標準H.265/MPEG-H HEVC也已經(jīng)無法滿足現(xiàn)實需求,亟需新的編碼技術來進一步提高編碼性能。背景參考圖像技術是視頻編碼技術中的新興技術之一,其基于背景建模理論,通過充分利用靜態(tài)背景特性消除視頻信號的冗余,最大限度提高編碼性能。然而,目前的背景圖像合成模型多為用于視頻分析的模型,此類模型需要大量訓練樣本,迭代粒度粗放,并不適用于視頻編碼;面向背景參考圖像的碼率分配技術多基于經(jīng)驗公式,無法根據(jù)內(nèi)容進行自適應調(diào)整;此外,由于無法使用參考圖像,幀內(nèi)編碼效率仍比較低,所耗比特數(shù)非常高,容易引起傳輸延時、丟包等現(xiàn)象。為了解決這些問題,本論文重點研究背景建模理論在視頻編碼中的應用,面向未來(下一代)編碼標準技術,在背景參考圖像的合成、背景塊的幀間碼率分配和監(jiān)控視頻的幀內(nèi)編碼方法三個方面開展了研究。論文主要創(chuàng)新點及貢獻概括如下:(1)本文提出了一種高效的背景參考圖像漸進式合成算法。針對靜態(tài)攝像頭和動態(tài)攝像頭兩種情況分別設計了合成算法。對于靜態(tài)攝像頭視頻,首先基于背景圖像的時空相關性,檢測所有符合條件的候選背景塊;再根據(jù)各個背景塊的時空分布打分,基于分數(shù)排序后選取若干背景塊進行高質(zhì)量編碼;最后使用重建背景塊漸進式更新背景參考圖像。對于動態(tài)攝像頭視頻,基于準確的全局運動估計對齊圖像,再結(jié)合靜態(tài)背景下的算法檢測背景塊,在背景參考圖像的更新過程中引入光照平滑算法。這兩種針對靜態(tài)和動態(tài)攝像頭的背景參考圖像合成算法均有效提高了視頻的編碼效率,避免了因額外編碼背景參考圖像帶來的碼率陡增現(xiàn)象。本文提出的針對靜態(tài)背景的背景參考圖像合成算法已被最新視頻編碼國內(nèi)標準AVS2接收,并被集成到AVS2參考軟件中。(2)本文提出了基于穩(wěn)定性分析的背景參考圖像碼率分配策略。基于已有的碼率分配方法,本文在時域上對背景塊的碼率進行了二次分配,即在已分配給背景塊碼率的約束下,研究如何有效分配時域各個背景塊間的碼率,以實現(xiàn)全局編碼性能最優(yōu)。通過分析視頻內(nèi)容的穩(wěn)定性,提取各個背景塊的運動分布信息,估計當前背景參考圖像中圖像塊被后續(xù)參考的概率大小,進而確定當前編碼圖像中背景塊與后續(xù)相同位置偽背景塊的編碼質(zhì)量關系�；谠撽P系,獲得全局率失真準則下的最優(yōu)碼率分配方案,指導背景塊的編碼決策。與傳統(tǒng)的碼率分配方法不同,本文提出的背景塊的碼率分配策略在進行碼率分配時,不僅僅考慮當前編碼塊的率失真最優(yōu),還考慮了當前背景塊失真對后續(xù)塊的影響,實現(xiàn)了全局率失真的最優(yōu)化。(3)本文提出了基于光照分離和深度學習的監(jiān)控序列幀內(nèi)編碼方法。一方面,考慮到不同時刻背景部分的反射系數(shù)基本不變,僅僅發(fā)生光照變化,本文提出了基于光照分離的背景塊幀內(nèi)編碼方法。該方法使用不同時刻的背景圖像序列進行光照分離,提取背景圖像的反射系數(shù)圖,并將其編碼存儲,使得后續(xù)任何編碼圖像均可訪問。基于高質(zhì)量反射系數(shù)圖,背景塊均可分離出光照分量。由于光照信號具有更強的空間相關性,更適合于幀內(nèi)編碼,該方法獲得了更優(yōu)的編碼性能,并有效降低了幀內(nèi)編碼所需比特數(shù)。另一方面,考慮到原有幀內(nèi)預測方法模式單一,無法根據(jù)內(nèi)容自適應調(diào)整插值方式,本文還提出了新的基于深度學習的幀內(nèi)預測模式。在該模式下,將原有最優(yōu)預測模式的預測圖像塊通過周圍可用重建像素填補作為輸入圖像塊,使用該圖像塊通過卷積神經(jīng)網(wǎng)絡獲得的輸出圖像塊作為該模式的預測圖像。該模式相比原有幀內(nèi)預測模式,更充分利用了周圍已編碼信息,且提供了更豐富的插值濾波方式,獲得了顯著的編碼性能提升。
[Abstract]:With the rapid development of communication technology and multimedia technology, video media has gone deep into all aspects of people's work and life, become the first media irreplaceable. The video and the huge amount of data, not compressed video encoding almost impossible in the network transmission, the storage cost is unbearable. Therefore, video encoding the technology becomes more and more important in the video era of big data at present. The video encoding technology is the core technology of security monitoring, radio and TV applications, video encoding standard for video encoding technology provides a unified technical specification, the video technology can be popular. Since the last century in 90s, developed a series of video encoding standards. Continue to promote the development of video technology, to meet the changing needs. However, in recent years, the explosive growth of media, AR, VR and other new media. More HD surveillance video public security demand, are rapidly accelerated video data generated over the past few years, the scale of growth, the data is more than forty thousand years before the data, even if the H.265/MPEG-H is the latest HEVC video standard has been unable to meet the practical needs, the need for new technology to further improve the encoding encoding performance background. The reference image is one of the emerging technology of video encoding technology, its theoretical background modeling based on the elimination of redundant video signal by making full use of the static background characteristics, maximize the encoding performance. However, the background image synthesis model for the multi video analysis model, this model requires a lot of training samples, the iterative particle size is extensive. Not suitable for video encoding; bit allocation technology based on background reference image based on empirical formula, can adaptively adjusted according to the content In addition, due to the use of the whole; reference image frame encoding efficiency is still relatively low, the consumption of the number of bits is very high, easy to cause the transmission delay, packet loss and so on. In order to solve these problems, this paper focuses on the background modeling theory in video encoding, for the future (the next generation) encoding standard technology. In the background of the reference image, the three aspects of background block inter frame bit allocation and video frame encoding method are studied. The main innovations and contributions are summarized as follows: (1) this paper presents an efficient background reference image progressive synthesis algorithms. Based on static and dynamic camera camera two which are designed for static camera video synthesis algorithm. Firstly, based on the temporal correlation of the background image, detecting all eligible candidate background blocks; then according to each piece of the temporal and spatial distribution of back view After sorting, fractional selects some background blocks with high quality based on the encoding; finally use reconstruction background block incremental update background reference image. For dynamic video camera, accurate global motion estimation based on image alignment algorithm, combined with the background of block detection under static background, the introduction of light background reference image smoothing algorithm in the update in the process of the two. For the static and dynamic camera background reference image synthesis algorithm can improve the video encoding efficiency, avoid because of additional background reference image encoding rate increased sharply. As background reference image synthesis algorithm for static background is proposed in this paper has been the latest domestic video encoding standard AVS2 receiver it is integrated into the AVS2 reference software. (2) this paper presents a stability analysis of the background reference image bit allocation strategy based on the existing rate based on the code. With this method, in time to block the background rate in the two distribution, have been assigned to the background block rate constraints on how to effectively allocate the rate between each time background block, to achieve global optimal performance. By encoding the stability analysis of video content, extract the motion information of each block of the background distribution at present, the estimated probability of the size of the reference background image in image blocks are references, and then determine the background of the current image block encoding and subsequent pseudo block encoding the same position background quality relationship. Based on this relation, the optimal rate allocation scheme to obtain the global rate distortion criterion under the guidance background block encoding decisions. Unlike traditional rate allocation the method, background block bit allocation strategy proposed in bit allocation, not only consider the current encoding block rate distortion optimization, considers when the background blocks The distortion effect on the subsequent block, to achieve the global optimization of rate distortion. (3) proposed monitoring frames based on light separation and deep learning within the encoding method. On the one hand, taking into account the reflection coefficient of different time background part basically unchanged, only changes in illumination, this paper proposed the background light frame block according to the separation in encoding method based on background image sequence of the method using different time light extraction separation, reflection coefficient map of the background image, and its encoding storage, making any subsequent encoding image can be accessed. High quality reflection coefficient map based on background blocks can be isolated from the light due to the spatial correlation component. The light signal has a stronger, more suitable for intra frame encoding, the encoding method has better performance, and effectively reduces the number of bits required for intra frame encoding. On the other hand, taking into account the intra prediction Methods a single model, not according to the contents of adaptive interpolation method, this paper also proposes a new deep learning intra prediction mode. Based on this model, the optimal prediction model to predict image block reconstruction through the surrounding pixels as input to fill the available image blocks, using the block image obtained by convolution neural network output image block as the prediction image of the model. This model compared with the original intra prediction mode, make full use of the surrounding encoding information, and provides a way of interpolation filter more abundant, the encoding performance is significantly improved.

【學位授予單位】：中國科學技術大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TN919.81

【相似文獻】

相關期刊論文 前10條

1 徐琳;;重點項目“高效視頻編碼中的關鍵技術研究”取得重要進展[J];自然科學進展;2007年02期

2 趙珊;張玲;鄭建彬;楊杰;;H．264視頻編碼標準[J];有線電視技術;2007年11期

3 蔣剛毅;朱亞培;郁梅;張云;;基于感知的視頻編碼方法綜述[J];電子與信息學報;2013年02期

4 林慶帆;;視頻編碼的新趨勢(英文)[J];西安郵電大學學報;2013年03期

5 ;我國科學家主導的視頻編碼標準成國際標準[J];中國標準導報;2013年07期

6 李衛(wèi)平;;是否使用可伸縮視頻編碼(英文)[J];中國科學技術大學學報;2013年11期

7 沈蘭蓀,魏海,黃祥林;基于子帶/小波分解的視頻編碼可分級性研究[J];電子學報;2000年07期

8 韋強,李曉輝,翟宗起;一種自適應快速視頻編碼的新方法[J];微機發(fā)展;2000年06期

9 張勇東,李桂苓;立體視頻編碼中視差估值算法的研究[J];電子測量與儀器學報;2002年01期

10 張勇東,李桂苓;高性能三維小波視頻編碼方法[J];通信技術;2002年01期

相關會議論文 前10條

1 楊任爾;陳懇;葉慶衛(wèi);;基于幀的多描述視頻編碼冗余插入研究[A];2009中國控制與決策會議論文集（2）[C];2009年

2 袁子立;胡世安;孟一鳴;王璀璨;;視頻編碼新技術新標準研究[A];全國第三屆信號和智能信息處理與應用學術交流會專刊[C];2009年

3 巫戈明;孫立峰;鐘玉琢;;聯(lián)合零向量預測的分布式視頻編碼框架[A];第三屆和諧人機環(huán)境聯(lián)合學術會議（HHME2007）論文集[C];2007年

4 石春鶯;陳偉建;;分布式視頻編碼的近況和未來研究方向[A];2008年中國西部青年通信學術會議論文集[C];2008年

5 楊任爾;金煒;陳懇;;基于下抽樣多描述視頻編碼及解碼后處理研究[A];第二十七屆中國控制會議論文集[C];2008年

6 許鵬飛;羅建書;;率控制自組織矢量量化及在視頻編碼中的應用[A];第十二屆全國圖象圖形學學術會議論文集[C];2005年

7 江濤;陳偉建;;可伸縮視頻編碼中運動模型的改進[A];2008年中國西部青年通信學術會議論文集[C];2008年

8 姜俊;胡駿;;新媒體視頻編碼方案比較研究[A];中國新聞技術工作者聯(lián)合會2008年學術年會論文集（下）[C];2008年

9 劉孝波;;基于聯(lián)合采樣的多描述視頻編碼[A];計算機技術與應用進展·2007——全國第18屆計算機技術與應用（CACIS）學術會議論文集[C];2007年

10 卿粼波;呂瑞;鄭敏;滕奇志;何小海;;基于迭代譯碼算法的分級分布式視頻編碼[A];第十五屆全國圖象圖形學學術會議論文集[C];2010年

相關重要報紙文章 前10條

1 記者 謝宏;我國主導的視頻編碼標準將頒為國際標準[N];科技日報;2013年

2 記者 徐建華;我國科學家主導的視頻編碼標準成國際標準[N];中國質(zhì)量報;2013年

3 中國工程院院士 高文;智慧城市中的視頻編碼、分析與評測[N];中國信息化周報;2013年

4 記者 徐建華;我國新一代視頻編碼標準公開征求意見[N];中國質(zhì)量報;2014年

5 湖北 褚達;視頻編碼一網(wǎng)打盡[N];電腦報;2003年

6 國際;第二代AVS開啟國際化征程[N];中國電子報;2009年

7 周汝波 賀學金;碟機常用視頻D/A轉(zhuǎn)換、視頻編碼集成電路維修資料[N];電子報;2007年

8 中國科學院計算技術研究所，，中國科學院研究生院$$ $$信息產(chǎn)業(yè)部“數(shù)字音視頻編解碼技術標準工作組”秘書長、組長 黃鐵軍 高文;視頻編碼有絕招[N];計算機世界;2003年

9 ;視頻編碼標準的發(fā)展[N];計算機世界;2005年

10 周汝波 賀學金;碟機常用視頻D/A轉(zhuǎn)換、視頻編碼集成電路維修資料[N];電子報;2007年

相關博士學位論文 前10條

1 王苫社;基于率失真優(yōu)化的高效視頻編碼技術研究[D];哈爾濱工業(yè)大學;2014年

2 胡金暉;基于深度信息的多視點視頻編碼及圖像增強技術研究[D];武漢大學;2014年

3 陳方棟;基于背景建模的高性能視頻編碼方法研究[D];中國科學技術大學;2017年

4 張江山;基于變換的視頻編碼與率失真分析[D];華中科技大學;2003年

5 趙安邦;穩(wěn)健視頻編碼與傳輸技術研究[D];清華大學;2007年

6 楊志杰;可伸縮視頻編碼中的基礎算法研究[D];中國科學院研究生院（軟件研究所）;2004年

7 張克新;可伸縮視頻編碼及傳輸理論與應用研究[D];華南理工大學;2012年

8 孟麗麗;多視點視頻編碼的研究[D];北京交通大學;2013年

9 王鵬;分布式視頻編碼率失真特性研究[D];上海交通大學;2008年

10 錢大興;基于視頻內(nèi)容的可伸縮視頻編碼的研究[D];大連理工大學;2012年

相關碩士學位論文 前10條

1 張正勇;基于高效視頻編碼標準中編碼單元分割的樣點自適應補償算法研究[D];華東師范大學;2015年

2 趙曉榮;基于HEVC的快速編碼算法研究[D];鄭州輕工業(yè)學院;2015年

3 趙睿思;基于壓縮感知的分布式視頻編碼研究[D];哈爾濱工業(yè)大學;2014年

4 劉娟;基于高性能視頻編碼(HEVC)算法的改進[D];東華理工大學;2014年

5 錢程;基于壓縮感知的分布式視頻編碼的研究與實現(xiàn)[D];南京郵電大學;2015年

6 檀會娟;分布式視頻編碼相關技術的研究[D];南京郵電大學;2015年

7 聶菁;H.264/AVC快速模式選擇算法研究[D];合肥工業(yè)大學;2015年

8 孟雷雷;基于參數(shù)選擇的視頻編碼算法優(yōu)化研究[D];中國計量學院;2015年

9 盧曉亮;面向4K的HEVC視頻編碼及其在高清網(wǎng)絡攝像機上應用的研究[D];浙江大學;2016年

10 郭健生;多視角多描述視頻編碼[D];北京交通大學;2016年

本文編號：1401802