【摘要】：隨著人們對(duì)于通信、計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)字多媒體等技術(shù)的不斷關(guān)注和依賴(lài),多視點(diǎn)視頻將成為未來(lái)數(shù)字電視的重要發(fā)展方向。與傳統(tǒng)的單視點(diǎn)二維視頻相比較,多視點(diǎn)視頻與人們的視覺(jué)需求更加匹配,它能夠提供豐富的立體感和沉浸感,并可以根據(jù)用戶(hù)需求自由切換觀看角度。多視點(diǎn)視頻在給人們帶來(lái)在全新感官體驗(yàn)的同時(shí),其本身龐大的數(shù)據(jù)量也對(duì)現(xiàn)有多媒體信息處理、通信網(wǎng)絡(luò)傳輸?shù)燃夹g(shù)帶來(lái)了巨大的挑戰(zhàn)。如何利用有限的參考視點(diǎn)生成高質(zhì)量的虛擬視點(diǎn)成為多視點(diǎn)視頻發(fā)展的內(nèi)在要求。 本文從多視點(diǎn)視頻系統(tǒng)的基本需求和目標(biāo)出發(fā),圍繞著新視點(diǎn)合成問(wèn)題進(jìn)行了深入地研究,提出了適用于該系統(tǒng)的內(nèi)容表示和視點(diǎn)重構(gòu)方法。本文的主要工作內(nèi)容和成果可歸納如下： 1)針對(duì)立體匹配問(wèn)題提出了一種基于多測(cè)度融合的匹配代價(jià)建立算法。該算法利用基于梯度的Census變換(Gradient-based Census Transform, GCT)、絕對(duì)色彩差(Absolute Color Differences, ACD),以及Gabor模式差(Gabor Pattern Differences, GPD)三種測(cè)度,從不同特征模式入手,多尺度、全方位地刻畫(huà)了參考圖像和目標(biāo)圖像之間的關(guān)聯(lián)特性,通過(guò)全面提取圖像區(qū)域的邊緣信息、紋理特性、色彩差異、方向?qū)傩缘忍卣?建立起完整統(tǒng)一的匹配代價(jià)計(jì)算模型,從而為精確地像素匹配提供了充足的保障。 2)針對(duì)傳統(tǒng)代價(jià)聚合計(jì)算復(fù)雜度高以及視差優(yōu)化存在歧義性的問(wèn)題,提出了一種基于引導(dǎo)濾波器和自適應(yīng)可信度圖的優(yōu)化算法。該算法采用的引導(dǎo)濾波器不但可以出色地完成傳統(tǒng)的代價(jià)聚合任務(wù),而且在代價(jià)聚合實(shí)施過(guò)程中,有線性復(fù)雜度的計(jì)算模型,這使得其運(yùn)算量不依賴(lài)于聚合窗口的大小,而僅僅取決于被聚合圖像的總像素點(diǎn)數(shù)目,從而明顯提高了代價(jià)聚合的計(jì)算效率。另外,傳統(tǒng)的WTA(Winner-Take-All)算法可能由于代價(jià)選擇的歧義性而引入匹配誤差,使用自適應(yīng)可信度圖算法可以有效選擇和替換可靠度較低的視差像素點(diǎn),從而進(jìn)一步提高了匹配結(jié)果的可靠性。 3)針對(duì)逐幀生成的深度圖序列在時(shí)域上不連續(xù)進(jìn)而引發(fā)閃爍噪聲等失真問(wèn)題,提出了一種基于自適應(yīng)時(shí)域梯度濾波的空時(shí)一致性視差序列估計(jì)算法。該算法不僅避免了對(duì)全局能量最小化、光流場(chǎng)等復(fù)雜問(wèn)題的求解,而且可以與現(xiàn)有的單幀立體匹配算法無(wú)縫兼容,在算法應(yīng)用范圍、可行性、計(jì)算復(fù)雜度等方面都有獨(dú)特的優(yōu)勢(shì)。 4)針對(duì)新視點(diǎn)合成中因視點(diǎn)遮擋而產(chǎn)生的空洞失真等問(wèn)題,提出了一種基于全局背景圖的新視點(diǎn)合成算法。該算法立足于從視頻序列的幀間信息中提取空洞區(qū)域的真實(shí)像素值,并結(jié)合圖像本身的紋理特征完成對(duì)空洞區(qū)域的修復(fù)。同時(shí),與傳統(tǒng)的至少需要使用兩路參考視點(diǎn)來(lái)繪制中間虛擬視點(diǎn)的方法相比,本文算法僅需一路參考視點(diǎn),這不僅能夠有效降低帶寬占用率,而且還可以不再受中間位置的限制,能夠提供更廣闊的虛擬視點(diǎn)合成范圍。 總得來(lái)說(shuō),本文針對(duì)多視點(diǎn)視頻中的立體匹配、深度圖時(shí)域連續(xù)化、視點(diǎn)合成、空洞失真修復(fù)等關(guān)鍵問(wèn)題進(jìn)行了較為深入地研究,為面向多視點(diǎn)視頻的新視點(diǎn)合成技術(shù)的進(jìn)一步發(fā)展做出了有益地探索。
[Abstract]:As people's attention and dependence on communication, computer network, digital multimedia and other technologies, multi-view video will become the important development direction of digital TV in the future. Compared with the traditional single-view two-dimensional video, the multi-view video is more matched with the human visual demand, and can provide rich stereoscopic impression and immersion feeling, and can freely switch the viewing angle according to the user demand. The multi-view video has brought great challenges to the existing multimedia information processing, communication network transmission and other technologies while bringing the new sense experience to people. How to use a limited reference viewpoint to generate a high-quality virtual viewpoint becomes the inner requirement of multi-view video development. In this paper, based on the basic requirements and objectives of the multi-view video system, a thorough study of the new viewpoint synthesis problem is carried out, and the content representation and the viewpoint reconstructor suitable for the system are put forward. The main contents and achievements of this paper can be summarized as follows: (1) Based on the three-dimensional matching problem, a matching cost building based on multi-measure fusion is proposed. The algorithm is based on the gradient-based Census transform (GCT), absolute color difference (ACD), and Gabor pattern difference (GPD). By comprehensively extracting the edge information, texture characteristic, color difference, direction attribute and the like of the image area, the matching cost calculation model is established, so that the accurate pixel matching is provided. (2) Based on the problems of high complexity of the traditional cost aggregation and the ambiguity of the parallax optimization, a guide filter and a self-adaptive reliability map are proposed. The algorithm adopted by the algorithm not only can perform the traditional cost aggregation task well, but also has a linear complexity calculation model in the process of cost aggregation, which makes the calculation amount not depend on the aggregation. the size of the window, but only on the total number of pixels of the aggregated image, significantly increases the cost aggregation In addition, the traditional WTA (Winner-take-All) algorithm can introduce the matching error due to the ambiguity of the cost selection, and the adaptive reliability map algorithm can effectively select and replace the low-reliability parallax pixel points, thereby further improving the matching junction. This paper presents a space-time consistency vision based on adaptive time-domain gradient filtering in order to avoid the distortion problems such as flicker noise in the time domain for the frame-by-frame depth map sequence. The algorithm not only avoids the solution of complex problems such as global energy minimization, light flow field and the like, but also can be seamlessly compatible with the existing single-frame stereo matching algorithm, and can be used in the aspects of the application range, the feasibility, the computational complexity and the like of the algorithm. Has a unique advantage.4) A global background is put forward for the problem of cavity distortion caused by the viewpoint occlusion in the new viewpoint synthesis. The algorithm is based on the extraction of the real pixel value of the cavity region from the inter-frame information of the video sequence, in addition, compared with the traditional method for drawing the middle virtual viewpoint by using at least two reference viewpoints, the algorithm only needs one path of reference viewpoint, which not only can effectively reduce the bandwidth occupation rate, but also can not Rebound by the intermediate position, it can be provided with a wider range of In general, the paper studies the key problems in multi-view video, such as stereo matching, time-domain continuous, point-of-view synthesis, and cavity distortion repair.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TN919.8

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 夏澤邑,劉沖,王躍宗,沙里瓦特;基于平均局部熵的顯微立體匹配算法[J];儀器儀表學(xué)報(bào);2003年S1期

2 高一寧;韓燮;;雙目視覺(jué)中立體匹配算法的研究與比較[J];電子測(cè)試;2011年01期

3 林川;;基于新掃描策略的快速立體匹配算法[J];電子科技;2011年08期

4 夏桂華;李志綱;蔡成濤;;一種快速區(qū)域立體匹配算法設(shè)計(jì)及實(shí)現(xiàn)[J];現(xiàn)代電子技術(shù);2011年24期

5 曾培龍;;基于模板的圖割立體匹配算法[J];智能計(jì)算機(jī)與應(yīng)用;2013年05期

6 游素亞;柳健;萬(wàn)發(fā)貫;;一種多方向通道的立體匹配算法[J];模式識(shí)別與人工智能;1994年03期

7 劉正東,楊靜宇;自適應(yīng)窗口的時(shí)間規(guī)整立體匹配算法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2005年02期

8 陳康;蘇曉龍;王香婷;;基于區(qū)域增長(zhǎng)的立體匹配算法研究[J];微計(jì)算機(jī)信息;2009年06期

9 劉忠艷;周波;張興華;劉春媛;;一種基于置信度傳播的立體匹配算法[J];自動(dòng)化與儀器儀表;2010年01期

10 朱程輝;任冉冉;;一種基于圖割理論的快速立體匹配算法[J];微型機(jī)與應(yīng)用;2010年10期

相關(guān)會(huì)議論文 前5條

1 賈波;章毓晉;張寧;林行剛;;一種二維搜索的立體匹配算法[A];中國(guó)圖象圖形科學(xué)技術(shù)新進(jìn)展——第九屆全國(guó)圖象圖形科技大會(huì)論文集[C];1998年

2 夏澤邑;劉沖;王躍宗;沙里瓦特;;基于平均局部熵的顯微立體匹配算法[A];中國(guó)儀器儀表學(xué)會(huì)第五屆青年學(xué)術(shù)會(huì)議論文集[C];2003年

3 高月芳;朱同林;張佑生;偶春生;;一種改進(jìn)的立體匹配算法[A];全國(guó)第13屆計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)（CAD/CG）學(xué)術(shù)會(huì)議論文集[C];2004年

4 趙亮亮;黎寧;;一種基于全局約束的立體匹配算法[A];第十三屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2006年

5 姜吉祥;屈玉福;;雙目視覺(jué)立體匹配算法對(duì)比研究[A];全國(guó)射線數(shù)字成像與CT新技術(shù)研討會(huì)論文集[C];2012年

相關(guān)博士學(xué)位論文 前10條

1 翟振剛;立體匹配算法研究[D];北京理工大學(xué);2010年

2 張翔;基于可編程片上系統(tǒng)的實(shí)時(shí)立體匹配算法研究[D];浙江大學(xué);2014年

3 陳彬;實(shí)時(shí)雙目立體匹配算法研究與實(shí)現(xiàn)[D];武漢科技大學(xué);2014年

4 池凌鴻;立體匹配算法的研究和應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

5 曹曉倩;面向病態(tài)場(chǎng)景圖像對(duì)的立體匹配算法研究[D];中國(guó)科學(xué)院研究生院（西安光學(xué)精密機(jī)械研究所）;2014年

6 王瑋;基于遮擋信息的局部立體匹配算法的研究[D];山東大學(xué);2012年

7 施陳博;快速圖像配準(zhǔn)和高精度立體匹配算法研究[D];清華大學(xué);2011年

8 劉赫偉;基于地面控制點(diǎn)和能量?jī)?yōu)化的魯棒立體匹配算法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

9 鄭志剛;高精度攝像機(jī)標(biāo)定和魯棒立體匹配算法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2008年

10 劉海旭;面向多視點(diǎn)視頻的新視點(diǎn)合成技術(shù)研究[D];北京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 劉紅新;基于圖割理論的立體匹配算法研究[D];湖南大學(xué);2011年

2 翁良寶;基于能量最小化的圖割立體匹配算法的理論與研究[D];燕山大學(xué);2013年

3 孟奐;三維重建中立體匹配算法的研究[D];哈爾濱工業(yè)大學(xué);2012年

4 李逵;雙目視覺(jué)立體匹配算法研究[D];暨南大學(xué);2009年

5 劉家駒;汽車(chē)輔助駕駛系統(tǒng)中立體匹配算法[D];山東大學(xué);2010年

6 劉英杰;基于動(dòng)態(tài)規(guī)劃和置信傳播的立體匹配算法的研究[D];燕山大學(xué);2011年

7 徐f;雙目立體匹配算法的設(shè)計(jì)與研究[D];南京林業(yè)大學(xué);2012年

8 周芳;雙目視覺(jué)中立體匹配算法的研究與實(shí)現(xiàn)[D];大連理工大學(xué);2013年

9 何艷;基于雙目立體視覺(jué)的窗口區(qū)域立體匹配算法研究[D];上海師范大學(xué);2014年

10 寧曉斐;雙目立體視覺(jué)中半全局立體匹配算法的研究[D];遼寧大學(xué);2014年

，

本文編號(hào)：2451631