基于時(shí)空優(yōu)化的視頻去抖算法研究
發(fā)布時(shí)間:2021-07-24 23:06
近些年來(lái),隨著智能設(shè)備的普及和發(fā)展,使用便攜式相機(jī)拍攝各種視頻已經(jīng)成為人們?nèi)粘I钪胁豢苫蛉钡囊徊糠。這些拍攝的視頻除了記錄日常生活,也有一些被用于執(zhí)行一些復(fù)雜任務(wù),如目標(biāo)跟蹤、物體識(shí)別等。但是由于條件或者使用場(chǎng)景的限制,這些相機(jī)往往缺乏配套的穩(wěn)像設(shè)備,因而造成拍攝的視頻中常伴隨劇烈的抖動(dòng)。這種抖動(dòng)不僅會(huì)造成視頻質(zhì)量的下降和觀看者的不適,也會(huì)影響基于這些視頻執(zhí)行其他后續(xù)任務(wù),因此對(duì)抖動(dòng)視頻進(jìn)行去抖具有十分重要的意義。同時(shí)這也是目前一個(gè)非常熱門的研究方向。目前,針對(duì)一般場(chǎng)景的視頻去抖問(wèn)題已經(jīng)有了一些較好的解決方法,但是這些現(xiàn)有算法在處理包含復(fù)雜場(chǎng)景的視頻時(shí)常常會(huì)出現(xiàn)去抖性能的下降甚至失效的情況。這些復(fù)雜場(chǎng)景包括大前景運(yùn)動(dòng)物體、強(qiáng)視差和多動(dòng)態(tài)前景遮擋造成的不連續(xù)景深變化等。本文針對(duì)上述挑戰(zhàn)進(jìn)行了深入的研究分析,并分別提出了具有針對(duì)性的算法。這些算法通過(guò)建立包含時(shí)間約束項(xiàng)和空間約束項(xiàng)的優(yōu)化函數(shù)(即時(shí)空優(yōu)化函數(shù))進(jìn)行視頻穩(wěn)定視角下的位置估計(jì)。歸納起來(lái),本文的主要工作和研究成果有如下三點(diǎn):1)提出了一種結(jié)合前景背景特征軌跡的視頻去抖算法。本算法主要解決包含大前景和強(qiáng)視差場(chǎng)景視頻的去抖問(wèn)題。最典型...
【文章來(lái)源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:106 頁(yè)
【學(xué)位級(jí)別】:博士
【部分圖文】:
圖2.1生成對(duì)抗網(wǎng)絡(luò)示意圖
的視頻去抖相比,交通視頻去抖具有以下幾個(gè)難點(diǎn):???由于攝像頭是安裝在移動(dòng)的車輛上的,因此其會(huì)遭受比手持相機(jī)拍攝的視??頻更強(qiáng)的抖動(dòng)和更高的抖動(dòng)頻率[2\941。???交通視頻中往往存在若干大前景物體,例如移動(dòng)的汽車等。這些前景在視??頻幀中占比很大,因此此類視頻無(wú)法直接使用僅基于背景軌跡進(jìn)行抖動(dòng)估??計(jì)和平滑的方法進(jìn)行有效的穩(wěn)定[25]。???在交通視頻中,視差是一種常見(jiàn)現(xiàn)象并會(huì)產(chǎn)生明顯的景深變化,這對(duì)于一??般傳統(tǒng)方法具有較大的挑戰(zhàn)性251。??現(xiàn)有的絕大部分視頻去抖算法都需要首先區(qū)分前景區(qū)域和背景區(qū)域,然后利??用背景區(qū)域進(jìn)行相機(jī)運(yùn)動(dòng)估計(jì)和平滑。典型的現(xiàn)有方法[17 ̄25?41]的流程如圖3.1所??
?第3章結(jié)合前景背景特征軌跡的視頻去抖算法???P?^?ff,?^?P?? ̄ ̄■?〇-?????〇—? ̄〇___.????",??P??...?t-2?t-1?t?t+1?t+2?...??圖3.3抖動(dòng)特征軌跡P與其對(duì)應(yīng)的穩(wěn)定特征軌跡P之間的變換矩陣。??1.相似的相機(jī)抖動(dòng):在第f幀中,所有的特征軌跡包含相似的相機(jī)抖動(dòng)J,。??2.相似的同源運(yùn)動(dòng):當(dāng)兩條特征軌跡戶,和¥來(lái)自于同一物體,即同一前景物??體或背景時(shí),它們包含的主動(dòng)運(yùn)動(dòng)(即和{義,,},)相似。??3.軌跡平滑性:對(duì)于給定的特征軌跡尸;,其穩(wěn)定視角下的軌跡月應(yīng)該具有緩??慢平滑的幀間運(yùn)動(dòng),即不同幀間的巧,+1?-?應(yīng)該變化緩慢。??因此f在第?幀的穩(wěn)定視角可以通過(guò)求解以下優(yōu)化問(wèn)題得到:????min?〇({^.,}),?(3.7)??{^>i,)^,友e{,_?,…,,,…,,十W?}??其中??〇{{Puk})?=?〇l+〇2?+?〇,?+?〇A,?(3.8)??=?E?月廠?H巧廠?)丨丨2,??keC2t?ijes??%?=?Z?I>,,M丨丨(月廠月,卜1)-(匕-^-1)丨|2,??kGQt?ijE^S??巴3?=?s?ix』(n)-(n)"2,??m^nEQj?iGS??a?=?Z5>(心-?)丨丨2,??ks£2j?i^S??其中■0,是在第/幀的濾波窗口,5■表示在第r幀中連續(xù)的特征軌跡的集合。(^M,??爲(wèi)#,<,?,|^是權(quán)重參數(shù)。'^通常被設(shè)置為砧={〖-?,一,〖,?,7?+??}。因此在??第r幀,我們需要通過(guò)設(shè)置《幀的延遲得到{」P;v+1,.“,i^+J。在第/幀,我
【參考文獻(xiàn)】:
期刊論文
[1]Robust camera pose estimation by viewpoint classification using deep learning[J]. Yoshikatsu Nakajima,Hideo Saito. Computational Visual Media. 2017(02)
[2]基于SIFT特征匹配的實(shí)時(shí)魯棒視頻去抖動(dòng)系統(tǒng)[J]. 於俊,汪增福. 系統(tǒng)工程與電子技術(shù). 2014(02)
[3]電子穩(wěn)像技術(shù)綜述[J]. 王志民,徐曉剛. 中國(guó)圖象圖形學(xué)報(bào). 2010(03)
[4]移動(dòng)機(jī)器人視頻穩(wěn)定方法的研究[J]. 高彤,李瑞峰,孫立寧. 哈爾濱工業(yè)大學(xué)學(xué)報(bào). 2007(09)
博士論文
[1]復(fù)雜運(yùn)動(dòng)場(chǎng)景的交通視頻消抖算法研究[D]. 鄧思斌.中國(guó)科學(xué)技術(shù)大學(xué) 2017
[2]復(fù)雜交通場(chǎng)景中運(yùn)動(dòng)目標(biāo)智能監(jiān)控[D]. 嚴(yán)金豐.中國(guó)科學(xué)技術(shù)大學(xué) 2014
碩士論文
[1]手機(jī)高清視頻實(shí)時(shí)穩(wěn)像算法研究與實(shí)現(xiàn)[D]. 魏雪巍.北方工業(yè)大學(xué) 2018
本文編號(hào):3301611
【文章來(lái)源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:106 頁(yè)
【學(xué)位級(jí)別】:博士
【部分圖文】:
圖2.1生成對(duì)抗網(wǎng)絡(luò)示意圖
的視頻去抖相比,交通視頻去抖具有以下幾個(gè)難點(diǎn):???由于攝像頭是安裝在移動(dòng)的車輛上的,因此其會(huì)遭受比手持相機(jī)拍攝的視??頻更強(qiáng)的抖動(dòng)和更高的抖動(dòng)頻率[2\941。???交通視頻中往往存在若干大前景物體,例如移動(dòng)的汽車等。這些前景在視??頻幀中占比很大,因此此類視頻無(wú)法直接使用僅基于背景軌跡進(jìn)行抖動(dòng)估??計(jì)和平滑的方法進(jìn)行有效的穩(wěn)定[25]。???在交通視頻中,視差是一種常見(jiàn)現(xiàn)象并會(huì)產(chǎn)生明顯的景深變化,這對(duì)于一??般傳統(tǒng)方法具有較大的挑戰(zhàn)性251。??現(xiàn)有的絕大部分視頻去抖算法都需要首先區(qū)分前景區(qū)域和背景區(qū)域,然后利??用背景區(qū)域進(jìn)行相機(jī)運(yùn)動(dòng)估計(jì)和平滑。典型的現(xiàn)有方法[17 ̄25?41]的流程如圖3.1所??
?第3章結(jié)合前景背景特征軌跡的視頻去抖算法???P?^?ff,?^?P?? ̄ ̄■?〇-?????〇—? ̄〇___.????",??P??...?t-2?t-1?t?t+1?t+2?...??圖3.3抖動(dòng)特征軌跡P與其對(duì)應(yīng)的穩(wěn)定特征軌跡P之間的變換矩陣。??1.相似的相機(jī)抖動(dòng):在第f幀中,所有的特征軌跡包含相似的相機(jī)抖動(dòng)J,。??2.相似的同源運(yùn)動(dòng):當(dāng)兩條特征軌跡戶,和¥來(lái)自于同一物體,即同一前景物??體或背景時(shí),它們包含的主動(dòng)運(yùn)動(dòng)(即和{義,,},)相似。??3.軌跡平滑性:對(duì)于給定的特征軌跡尸;,其穩(wěn)定視角下的軌跡月應(yīng)該具有緩??慢平滑的幀間運(yùn)動(dòng),即不同幀間的巧,+1?-?應(yīng)該變化緩慢。??因此f在第?幀的穩(wěn)定視角可以通過(guò)求解以下優(yōu)化問(wèn)題得到:????min?〇({^.,}),?(3.7)??{^>i,)^,友e{,_?,…,,,…,,十W?}??其中??〇{{Puk})?=?〇l+〇2?+?〇,?+?〇A,?(3.8)??=?E?月廠?H巧廠?)丨丨2,??keC2t?ijes??%?=?Z?I>,,M丨丨(月廠月,卜1)-(匕-^-1)丨|2,??kGQt?ijE^S??巴3?=?s?ix』(n)-(n)"2,??m^nEQj?iGS??a?=?Z5>(心-?)丨丨2,??ks£2j?i^S??其中■0,是在第/幀的濾波窗口,5■表示在第r幀中連續(xù)的特征軌跡的集合。(^M,??爲(wèi)#,<,?,|^是權(quán)重參數(shù)。'^通常被設(shè)置為砧={〖-?,一,〖,?,7?+??}。因此在??第r幀,我們需要通過(guò)設(shè)置《幀的延遲得到{」P;v+1,.“,i^+J。在第/幀,我
【參考文獻(xiàn)】:
期刊論文
[1]Robust camera pose estimation by viewpoint classification using deep learning[J]. Yoshikatsu Nakajima,Hideo Saito. Computational Visual Media. 2017(02)
[2]基于SIFT特征匹配的實(shí)時(shí)魯棒視頻去抖動(dòng)系統(tǒng)[J]. 於俊,汪增福. 系統(tǒng)工程與電子技術(shù). 2014(02)
[3]電子穩(wěn)像技術(shù)綜述[J]. 王志民,徐曉剛. 中國(guó)圖象圖形學(xué)報(bào). 2010(03)
[4]移動(dòng)機(jī)器人視頻穩(wěn)定方法的研究[J]. 高彤,李瑞峰,孫立寧. 哈爾濱工業(yè)大學(xué)學(xué)報(bào). 2007(09)
博士論文
[1]復(fù)雜運(yùn)動(dòng)場(chǎng)景的交通視頻消抖算法研究[D]. 鄧思斌.中國(guó)科學(xué)技術(shù)大學(xué) 2017
[2]復(fù)雜交通場(chǎng)景中運(yùn)動(dòng)目標(biāo)智能監(jiān)控[D]. 嚴(yán)金豐.中國(guó)科學(xué)技術(shù)大學(xué) 2014
碩士論文
[1]手機(jī)高清視頻實(shí)時(shí)穩(wěn)像算法研究與實(shí)現(xiàn)[D]. 魏雪巍.北方工業(yè)大學(xué) 2018
本文編號(hào):3301611
本文鏈接:http://sikaile.net/shoufeilunwen/xxkjbs/3301611.html
最近更新
教材專著