本文關(guān)鍵詞： 圖像管線優(yōu)化 非真實(shí)感繪制 幀間連貫性 視頻風(fēng)格化　出處：《山東大學(xué)》2017年博士論文　論文類型：學(xué)位論文

【摘要】：媒體數(shù)據(jù)是指數(shù)字化的圖像、視頻、圖形、動(dòng)畫、交互內(nèi)容等形式的信息載體。媒體處理研究媒體內(nèi)容的獲取、存儲(chǔ),處理、傳輸、播放或展示等理論和技術(shù)。在數(shù)字創(chuàng)意、交互娛樂、計(jì)算機(jī)模擬仿真、科學(xué)計(jì)算可視化、醫(yī)學(xué)可視化、數(shù)字教育和出版等領(lǐng)域,媒體處理相關(guān)的理論技術(shù)是通過特定的媒體處理管線串聯(lián)起來實(shí)現(xiàn)的。媒體處理管線在我們的日常生活中無處不在,例如用照相機(jī)拍攝一張照片或者將照片上傳到校內(nèi)、百度等社交網(wǎng)絡(luò)上,是通過特定的圖像處理管線來實(shí)現(xiàn)的,是媒體處理管線中的重要部分之一。隨著科技的發(fā)展,在數(shù)字娛樂、影視制作、網(wǎng)絡(luò)游戲和輔助教學(xué)等領(lǐng)域,人們對(duì)圖像、視頻制作要求越來要高。隨著媒體數(shù)據(jù)采集設(shè)備的發(fā)展,越來越多的大型高分辨率圖像庫、視頻庫或場(chǎng)景三維模型成為媒體處理管線的主要輸入,然而原有媒體處理管線的復(fù)雜的計(jì)算流程導(dǎo)致在處理過程中不能滿足用戶的實(shí)時(shí)交互性。隨著數(shù)據(jù)源的增大,處理效率有待提高。又如在增強(qiáng)現(xiàn)實(shí)應(yīng)用中,需要依靠含有計(jì)算機(jī)生成的信息建立混合場(chǎng)景,啟發(fā)用戶在現(xiàn)實(shí)中完成一些創(chuàng)造性的工作,這意味著需要更具有藝術(shù)表現(xiàn)力和感染力的支持多元數(shù)據(jù)融合的媒體處理管線。本文提出了一種支持非真實(shí)感繪制的媒體處理管線架構(gòu),選擇圖像管線優(yōu)化這個(gè)基礎(chǔ)問題作為研究的切入點(diǎn)。進(jìn)而對(duì)管線中關(guān)鍵的圖像處理組件及非真實(shí)感繪制方法進(jìn)行了研究。本文主要貢獻(xiàn)與創(chuàng)新點(diǎn):(1)提出了一種支持非真實(shí)感繪制的媒體處理管線架構(gòu)。針對(duì)非真實(shí)感繪制方法特點(diǎn),提出了一種支持非真實(shí)感繪制的媒體處理管線架構(gòu)�；谠摴芫�可以方便地實(shí)現(xiàn)非真實(shí)感繪制圖像與圖像/視頻的分層融合,虛實(shí)結(jié)合的多種藝術(shù)效果。這為現(xiàn)實(shí)中的電視制作、網(wǎng)絡(luò)聊天、卡通動(dòng)漫制作、游戲的卡通處理等領(lǐng)域中的視頻的風(fēng)格化繪制問題提供了新的解決方案。(2)提出了一種基于智能采樣方法的圖像管線優(yōu)化方法。針對(duì)媒體處理管線中每個(gè)圖像處理階段,通過多種采樣技術(shù)把在圖像上進(jìn)行的循環(huán)計(jì)算,改造成更加稀疏的循環(huán),當(dāng)在后續(xù)階段訪問到之前計(jì)算遺漏的數(shù)據(jù)時(shí),可以根據(jù)已知的采樣結(jié)果對(duì)丟失的信息進(jìn)行近似重建。此外,結(jié)合一種新型類C語言的解析器,在管線運(yùn)行效率和圖像質(zhì)量的組合空間中,自適應(yīng)地選擇最優(yōu)化的采樣和重建方法的方法。并基于建立的數(shù)據(jù)集,與多種圖像處理階段進(jìn)行了對(duì)比和分析。(3)提出了一種基于PatchTable的視頻非真實(shí)感繪制方法。為了在重建過程中快速找到圖像塊之間的近似最近鄰匹配塊,采用PatchTable算法,進(jìn)而得到一些好的塊匹配種子。初始的對(duì)應(yīng)種子可以依靠預(yù)計(jì)算的k最近鄰圖得到改善,利用圖像的自然一致性可以讓這些匹配快速傳播到周邊區(qū)域�？傊�,整個(gè)算法流程在預(yù)處理過程耗時(shí)稍長,而后續(xù)合成新圖像的算法步驟則都可以在秒級(jí)甚至毫秒級(jí)完成,從而達(dá)到了即時(shí)性的用戶體驗(yàn)。該方法能夠很好解決對(duì)于大數(shù)據(jù)集進(jìn)行近似最近鄰查詢的實(shí)時(shí)性問題,及基于特定藝術(shù)風(fēng)格的視頻非真實(shí)感繪制中的時(shí)序連貫性問題。(4)提出了一種基于三維網(wǎng)格模型的保證幀間連貫性的非真實(shí)感繪制方法。通過計(jì)算三維模型的特征線(輪廓、三角面片的法向信息等),基于幀間連貫性的特性對(duì)特征線的采樣點(diǎn)進(jìn)行分析,提出了一種在非真實(shí)感繪制中為保證幀間連貫性而充分利用采樣點(diǎn)的新的參數(shù)傳遞流程,可以將連續(xù)兩幀間的參數(shù)信息從三維空間映射到二維空間,以便后續(xù)步驟中,在二維空間中將保持前一幀的風(fēng)格化元素覆蓋到當(dāng)前幀抽取的特征信息處,從而避免了因在繪制過程中三維拓?fù)湫畔⒌膩G失而產(chǎn)生的繪制效果的突變和擾動(dòng)。該方法可適用于多種模型,包括粗糙網(wǎng)格和非均勻采樣的網(wǎng)格,可以產(chǎn)生平滑連貫的風(fēng)格化繪制的輪廓線。本文對(duì)現(xiàn)有的媒體處理管線進(jìn)行功能擴(kuò)展并提出自動(dòng)優(yōu)化的方法,一方面使其具有更高效率,另外一方面,使其支持非真實(shí)感繪制,進(jìn)而可以對(duì)多元數(shù)據(jù)進(jìn)行融合實(shí)現(xiàn)多種風(fēng)格化效果,擴(kuò)大其應(yīng)用范圍。
[Abstract]:With the development of digital ideas , interactive entertainment , computer simulation , scientific calculation , visualization , medical visualization , digital education and auxiliary teaching , the paper proposes a kind of media processing pipeline which supports non - realistic rendering . The invention provides a method for optimizing image pipeline based on intelligent sampling method .

【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41
，

本文編號(hào)：1480906