本文關鍵詞： 圖像管線優(yōu)化 非真實感繪制 幀間連貫性 視頻風格化　出處：《山東大學》2017年博士論文　論文類型：學位論文

【摘要】：媒體數(shù)據(jù)是指數(shù)字化的圖像、視頻、圖形、動畫、交互內(nèi)容等形式的信息載體。媒體處理研究媒體內(nèi)容的獲取、存儲,處理、傳輸、播放或展示等理論和技術。在數(shù)字創(chuàng)意、交互娛樂、計算機模擬仿真、科學計算可視化、醫(yī)學可視化、數(shù)字教育和出版等領域,媒體處理相關的理論技術是通過特定的媒體處理管線串聯(lián)起來實現(xiàn)的。媒體處理管線在我們的日常生活中無處不在,例如用照相機拍攝一張照片或者將照片上傳到校內(nèi)、百度等社交網(wǎng)絡上,是通過特定的圖像處理管線來實現(xiàn)的,是媒體處理管線中的重要部分之一。隨著科技的發(fā)展,在數(shù)字娛樂、影視制作、網(wǎng)絡游戲和輔助教學等領域,人們對圖像、視頻制作要求越來要高。隨著媒體數(shù)據(jù)采集設備的發(fā)展,越來越多的大型高分辨率圖像庫、視頻庫或場景三維模型成為媒體處理管線的主要輸入,然而原有媒體處理管線的復雜的計算流程導致在處理過程中不能滿足用戶的實時交互性。隨著數(shù)據(jù)源的增大,處理效率有待提高。又如在增強現(xiàn)實應用中,需要依靠含有計算機生成的信息建立混合場景,啟發(fā)用戶在現(xiàn)實中完成一些創(chuàng)造性的工作,這意味著需要更具有藝術表現(xiàn)力和感染力的支持多元數(shù)據(jù)融合的媒體處理管線。本文提出了一種支持非真實感繪制的媒體處理管線架構,選擇圖像管線優(yōu)化這個基礎問題作為研究的切入點。進而對管線中關鍵的圖像處理組件及非真實感繪制方法進行了研究。本文主要貢獻與創(chuàng)新點:(1)提出了一種支持非真實感繪制的媒體處理管線架構。針對非真實感繪制方法特點,提出了一種支持非真實感繪制的媒體處理管線架構�；谠摴芫�可以方便地實現(xiàn)非真實感繪制圖像與圖像/視頻的分層融合,虛實結合的多種藝術效果。這為現(xiàn)實中的電視制作、網(wǎng)絡聊天、卡通動漫制作、游戲的卡通處理等領域中的視頻的風格化繪制問題提供了新的解決方案。(2)提出了一種基于智能采樣方法的圖像管線優(yōu)化方法。針對媒體處理管線中每個圖像處理階段,通過多種采樣技術把在圖像上進行的循環(huán)計算,改造成更加稀疏的循環(huán),當在后續(xù)階段訪問到之前計算遺漏的數(shù)據(jù)時,可以根據(jù)已知的采樣結果對丟失的信息進行近似重建。此外,結合一種新型類C語言的解析器,在管線運行效率和圖像質(zhì)量的組合空間中,自適應地選擇最優(yōu)化的采樣和重建方法的方法。并基于建立的數(shù)據(jù)集,與多種圖像處理階段進行了對比和分析。(3)提出了一種基于PatchTable的視頻非真實感繪制方法。為了在重建過程中快速找到圖像塊之間的近似最近鄰匹配塊,采用PatchTable算法,進而得到一些好的塊匹配種子。初始的對應種子可以依靠預計算的k最近鄰圖得到改善,利用圖像的自然一致性可以讓這些匹配快速傳播到周邊區(qū)域�？傊�,整個算法流程在預處理過程耗時稍長,而后續(xù)合成新圖像的算法步驟則都可以在秒級甚至毫秒級完成,從而達到了即時性的用戶體驗。該方法能夠很好解決對于大數(shù)據(jù)集進行近似最近鄰查詢的實時性問題,及基于特定藝術風格的視頻非真實感繪制中的時序連貫性問題。(4)提出了一種基于三維網(wǎng)格模型的保證幀間連貫性的非真實感繪制方法。通過計算三維模型的特征線(輪廓、三角面片的法向信息等),基于幀間連貫性的特性對特征線的采樣點進行分析,提出了一種在非真實感繪制中為保證幀間連貫性而充分利用采樣點的新的參數(shù)傳遞流程,可以將連續(xù)兩幀間的參數(shù)信息從三維空間映射到二維空間,以便后續(xù)步驟中,在二維空間中將保持前一幀的風格化元素覆蓋到當前幀抽取的特征信息處,從而避免了因在繪制過程中三維拓撲信息的丟失而產(chǎn)生的繪制效果的突變和擾動。該方法可適用于多種模型,包括粗糙網(wǎng)格和非均勻采樣的網(wǎng)格,可以產(chǎn)生平滑連貫的風格化繪制的輪廓線。本文對現(xiàn)有的媒體處理管線進行功能擴展并提出自動優(yōu)化的方法,一方面使其具有更高效率,另外一方面,使其支持非真實感繪制,進而可以對多元數(shù)據(jù)進行融合實現(xiàn)多種風格化效果,擴大其應用范圍。
[Abstract]:With the development of digital ideas , interactive entertainment , computer simulation , scientific calculation , visualization , medical visualization , digital education and auxiliary teaching , the paper proposes a kind of media processing pipeline which supports non - realistic rendering . The invention provides a method for optimizing image pipeline based on intelligent sampling method .

【學位授予單位】：山東大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP391.41
，

本文編號：1480906