本文選題：超級計算機　切入點：集群渲染　出處：《山東大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著影視產(chǎn)業(yè)的快速發(fā)展,電影的畫面正變得越來越絢麗、逼真。但是有很多的電影畫面無法通過正常的拍攝完成,只能通過后期的建模、特效制作、渲染來完成。電影分辨率的提高帶來的單幀渲染時間的增長,以普通的4K電影為例,使用主流的工作站,渲染一幀的時間從幾小時到十幾個小時,遇上光源眾多、場景復(fù)雜、材質(zhì)特殊的場景甚至?xí)綆资畟�小時。而且現(xiàn)在許多的電影都是3D效果,這時候就得分為左右眼分別進行渲染。雖然單機計算能力也在快速增長,但已經(jīng)無法滿足電影產(chǎn)業(yè)的需求,于是集群渲染渲染開始變得流行,集群渲染系統(tǒng)通常被稱為渲染農(nóng)場。目前國內(nèi)外構(gòu)建的渲染平臺大都基于普通的小型集群,同時也很少去考慮調(diào)度策略,更多的是由工作人員進行手動劃分資源和分配任務(wù),并且沒有針對渲染這一特殊的應(yīng)用進行文件讀寫的優(yōu)化,只是每一個結(jié)點單獨的渲染一幀。并沒有考慮渲染這一應(yīng)用的特性：渲染既是一個高密度計算型的應(yīng)用,也是一個數(shù)據(jù)密集型的應(yīng)用,而且內(nèi)存的占用率也很高,而且同一個鏡頭的渲染任務(wù)存在著大量的共享數(shù)據(jù)�？紤]到渲染的這些特性,基于超級計算機來搭建渲染平臺就特別合適,因為超級計算機的結(jié)點間互訪的能力遠遠地強于集群。本文主要工作是在國產(chǎn)超級計算機的環(huán)境下,搭建一個高效能的渲染平臺。集群的使用具有一定的復(fù)雜性,于是我們基于GridSphere框架開發(fā)了一個渲染系統(tǒng)的門戶網(wǎng)站,門戶網(wǎng)站的設(shè)計參考網(wǎng)絡(luò)渲染的一般流程：上傳場景描述文件,提交渲染作業(yè),查看渲染過程,下載結(jié)果。門戶網(wǎng)站的設(shè)計還能隱藏集群操作,完成對用戶的管理,使用計費等。同時對鏡頭級別的任務(wù)進行第一級的調(diào)度。本文針對同一鏡頭內(nèi)的渲染任務(wù)存在大量的共享數(shù)據(jù)的特點,重新設(shè)計并實現(xiàn)了渲染單元和數(shù)據(jù)管理軟件,渲染單元為數(shù)據(jù)管理軟件的運行提供了一個框架,而且直接調(diào)度渲染引擎,數(shù)據(jù)管理軟件對這些共享數(shù)據(jù)的讀寫進行優(yōu)化,減少文件服務(wù)器的訪問次數(shù)和訪問數(shù)據(jù)量,避免I/O擁堵,而且給引擎提供透明的訪問。同時完成鏡頭內(nèi)渲染任務(wù)的第二級調(diào)度,從而實現(xiàn)整體系統(tǒng)多級調(diào)度,以此適應(yīng)超大規(guī)模的渲染任務(wù)并發(fā)。渲染單元與數(shù)據(jù)管理軟件的設(shè)計是為了使渲染引擎能夠更加高效的運行在超級計算機這一平臺上。本文針對整個系統(tǒng)進行往國產(chǎn)超級計算機展開了移植工作。系統(tǒng)的開發(fā)是山東大學(xué)高性能中心進行,但是超級計算機在操作系統(tǒng),處理器架構(gòu)和庫文件等方面和普通的集群具有較大的差異性,所以我們在無錫超級計算中心的太湖之光和廣州超級計算中心的天河二號進行了移植工作,并分別進行了大于30萬核心并行規(guī)模的性能測試。本文中提到的渲染引擎是由山東大學(xué)自主研發(fā)的符合RenderMan規(guī)范的渲染引擎RenderWing。本文所做的工作為國家863項目《真實感動漫渲染系統(tǒng)應(yīng)用與研究》的一部分。
[Abstract]:With the rapid development of the film industry, the film is becoming more and more beautiful, lifelike. But there are a lot of pictures not through normal shooting, only through the latter part of the modeling, special effects production, rendering to complete. It improved resolution of single frame film brings the dyeing time of growth, with ordinary 4K film with the use of mainstream workstations, rendering a frame from a few hours to ten hours, the light source is numerous, in complex scenes, material special scenes even dozens of hours. But now many of the films are 3D effect, this time on the score of left and right eyes were rendered. Although single computing ability also in the rapid growth, but has been unable to meet the demand of the film industry, so the cluster render started to become popular, cluster rendering system is often called the render farm. At home and abroad to build the rendering platform Taiwan are small clusters based on the common, and there are few to consider scheduling strategy, more by the staff manual division of resources and distribution of tasks, and not optimized for reading and writing files for rendering this special application, but each node separate rendering frame. Without considering the characteristics of this rendering application: rendering is a type of high density computing applications, application is a data intensive, but the memory occupancy rate is also high, but with a shot of the rendering task is shared by a large amount of data. Considering these characteristics render, based on super computer to build a special rendering platform right, because of the ability of super computer nodes is far stronger than cluster visits. The main work of this paper is made in the super computer environment, build a high-performance cluster rendering platform. With a certain complexity, so we based on the GridSphere framework for the development of a rendering system portal, the design process of the reference network rendering portal: upload scene description file, render operation, check the rendering process. The design can also download portal hidden cluster operation, to complete the user management. Use billing. At the same time, lens level tasks for the first level scheduling. In this paper, the rendering task for the same camera inside the existing shared data characteristics, we design and implement a rendering unit and data management software, provides a framework for running a rendering unit for data management software, but also directly scheduling the rendering engine data management software, on the shared data read and write optimized file server, reduce the number of accesses and the amount of data access, to avoid congestion I/O, And the engine to provide transparent access. Second level scheduling complete lens rendering tasks at the same time, in order to achieve the overall multilevel scheduling system, in order to adapt to the rendering task. Large scale concurrent design rendering unit and the data management software is to make the rendering engine to more efficiently run on supercomputers on this platform. This paper to the national super computer launched the transplant work for the entire system. The development of the system is the Shandong University high performance center, but in the super computer operating system, processor architecture and library files and other common cluster has great difference, so we at the Wuxi Supercomputing Center of Taihu light and the Guangzhou Supercomputing Center of the Milky way two the number of transplantation, and were more than 300 thousand core parallel performance test scale. Rendering mentioned in this article The engine is developed by Shandong University independently, which is in line with the RenderMan specification of the rendering engine RenderWing.. The work in this paper is part of the National 863 project, the application and research of the realistic animation rendering system.

【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP338

【相似文獻】

相關(guān)期刊論文 前10條

1 ;Quantum StorNext數(shù)據(jù)管理軟件[J];軟件世界;2009年11期

2 郝南軍;;Leebs & Northrup公司產(chǎn)品信息(二)[J];國外科學(xué)儀器;1986年02期

3 夏紅,劉燕;環(huán)境監(jiān)測數(shù)據(jù)管理軟件[J];環(huán)境監(jiān)測管理與技術(shù);1997年06期

4 路易斯·科爾蒂,項龍;基礎(chǔ)設(shè)施服務(wù)和提供強化定性數(shù)據(jù)資源的需求[J];國際社會科學(xué)雜志(中文版);2004年03期

5 于曉輝;張卓勇;張孝芳;范國強;張鵬;;大黃高效液相色譜-指紋圖譜數(shù)據(jù)管理軟件的開發(fā)[J];計算機與應(yīng)用化學(xué);2006年08期

6 郭嘉凱;;大數(shù)據(jù)航海時代[J];軟件和信息服務(wù);2012年09期

7 汪明珠;解苑明;;測控數(shù)據(jù)管理軟件在堆芯中子注量率測量系統(tǒng)中的應(yīng)用[J];核電子學(xué)與探測技術(shù);2010年07期

8 付朋俠;;數(shù)據(jù)生命周期管理理論研究及實施建議[J];科技創(chuàng)業(yè)家;2013年17期

9 楊英;防止生產(chǎn)混亂現(xiàn)象的方法[J];管理科學(xué)文摘;1997年11期

10 周強,徐翠華,任天山,張京;放射性監(jiān)測數(shù)據(jù)管理軟件的設(shè)計與實現(xiàn)[J];中國輻射衛(wèi)生;2004年03期

相關(guān)會議論文 前5條

1 李煒;陳勇;徐玉朋;張藝;崔葦葦;王于仨;王娟;韓大煒;陸波;楊彥佶;;HXMT低能望遠鏡數(shù)據(jù)管理軟件設(shè)計[A];第二十四屆全國空間探測學(xué)術(shù)交流會論文摘要集[C];2011年

2 景韶光;陳定昌;蔣態(tài)平;;一體化生態(tài)環(huán)境控制工程頂層規(guī)劃與產(chǎn)業(yè)推動研究[A];高科技產(chǎn)業(yè)的系統(tǒng)工程管理論文集[C];2003年

3 梁志偉;劉保延;何麗蕓;文天才;胡鏡清;謝雁鳴;程翼宇;;“數(shù)據(jù)為先導(dǎo)”臨床實踐型科研的信息管理方法與應(yīng)用[A];首屆中國IT與醫(yī)藥衛(wèi)生高層論壇論文集[C];2004年

4 楊世興;楊宇鴻;;地形圖數(shù)字化生產(chǎn)過程中數(shù)據(jù)程序化管理初探[A];2001年東北三省測繪學(xué)術(shù)與信息交流會論文集[C];2001年

5 鄧興升;;垂線測量數(shù)據(jù)管理軟件的研制及應(yīng)用[A];中國水力發(fā)電工程學(xué)會大壩安全監(jiān)測專業(yè)委員會年會暨學(xué)術(shù)交流會論文集[C];2000年

相關(guān)重要報紙文章 前10條

1 本報記者 劉麗麗;慷孚:得數(shù)據(jù)者得天下[N];計算機世界;2009年

2 ;昆騰新版數(shù)據(jù)管理軟件上市[N];人民郵電;2007年

3 李雪;華爾街：數(shù)據(jù)如何從分散到整合[N];中國計算機報;2008年

4 ;數(shù)據(jù)管理軟件廉價化[N];計算機世界;2002年

5 賽迪智庫軟件與信息服務(wù)研究所;美國將發(fā)展大數(shù)據(jù)提升到戰(zhàn)略層面[N];中國電子報;2012年

6 本報記者 霍娜;微軟:大數(shù)據(jù)最重要的是洞察力[N];中國計算機報;2013年

7 本報記者　郭平;自始至終管數(shù)據(jù)[N];計算機世界;2003年

8 電腦商報記者 劉一冰;“電子發(fā)現(xiàn)”正掀熱浪[N];電腦商報;2009年

9 ;讓發(fā)電集團的管控有力、高效[N];中國計算機報;2010年

10 佟樂;歸檔數(shù)據(jù)處于危險時刻[N];網(wǎng)絡(luò)世界;2007年

相關(guān)碩士學(xué)位論文 前10條

1 梁祥炎;大數(shù)據(jù)對實驗室研究的影響[D];廣西大學(xué);2015年

2 薛靚;國家千克副基準(zhǔn)自動測量與數(shù)據(jù)管理軟件的設(shè)計和實現(xiàn)[D];電子科技大學(xué);2014年

3 王華欽;金融投資管理數(shù)據(jù)平臺的設(shè)計與研究[D];電子科技大學(xué);2014年

4 盧U，

本文編號：1642638