隨著音視頻分享網(wǎng)站、直播網(wǎng)站、短視頻網(wǎng)站的大規(guī)模出現(xiàn),音視頻壓縮與處理需求越來(lái)越多,音頻與視頻的處理技術(shù)也越來(lái)越受到國(guó)內(nèi)外的廣泛關(guān)注,視頻分享網(wǎng)站例如優(yōu)酷、樂(lè)視、愛奇藝、騰訊視頻,直播網(wǎng)站例如斗魚,短視頻App比如今日頭條、抖音、快手等,傳統(tǒng)的單機(jī)轉(zhuǎn)碼,專用設(shè)備轉(zhuǎn)碼,越來(lái)越不能滿足現(xiàn)有音視頻,直播,短視頻網(wǎng)站的需求。針對(duì)這些問(wèn)題,視頻網(wǎng)站為了滿足自我生產(chǎn)視頻與滿足UGC(User Generated Content)用戶乃至內(nèi)部PGC(Professional Generated Content)生產(chǎn)需求,研發(fā)了分布式轉(zhuǎn)碼系統(tǒng),使用多臺(tái)設(shè)備并行轉(zhuǎn)碼,以提高視頻生產(chǎn)速度,提高用戶體驗(yàn)等�，F(xiàn)階段大量分布式轉(zhuǎn)碼系統(tǒng)使用了分布式計(jì)算框架Hadoop框架進(jìn)行分布式轉(zhuǎn)碼^[1],由于視頻文件與其他數(shù)據(jù)處理方式有較大不同,故通用開源分布式計(jì)算框架直接用于多媒體文件處理有較大難度,難度主要體現(xiàn)在通用開源分布式計(jì)算框架如Hadoop等在轉(zhuǎn)碼過(guò)程中IO開銷較高,過(guò)程復(fù)雜,且沒有轉(zhuǎn)碼業(yè)務(wù)級(jí)別的監(jiān)督管控系統(tǒng)。針對(duì)這些問(wèn)題,本文分析了通用開源框架的優(yōu)勢(shì)與缺點(diǎn),提出了進(jìn)一步的改進(jìn)方案。論文的主...

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1傳統(tǒng)轉(zhuǎn)碼系統(tǒng)結(jié)構(gòu)

UVLC（UniversalVariableLengthCoding）碼表[14]，同事，進(jìn)行視頻編碼，使量化后的DCT變換系數(shù)使用CAVLC。5）編碼INTRA圖像可用幀內(nèi)預(yù)測(cè)有效提高預(yù)測(cè)質(zhì)量。6）宏塊（MB）更精細(xì)與多樣化分解，大大提高了運(yùn)動(dòng)目標(biāo)估值精度。2.....

圖2-2Hadoop系統(tǒng)結(jié)構(gòu)

圖2-2Hadoop系統(tǒng)結(jié)構(gòu)Fig.2-2hadoopsystemstructure如圖2-2我們可以看到Hadoop分布式計(jì)算框架是由一個(gè)Master與多個(gè)Slave組Master中包含了NameNode和JobTracker，Slave中包含了Data....

圖2-3Hadoop用于分布式轉(zhuǎn)碼系統(tǒng)處理流程圖

圖2-3Hadoop用于分布式轉(zhuǎn)碼系統(tǒng)處理流程圖Fig.2-3theprocessgraphusinghadoopfortranscodevideoHadoop系統(tǒng)進(jìn)行分布式轉(zhuǎn)碼的基本原理[17]：1.總體思路：通過(guò)HadoopStreaming....

圖2-4使用調(diào)度器的轉(zhuǎn)碼系統(tǒng)結(jié)構(gòu)圖

h)最后清理中間文件，并通知調(diào)用方。2.4主流轉(zhuǎn)碼系統(tǒng)的性能瓶頸傳統(tǒng)轉(zhuǎn)碼瓶頸在于無(wú)法并發(fā)轉(zhuǎn)碼，只能使用單機(jī)轉(zhuǎn)碼，極大限制了生產(chǎn)效率。那么如何可以改良這種結(jié)構(gòu)，我們進(jìn)行了進(jìn)一步的思考，發(fā)現(xiàn)可以做一個(gè)架構(gòu)升級(jí)，讓傳統(tǒng)轉(zhuǎn)碼系統(tǒng)可以進(jìn)行水平擴(kuò)展，即ScaleOut。我們采取的方案....

本文編號(hào)：3963013