發(fā)布時間：2018-05-30 08:48

  本文選題：hadoop + 云計算��； 參考：《南京郵電大學(xué)》2017年碩士論文

【摘要】：當(dāng)前市場上由于終端設(shè)備類型的多樣化、各種視頻媒體格式以及網(wǎng)絡(luò)環(huán)境的差異性,需要一種能夠解決海量視頻轉(zhuǎn)碼、實時快速處理視頻的技術(shù)。而且隨著數(shù)據(jù)量的快速增加,傳統(tǒng)單機視頻轉(zhuǎn)碼系統(tǒng)的難以擴展性不足以達到處理能力隨著數(shù)據(jù)量線性增加的要求。為了解決這個問題,本文采用了云計算技術(shù)中的Hadoop云計算平臺,它是一個開源框架,同時支持分布式計算、海量數(shù)據(jù)處理與存儲。Hadoop開源框架的出現(xiàn)使得解決面向多種終端設(shè)備、多種視頻格式、多種碼流要求的海量視頻轉(zhuǎn)碼問題成為可能。本論文的主要工作是研究和設(shè)計基于Hadoop的視頻云轉(zhuǎn)碼系統(tǒng),將云計算技術(shù)和視頻轉(zhuǎn)碼技術(shù)進行融合。本系統(tǒng)由兩部分組成:Web服務(wù)器子系統(tǒng)和Hadoop云平臺子系統(tǒng),采用了Hadoop中的HDFS分布式文件系統(tǒng)進行視頻文件存儲,Hadoop中的MapReduce并行計算框架與Avidemux開源視頻切片工具、FFMPEG視頻轉(zhuǎn)碼工具、視頻合并工具Mencoder共同完成視頻轉(zhuǎn)碼。為了提高系統(tǒng)的轉(zhuǎn)碼性能,本文提出了改進后的用于對視頻數(shù)據(jù)進行序列化的方法video Seralizable()和Hadoop云平臺容錯處理機制,目的是提高系統(tǒng)的轉(zhuǎn)碼性能,增強用戶體驗。通過測試,驗證了本系統(tǒng)基本能夠充分利用現(xiàn)有計算機的資源,實現(xiàn)大規(guī)模視頻數(shù)據(jù)在Hadoop云計算平臺上的分布式轉(zhuǎn)碼。與單機轉(zhuǎn)碼系統(tǒng)相比,達到提高轉(zhuǎn)碼效率,降低轉(zhuǎn)碼時間的目的。針對本文的研究現(xiàn)狀提出了優(yōu)化方案,在未來的工作中將具體實施。
[Abstract]:Due to the diversity of terminal device types, the differences of various video media formats and network environment, a technology is needed to solve the problem of mass video transcoding and real-time and fast processing of video. With the rapid increase of data volume, the scalability of traditional single-machine video transcoding system is not enough to meet the requirements of processing capacity linearly increasing with the amount of data. In order to solve this problem, this paper adopts Hadoop cloud computing platform in cloud computing technology, which is an open source framework, and supports distributed computing. The emergence of mass data processing and storage. Hadoop open source framework makes the solution for a variety of terminal devices. It is possible to solve the problem of mass video transcoding in various video formats and bitstream requirements. The main work of this thesis is to study and design the video cloud transcoding system based on Hadoop, and combine cloud computing technology with video transcoding technology. This system consists of two parts: Web server subsystem and Hadoop cloud platform subsystem. The HDFS distributed file system in Hadoop is used to store video files and the MapReduce parallel computing framework in Hadoop and the Avidemux open source video slicing tool FFMPEG video transcoding tool. Video merge tool Mencoder to complete the video transcoding. In order to improve the transcoding performance of the system, this paper proposes an improved method for serializing video data, video Seralizable, and the fault-tolerant processing mechanism of the Hadoop cloud platform. The purpose is to improve the transcoding performance of the system and enhance the user experience. Through the test, it is verified that the system can make full use of the resources of the existing computer and realize the distributed transcoding of large-scale video data on the Hadoop cloud computing platform. Compared with single-machine transcoding system, the efficiency of transcoding is improved and the time of transcoding is reduced. According to the present situation of this paper, the optimization scheme is put forward, which will be carried out in the future.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TN919.8

【參考文獻】

相關(guān)期刊論文 前10條

1 王少萍;顧乃杰;沈婕;;基于云平臺的高并發(fā)WebGIS服務(wù)[J];計算機系統(tǒng)應(yīng)用;2016年11期

2 李丹;肖炳甲;夏金瑤;王開榮;;虛擬EAST模型及數(shù)據(jù)管理系統(tǒng)[J];計算機系統(tǒng)應(yīng)用;2016年10期

3 顧永興;;面向產(chǎn)業(yè)園區(qū)的智慧云服務(wù)平臺的分析與研究[J];計算機系統(tǒng)應(yīng)用;2016年10期

4 王靜;郁梅;李文鋒;駱挺;;抗量化轉(zhuǎn)碼的HEVC視頻流零水印算法[J];光電工程;2016年10期

5 陳磊;;寧波華數(shù)AVS+轉(zhuǎn)碼系統(tǒng)設(shè)計[J];有線電視技術(shù);2016年09期

6 潘登;李川;;視頻實時轉(zhuǎn)碼方法的研究與比較[J];數(shù)字技術(shù)與應(yīng)用;2016年02期

7 萬祥;胡念蘇;韓鵬飛;張海石;黎師祺;;大數(shù)據(jù)挖掘技術(shù)應(yīng)用于汽輪機組運行性能優(yōu)化的研究[J];中國電機工程學(xué)報;2016年02期

8 李旭;李長云;張清清;胡淑新;周玲芳;;Hadoop中處理海量小文件的方法[J];計算機系統(tǒng)應(yīng)用;2015年11期

9 劉鵬;;基于Hadoop的結(jié)構(gòu)化電子病歷存儲檢索系統(tǒng)研究與改進[J];中國數(shù)字醫(yī)學(xué);2015年01期

10 付波;黃廷磊;;用于海量圖像存儲與處理的Hadoop擴展[J];桂林電子科技大學(xué)學(xué)報;2014年05期

相關(guān)博士學(xué)位論文 前6條

1 林文敏;云環(huán)境下大數(shù)據(jù)服務(wù)及其關(guān)鍵技術(shù)研究[D];南京大學(xué);2015年

2 駱濤;面向大數(shù)據(jù)處理的并行計算模型及性能優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2015年

3 張常淳;基于MapReduce的大數(shù)據(jù)連接算法的設(shè)計與優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2014年

4 樓巍;面向大數(shù)據(jù)的高維數(shù)據(jù)挖掘技術(shù)研究[D];上海大學(xué);2013年

5 董超;基于網(wǎng)絡(luò)流量監(jiān)測的移動互聯(lián)網(wǎng)特征研究[D];北京郵電大學(xué);2013年

6 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 付雷;基于云計算平臺的轉(zhuǎn)碼服務(wù)器的設(shè)計與實現(xiàn)[D];中國科學(xué)院研究生院(沈陽計算技術(shù)研究所);2016年

2 何沖;Hadoop集群調(diào)度優(yōu)化的研究[D];上海師范大學(xué);2015年

3 董海豐;一種高效的視頻轉(zhuǎn)碼服務(wù)平臺的研究與實現(xiàn)[D];北京郵電大學(xué);2015年

4 謝山山;基于分布式的大規(guī)模視頻轉(zhuǎn)碼系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

5 聶富鵬;視頻轉(zhuǎn)碼傳輸系統(tǒng)的設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2014年

6 李亞飛;分布式視頻轉(zhuǎn)碼系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2014年

7 王利鋒;基于Hadoop的云轉(zhuǎn)碼系統(tǒng)研究及性能優(yōu)化[D];北京交通大學(xué);2014年

8 高東海;基于Hadoop的離線視頻數(shù)據(jù)處理技術(shù)研究與應(yīng)用[D];北京郵電大學(xué);2014年

9 葛錚錚;異構(gòu)集群環(huán)境下作業(yè)調(diào)度算法研究[D];西安電子科技大學(xué);2014年

10 吳鋒;基于Hadoop平臺的視頻轉(zhuǎn)碼系統(tǒng)設(shè)計與實現(xiàn)[D];上海交通大學(xué);2014年

，

本文編號：1954679