本文選題：Hadoop云平臺(tái) + 分布式存儲(chǔ)管理��； 參考：《電子科技大學(xué)》2015年碩士論文

【摘要】：隨著計(jì)算機(jī)技術(shù)的高速發(fā)展,互聯(lián)網(wǎng)行業(yè)進(jìn)入了大數(shù)據(jù)的時(shí)代,每天都會(huì)產(chǎn)生許許多多的各類數(shù)據(jù)。廣電系統(tǒng)的監(jiān)測設(shè)備同樣也會(huì)產(chǎn)生越來越多各個(gè)類型的數(shù)據(jù),然而傳統(tǒng)的廣電數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)采用集中處理的方式,在巨大數(shù)據(jù)的沖擊下出現(xiàn)了瓶頸。海量數(shù)據(jù)的存儲(chǔ)與管理在近些年一直在被研究。在許多開源社區(qū)的推動(dòng)下,分布式數(shù)據(jù)的存儲(chǔ)管理技術(shù)得到巨大的發(fā)展,多種多樣的計(jì)算框架以及平臺(tái)被提出來。Hadoop作為分布式計(jì)算平臺(tái)中的翹楚在通信、醫(yī)療和金融等各大領(lǐng)域都有了一定的研究和應(yīng)用。廣電監(jiān)測系統(tǒng)產(chǎn)生的數(shù)據(jù)主要是結(jié)構(gòu)化的文本數(shù)據(jù)和視頻音頻信號(hào)等非結(jié)構(gòu)化數(shù)據(jù)。由于需要解決大量數(shù)據(jù)的處理,符合大數(shù)據(jù)平臺(tái)處理標(biāo)準(zhǔn)。所以本文將Hadoop這種分布式數(shù)據(jù)存儲(chǔ)與管理的技術(shù)運(yùn)用到廣電系統(tǒng)中以解決數(shù)據(jù)計(jì)算的瓶頸問題。本文主要研究的內(nèi)容如下:1、對(duì)HDFS文件系統(tǒng)和MapReduce并行計(jì)算框架進(jìn)行分析,以及對(duì)文本數(shù)據(jù)搜索和視頻數(shù)據(jù)的轉(zhuǎn)碼進(jìn)行研究。根據(jù)廣電系統(tǒng)的數(shù)據(jù)處理需求,提出一個(gè)系統(tǒng)設(shè)計(jì)的解決方案。2、為解決平臺(tái)對(duì)廣電監(jiān)測系統(tǒng)監(jiān)測數(shù)據(jù)的傳輸、處理和節(jié)點(diǎn)信息監(jiān)控等問題,本文主要研究了海量數(shù)據(jù)存儲(chǔ)和管理平臺(tái)的數(shù)據(jù)節(jié)點(diǎn)信息管理及優(yōu)化、數(shù)據(jù)上傳下載的轉(zhuǎn)存和傳輸模塊設(shè)計(jì)、文本數(shù)據(jù)的搜索和監(jiān)控視頻數(shù)據(jù)的分布式轉(zhuǎn)碼和存儲(chǔ)。最后對(duì)本文設(shè)計(jì)的海量數(shù)據(jù)管理系統(tǒng)進(jìn)行自動(dòng)化數(shù)據(jù)測試,通過對(duì)數(shù)據(jù)存儲(chǔ)和管理平臺(tái)的各類數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)上傳和下載速度、文本數(shù)據(jù)的搜索和視頻數(shù)據(jù)的分布式轉(zhuǎn)碼測試和分析�？梢缘玫綄�(shí)驗(yàn)結(jié)果:Hadoop云平臺(tái)應(yīng)用到廣電系統(tǒng)是可行的,同時(shí)通過分析得到的實(shí)驗(yàn)數(shù)據(jù)得出結(jié)論,云平臺(tái)對(duì)大數(shù)據(jù)的存儲(chǔ)和管理性能較原有數(shù)據(jù)管理平臺(tái)有較大的提升。
[Abstract]:With the rapid development of computer technology, the Internet industry has entered the era of big data, producing many kinds of data every day. The monitoring equipment of the radio and television system will also produce more and more kinds of data. However, the traditional radio and television data storage and management system adopts the centralized processing method, which appears the bottleneck under the impact of the huge data. The storage and management of massive data has been studied in recent years. Driven by many open source communities, distributed data storage and management technology has been greatly developed. A variety of computing frameworks and platforms have been proposed. Hadoop as the leader of the distributed computing platform in communication, Medical and financial fields and other major areas have a certain degree of research and application. The data generated by the radio and television monitoring system are mainly structured text data and unstructured data such as video and audio signals. Due to the need to solve a large number of data processing, in line with the big data platform processing standards. In this paper, Hadoop, a distributed data storage and management technology, is applied to radio and television systems to solve the bottleneck of data computing. The main contents of this paper are as follows: 1. The HDFS file system and MapReduce parallel computing framework are analyzed, as well as text data search and video data transcoding. According to the data processing requirement of the radio and television system, this paper puts forward a system design solution. In order to solve the problems such as the transmission, processing and node information monitoring of the monitoring data of the radio and television monitoring system based on the platform, This paper mainly studies the data node information management and optimization of the massive data storage and management platform, the design of data upload and download transfer and transmission module, the search of text data and the distributed transcoding and storage of monitoring video data. Finally, the paper carries on the automatic data test to the massive data management system designed in this paper, through the data storage and the management platform each kind of data storage, the data uploads and downloads the speed, Text data search and distributed transcoding test and analysis of video data. It is feasible to apply the cloud platform to radio and television system. At the same time, by analyzing the experimental data, it is concluded that the storage and management performance of the cloud platform to big data is better than that of the original data management platform.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TN949.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 馮立洲;;平臺(tái)軟件管理提升公共安全管理綜合能力——公共安全監(jiān)控與應(yīng)急管理平臺(tái)設(shè)計(jì)與應(yīng)用[J];中國安防;2009年11期

2 楊漢東;平臺(tái)理想[J];軟件工程師;2004年Z1期

3 ;中望CAD平臺(tái)軟件[J];國防制造技術(shù);2009年01期

4 卓國奇;值得每位教師擁有的題卷平臺(tái)軟件[J];中小學(xué)電教;2003年07期

5 鄒書平;祝亞;李德章;;溫度雨量接收平臺(tái)軟件設(shè)計(jì)和應(yīng)用[J];貴州氣象;2005年06期

6 姚磊;;如何搞定平臺(tái)軟件實(shí)施[J];中國計(jì)算機(jī)用戶;2006年03期

7 小仙;;平臺(tái)軟件:尋找到的“新大陸”?[J];科技創(chuàng)業(yè);2002年10期

8 段勇峰;軟件層級(jí)新生代:平臺(tái)軟件[J];信息系統(tǒng)工程;2003年07期

9 七影;;跨平臺(tái)軟件專題[J];軟件世界;2009年05期

10 王飛;;COSIX Linux1.0[J];電子測試;1999年11期

相關(guān)會(huì)議論文 前6條

1 黃鈺梅;徐俊杰;吳曉寧;朱燕燕;;一種產(chǎn)品快捷培訓(xùn)與演示的實(shí)現(xiàn)方法[A];全國冶金自動(dòng)化信息網(wǎng)2014年會(huì)論文集[C];2014年

2 李思偉;;iCAD2000與AutoCAD R14的比較[A];計(jì)算機(jī)在土木工程中的應(yīng)用——第十屆全國工程設(shè)計(jì)計(jì)算機(jī)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2000年

3 劉曉強(qiáng);顧佳晨;張強(qiáng);;鋼鐵企業(yè)MES平臺(tái)軟件研究[A];中國金屬學(xué)會(huì)2003中國鋼鐵年會(huì)論文集（3）[C];2003年

4 許奎;沈明玉;;會(huì)計(jì)電算化考務(wù)平臺(tái)軟件保護(hù)技術(shù)研究[A];全國第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊）[C];2008年

5 郭威;李金艷;周維;;基于SOA構(gòu)架的物流業(yè)務(wù)平臺(tái)軟件中ServiceMix的研究與開發(fā)[A];2010通信理論與技術(shù)新發(fā)展——第十五屆全國青年通信學(xué)術(shù)會(huì)議論文集（下冊）[C];2010年

6 鄒書平;祝亞;李德章;;溫度雨量接收平臺(tái)軟件設(shè)計(jì)和應(yīng)用[A];2005年泛珠三角氣象學(xué)術(shù)研討會(huì)論文選集[C];2005年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者　 楊晴初;國產(chǎn)設(shè)計(jì)平臺(tái)軟件重新崛起[N];人民日報(bào);2006年

2 北大方正研究院院長 陳曉鷗;平臺(tái)軟件是不可放棄的陣地[N];電腦商報(bào);2003年

3 本報(bào)記者 徐萍 楊霞清;平臺(tái)軟件能押多大的？[N];計(jì)算機(jī)世界;2002年

4 蔣成彬 雷陽;平臺(tái)軟件技術(shù) 促進(jìn)產(chǎn)業(yè)鏈協(xié)同增值[N];電腦商報(bào);2006年

5 馬霞;圓夢[N];科技日報(bào);2006年

6 記者陳來;“平臺(tái)”主宰管理軟件[N];中華工商時(shí)報(bào);2003年

7 本報(bào)記者 王婷　通訊員 周煒;平臺(tái)軟件 前途無限[N];浙江日報(bào);2011年

8 ;平臺(tái)軟件：走向深層次應(yīng)用[N];中國計(jì)算機(jī)報(bào);2002年

9 曹宇杰;基礎(chǔ)平臺(tái)軟件:步入技術(shù)理念營銷時(shí)代[N];計(jì)算機(jī)世界;2008年

10 李佳師;中國平臺(tái)軟件為什么難成氣候[N];中國電子報(bào);2013年

相關(guān)碩士學(xué)位論文 前10條

1 繆威;基于Hadoop的廣電監(jiān)測數(shù)據(jù)管理云平臺(tái)設(shè)計(jì)[D];電子科技大學(xué);2015年

2 鄧旭平;南充市藥監(jiān)局“藥信通”平臺(tái)的設(shè)計(jì)實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 徐淑煥;存儲(chǔ)集群平臺(tái)軟件敏捷迭代測試的研究與應(yīng)用[D];重慶大學(xué);2009年

4 王軍;網(wǎng)絡(luò)應(yīng)用構(gòu)造平臺(tái)軟件的設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2012年

5 孫榮;高校數(shù)字媒體資產(chǎn)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)研究[D];南京藝術(shù)學(xué)院;2010年

6 王祝先;區(qū)域自動(dòng)站統(tǒng)一數(shù)據(jù)收集平臺(tái)軟件研究與實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2012年

7 敖希琴;基于GIS的制造業(yè)協(xié)同服務(wù)平臺(tái)的研究與應(yīng)用[D];合肥工業(yè)大學(xué);2013年

8 閆博;“數(shù)字城市”地理信息基礎(chǔ)平臺(tái)研究與設(shè)計(jì)[D];華東師范大學(xué);2006年

9 董曉嵐;基于電力供電企業(yè)ERP系統(tǒng)平臺(tái)軟件的功能開發(fā)[D];華北電力大學(xué)（河北）;2009年

10 李繼龍;基于OSE的系統(tǒng)平臺(tái)軟件設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2007年

，

本文編號(hào)：1909338