本文關(guān)鍵詞：基于Hadoop的廣電CDN數(shù)據(jù)中心系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 廣電 Hadoop HBase 數(shù)據(jù)中心 CDN網(wǎng)絡(luò)

【摘要】：CDN (Content Delivery Network,即內(nèi)容分發(fā)網(wǎng)絡(luò))是通過在網(wǎng)絡(luò)各處放置節(jié)點(diǎn)服務(wù)器所構(gòu)成的在現(xiàn)有的互聯(lián)網(wǎng)基礎(chǔ)之上的一層智能虛擬網(wǎng)絡(luò)。它能夠?qū)崟r(shí)地根據(jù)網(wǎng)絡(luò)性能指標(biāo)綜合運(yùn)算的結(jié)果,將用戶的請求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點(diǎn)上,以便使用戶可就近取得所需內(nèi)容,解決Internet網(wǎng)絡(luò)擁擠狀況,提高用戶訪問網(wǎng)站的響應(yīng)速度。這些性能指標(biāo)包括：網(wǎng)絡(luò)流量、各節(jié)點(diǎn)的連接、負(fù)載狀況、各節(jié)點(diǎn)到用戶的距離,以及響應(yīng)時(shí)間等等。廣電行業(yè)自身的CDN定義最早來自北美,從ISA架構(gòu)到NGOD架構(gòu),乃至總局定義的NGB架構(gòu),CDN只是內(nèi)容分發(fā)組件,如果與互聯(lián)網(wǎng)或IPTV的CDN對應(yīng),則應(yīng)該包括CDN+VSS+SRM.廣電的CDN網(wǎng)絡(luò)的架構(gòu)一般包括：數(shù)據(jù)中心、推流服務(wù)器和CDN網(wǎng)絡(luò)。數(shù)據(jù)中心的作用包括：多媒體數(shù)據(jù)的存儲(chǔ)、影片的切片和存儲(chǔ)、多媒體內(nèi)容的管理、內(nèi)容的分發(fā)、用戶行為的分析、數(shù)據(jù)報(bào)表服務(wù)。本文在現(xiàn)有廣電CDN網(wǎng)絡(luò)數(shù)據(jù)中心基礎(chǔ)之上,經(jīng)過分析廣電行業(yè)的實(shí)際的業(yè)務(wù)需求、業(yè)務(wù)流程,以及目前系統(tǒng)存在的問題和弊端,然后結(jié)合信息安全的思想,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)滿足廣電行業(yè)特殊業(yè)務(wù)需求和需要的CDN網(wǎng)絡(luò)數(shù)據(jù)中心系統(tǒng)。首先,本文介紹了廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)項(xiàng)目的背景,以及目前存在的主要問題；然后分析并逐條論述了該系統(tǒng)的功能性需求和非功能性需求。基于需求分析,我們提出了系統(tǒng)的設(shè)計(jì)目標(biāo)和設(shè)計(jì)原則,并基于此進(jìn)行了技術(shù)架構(gòu)設(shè)計(jì)和功能架構(gòu)設(shè)計(jì)。在技術(shù)架構(gòu)上,系統(tǒng)主要考慮了效率、可擴(kuò)展性、可移植性、可維護(hù)性以及功能性問題,因此采用當(dāng)前最流行的Hadoop大數(shù)據(jù)處理技術(shù),并基于該大數(shù)據(jù)處理架構(gòu),進(jìn)行了設(shè)計(jì)分析。在功能架構(gòu)設(shè)計(jì)中,本文討論了系統(tǒng)各部分的功能要求、功能組成,最后按照物理架構(gòu)和邏輯架構(gòu)輸出了整體設(shè)計(jì)。再一步進(jìn)行CDN數(shù)據(jù)中心系統(tǒng)的詳細(xì)設(shè)計(jì)。該部分按照層次化和模塊化的軟件設(shè)計(jì)思路來設(shè)計(jì)系統(tǒng),詳細(xì)介紹了數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)中心、應(yīng)用層、數(shù)據(jù)庫設(shè)計(jì)共4個(gè)方面。在每一層中,對其包含的每個(gè)模塊配合流程圖、順序圖、文字描述等方式進(jìn)行了詳細(xì)設(shè)計(jì)。第四部分,是實(shí)現(xiàn)與測試部分。我們基于詳細(xì)設(shè)計(jì),首先對各層、各個(gè)模塊的實(shí)現(xiàn)進(jìn)行了簡單介紹,給出了系統(tǒng)的功能結(jié)構(gòu)圖、整體效果圖和各個(gè)部分的實(shí)現(xiàn)圖。在對每個(gè)模塊實(shí)現(xiàn)的描述中,也對真實(shí)生產(chǎn)系統(tǒng)已經(jīng)實(shí)現(xiàn)的功能進(jìn)行了描述并附圖。尤其是對系統(tǒng)中用到的關(guān)鍵技術(shù)(HDFS, HIVE, MapReduce)進(jìn)行介紹和分析。最后,按照真實(shí)的環(huán)境和設(shè)計(jì)要求,進(jìn)行了性能測試,對測試結(jié)果和結(jié)論給出了詳細(xì)的分析和描述。最后,本文對CDN網(wǎng)絡(luò)的數(shù)據(jù)中心系統(tǒng)的應(yīng)用情況作了簡單介紹,并對系統(tǒng)進(jìn)一步改進(jìn)提出了建議。綜上所述,我們在分析了廣電CDN網(wǎng)絡(luò)業(yè)務(wù)需求和大數(shù)據(jù)存儲(chǔ)和處理系統(tǒng)思想的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了針對廣電行業(yè)CDN網(wǎng)絡(luò)的數(shù)據(jù)中心系統(tǒng),達(dá)到了預(yù)期目的。
【關(guān)鍵詞】：廣電 Hadoop HBase 數(shù)據(jù)中心 CDN網(wǎng)絡(luò)
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP311.52;TP308
【目錄】：

• 摘要8-10
• ABSTRACT10-13
• 符號說明13-14
• 第1章 緒論14-22
• 1.1 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)開發(fā)背景14-16
• 1.2 國內(nèi)外研究現(xiàn)狀16-19
• 1.3 解決的主要問題19
• 1.4 本文的主要工作19-20
• 1.5 論文的組織結(jié)構(gòu)20-22
• 第2章 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)需求分析22-29
• 2.1 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)概述22-24
• 2.1.1 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)項(xiàng)目背景22-23
• 2.1.2 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)項(xiàng)目說明23-24
• 2.1.3 廣電行業(yè)CDN數(shù)據(jù)中心整體系統(tǒng)概述24
• 2.2 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)目標(biāo)和解決的問題24-25
• 2.3 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)需求問題描述25-29
• 2.3.1 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)功能性需求25-27
• 2.3.2 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)非功能性需求27-29
• 第3章 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)架構(gòu)設(shè)計(jì)29-34
• 3.1 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)設(shè)計(jì)目標(biāo)和原則29
• 3.2 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì)29-34
• 3.2.1 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)物理架構(gòu)29-32
• 3.2.2 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)邏輯架構(gòu)32-34
• 第4章 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)詳細(xì)設(shè)計(jì)34-61
• 4.1 廣電行業(yè)CDN數(shù)據(jù)中心模塊設(shè)計(jì)34-61
• 4.1.1 數(shù)據(jù)處理層34-46
• 4.1.2 數(shù)據(jù)存儲(chǔ)中心46-47
• 4.1.3 應(yīng)用層47-49
• 4.1.4 數(shù)據(jù)庫設(shè)計(jì)49-61
• 第5章 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)實(shí)現(xiàn)與測試61-82
• 5.1 廣電行業(yè)CDN數(shù)據(jù)中心系統(tǒng)總體實(shí)現(xiàn)61-68
• 5.2 Hadoop在廣電CDN系統(tǒng)中的應(yīng)用68-78
• 5.2.1 HDFS在數(shù)據(jù)中心系統(tǒng)中的應(yīng)用68-74
• 5.2.2 HIVE在數(shù)據(jù)中心處理系統(tǒng)中的應(yīng)用74-75
• 5.2.3 MapReduce在數(shù)據(jù)中心系統(tǒng)中的應(yīng)用75-78
• 5.3 系統(tǒng)測試78-82
• 第6章 結(jié)論82-83
• 參考文獻(xiàn)83-85
• 致謝85-86
• 附件86

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 江南;數(shù)據(jù)中心如何應(yīng)付管理挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2001年40期

2 ;簡化管理挑戰(zhàn)——惠普推實(shí)用數(shù)據(jù)中心解決方案[J];每周電腦報(bào);2001年67期

3 李慶莉;去數(shù)據(jù)中心看一看——中國銀行華北信息中心計(jì)劃處處長云恩善談數(shù)據(jù)中心運(yùn)行、管理[J];中國金融電腦;2002年12期

4 馬天蔚;;數(shù)據(jù)中心按需造[J];每周電腦報(bào);2002年25期

5 戚麗,蔣東興,武海平,馮珂;校園數(shù)據(jù)中心建設(shè)與管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企業(yè)的數(shù)據(jù)中心2003了嗎?[J];微電腦世界;2003年17期

7 ;挖潛數(shù)據(jù)中心[J];金融電子化;2004年07期

8 王琨月;;數(shù)據(jù)中心業(yè)務(wù)就緒[J];每周電腦報(bào);2004年21期

9 包東智;新熱點(diǎn):創(chuàng)建下一代數(shù)據(jù)中心[J];上海信息化;2005年10期

10 ;把握數(shù)據(jù)中心建設(shè)五大看點(diǎn)[J];中國計(jì)算機(jī)用戶;2005年10期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 姚，

本文編號：594123