CDN全稱為Content Delivery Network,中文為內(nèi)容分發(fā)網(wǎng)絡(luò),誕生于20世紀(jì)90年代,由眾多節(jié)點(diǎn)服務(wù)器和全局智能負(fù)載均衡系統(tǒng)組成,用于解決網(wǎng)絡(luò)擁塞問題,為網(wǎng)絡(luò)訪問提供加速服務(wù),是構(gòu)建互聯(lián)網(wǎng)的重要基礎(chǔ)設(shè)施。CDN節(jié)點(diǎn)服務(wù)器日志中記錄了加速服務(wù)請(qǐng)求信息與響應(yīng)信息。通過對(duì)CDN節(jié)點(diǎn)服務(wù)器日志進(jìn)行實(shí)時(shí)分析,挖掘出日志中包含的信息與價(jià)值,對(duì)CDN加速服務(wù)的核心指標(biāo)進(jìn)行實(shí)時(shí)檢測(cè)與監(jiān)控,為加速服務(wù)質(zhì)量提升策略提供重要且可靠的數(shù)據(jù)支持。由于CDN是一個(gè)巨大的分布式網(wǎng)絡(luò),CDN加速平臺(tái)平均每秒的數(shù)據(jù)訪問量可達(dá)千萬級(jí)別,每秒生成的日志數(shù)據(jù)量可達(dá)GB級(jí)別,每天能夠產(chǎn)生大幾PB的日志數(shù)據(jù)。如何設(shè)計(jì)一套低延遲、高吞吐的CDN海量日志實(shí)時(shí)分析平臺(tái),對(duì)海量CDN日志進(jìn)行實(shí)時(shí)分析,是當(dāng)前CDN研究領(lǐng)域亟待解決的問題.。本文分析了CDN海量日志實(shí)時(shí)分析存在的難點(diǎn)與當(dāng)前解決方案存在的問題,并針對(duì)這些問題,提出了相應(yīng)的設(shè)計(jì)方案與架構(gòu),最終形成了一套低延遲、高吞吐的CDN日志實(shí)時(shí)分析平臺(tái)架構(gòu)。其中針對(duì)海量CDN日志實(shí)時(shí)接入到日志實(shí)時(shí)計(jì)算引擎這一過程存在的難點(diǎn)與當(dāng)前解決方案存在的日志接收處理能力擴(kuò)展性差、日... 

【文章來源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：91 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語對(duì)照表
第一章 緒論
    1.1 選題的背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 本文的主要工作
    1.4 本文組織結(jié)構(gòu)
第二章 相關(guān)概念與技術(shù)
    2.1 相關(guān)概念
        2.1.1 DNS域名解析
        2.1.2 CDN加速服務(wù)
        2.1.3 CDN海量日志實(shí)時(shí)分析
    2.2 相關(guān)技術(shù)
        2.2.1 負(fù)載均衡
        2.2.2 微服務(wù)注冊(cè)與發(fā)現(xiàn)
        2.2.3 流式計(jì)算框架
        2.2.4 消息服務(wù)
    2.3 本章小結(jié)
第三章 CDN海量日志實(shí)時(shí)分析存在的問題及分析
    3.1 海量日志實(shí)時(shí)接入問題分析
    3.2 海量數(shù)據(jù)實(shí)時(shí)計(jì)算問題分析
    3.3 海量數(shù)據(jù)實(shí)時(shí)存取問題分析
    3.4 計(jì)算引擎與存儲(chǔ)模塊間的耦合問題分析
    3.5 本章小結(jié)
第四章 CDN海量日志實(shí)時(shí)分析平臺(tái)架構(gòu)研究與設(shè)計(jì)
    4.1 日志接入組件ARRIS
        4.1.1 概述
        4.1.2 日志接收處理能力線性擴(kuò)展
        4.1.3 日志流量智能切換
        4.1.4 日志處理微服務(wù)實(shí)例設(shè)計(jì)
    4.2 分析結(jié)果入庫(kù)組件AF
        4.2.1 概述
        4.2.2 AA交互機(jī)制
        4.2.3 限流原理
        4.2.4 熔斷原理
        4.2.5 服務(wù)實(shí)例設(shè)計(jì)
    4.3 分析結(jié)果存儲(chǔ)平臺(tái)RTDP
        4.3.1 數(shù)據(jù)存儲(chǔ)種類介紹
        4.3.2 數(shù)據(jù)存儲(chǔ)平臺(tái)RTDP設(shè)計(jì)
    4.4 本章小結(jié)
第五章 實(shí)現(xiàn)與驗(yàn)證
    5.1 實(shí)現(xiàn)
        5.1.1 日志接入組件ARRIS實(shí)現(xiàn)
        5.1.2 入庫(kù)組件AF實(shí)現(xiàn)
    5.2 驗(yàn)證
        5.2.1 日志接入組件ARRIS性能驗(yàn)證
        5.2.2 入庫(kù)組件AF性能驗(yàn)證
        5.2.3 平臺(tái)整體效果驗(yàn)證
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
致謝
作者簡(jiǎn)介


【參考文獻(xiàn)】：
期刊論文
[1]基于軟件定義網(wǎng)絡(luò)的服務(wù)器集群負(fù)載均衡技術(shù)研究[J]. 于天放,芮蘭蘭,邱雪松.  電子與信息學(xué)報(bào). 2018(12)
[2]基于可變性模型的可復(fù)用與可定制SaaS軟件開發(fā)方法[J]. 孫昌愛,張?jiān)谂d,張?chǎng)?  軟件學(xué)報(bào). 2018(11)
[3]大數(shù)據(jù)流式計(jì)算框架Storm的任務(wù)遷移策略[J]. 魯亮,于炯,卞琛,劉月超,廖彬,李慧娟.  計(jì)算機(jī)研究與發(fā)展. 2018(01)
[4]大數(shù)據(jù)存儲(chǔ)技術(shù)綜述（英文）[J]. Aisha SIDDIQA,Ahmad KARIM,Abdullah GANI.  Frontiers of Information Technology & Electronic Engineering. 2017(08)
[5]分布式環(huán)境下業(yè)務(wù)模型的數(shù)據(jù)存儲(chǔ)及訪問框架[J]. 蔡鴻明,姜祖海,姜麗紅.  清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(06)
[6]Key-Value型NoSQL本地存儲(chǔ)系統(tǒng)研究[J]. 馬文龍,朱妤晴,蔣德鈞,熊勁,張立新,孟瀟,包云崗.  計(jì)算機(jī)學(xué)報(bào). 2018(08)
[7]基于HBase+ ElasticSearch的海量交通數(shù)據(jù)實(shí)時(shí)存取方案設(shè)計(jì)[J]. 董長(zhǎng)青,任女爾,張慶余,田玉靖.  大數(shù)據(jù). 2017(01)
[8]一種自適應(yīng)文件系統(tǒng)元數(shù)據(jù)服務(wù)負(fù)載均衡策略[J]. 佘楚玉,溫武少,肖揚(yáng),劉育擘,賈殷.  軟件學(xué)報(bào). 2017(08)
[9]基于動(dòng)態(tài)鏡像的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)存取預(yù)處理技術(shù)研究[J]. 毛鶯池,閔偉,接青,朱瀝瀝.  計(jì)算機(jī)科學(xué). 2015(12)
[10]分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)的負(fù)載均衡框架[J]. 孫耀,劉杰,葉丹,鐘華.  軟件學(xué)報(bào). 2016(12)

博士論文
[1]非結(jié)構(gòu)化數(shù)據(jù)的相關(guān)問題研究[D]. 鄭階財(cái).山東大學(xué) 2017



本文編號(hào)：3183728