數(shù)據(jù)云服務(wù)平臺(tái)是針對(duì)當(dāng)前多系統(tǒng)應(yīng)用中,由于各系統(tǒng)自行收集、存儲(chǔ)日志數(shù)據(jù)而產(chǎn)生的數(shù)據(jù)格式多樣、數(shù)據(jù)交換困難、存儲(chǔ)資源浪費(fèi)、數(shù)據(jù)統(tǒng)計(jì)分析流程復(fù)雜等一系列問(wèn)題而提出的解決方案。論文以設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)云服務(wù)平臺(tái)為目標(biāo),基于分布式日志系統(tǒng),結(jié)合海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)同步、數(shù)據(jù)分析、數(shù)據(jù)監(jiān)控等多個(gè)核心模塊,提供一套完整的、穩(wěn)定的、可擴(kuò)展系統(tǒng)。該平臺(tái)為不同應(yīng)用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)存取接口,將各個(gè)系統(tǒng)的異構(gòu)數(shù)據(jù)按一定標(biāo)準(zhǔn)統(tǒng)一存儲(chǔ),通過(guò)高性能的計(jì)算集群和同步分發(fā)技術(shù),將數(shù)據(jù)備份到各存儲(chǔ)模塊上,保障了數(shù)據(jù)的安全性與穩(wěn)定性。同時(shí),數(shù)據(jù)云服務(wù)平臺(tái)在確保數(shù)據(jù)安全存取的前提下,將對(duì)數(shù)據(jù)做進(jìn)一步的加工處理,通過(guò)平臺(tái)底層提供的數(shù)據(jù)分析接口和自定義的數(shù)據(jù)模型,海量數(shù)據(jù)可根據(jù)不同的用戶類型做不同的商業(yè)或科研用途。數(shù)據(jù)云服務(wù)平臺(tái)目的在于提供有效地收集日志數(shù)據(jù),統(tǒng)一地管理和分發(fā)數(shù)據(jù),充分地挖掘數(shù)據(jù)潛在價(jià)值,在科研和商業(yè)領(lǐng)域都有很大的研究意義。 

【文章來(lái)源】：浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：90 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題背景
    1.2 課題目標(biāo)
    1.3 本文創(chuàng)新點(diǎn)
    1.4 本文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第2章 研究現(xiàn)狀和相關(guān)技術(shù)
    2.1 日志系統(tǒng)的研究現(xiàn)狀
        2.1.1 Scribe(Facebook)
        2.1.2 Chukwa(Apache)
        2.1.3 Flume(Cloudera)
        2.1.4 Kafka(LinkedIn)
        2.1.5 日志系統(tǒng)總結(jié)
    2.2 相關(guān)技術(shù)
        2.2.1 Zookeeper
        2.2.2 Hyperic HQ
    2.3 本章小結(jié)
第3章 數(shù)據(jù)云服務(wù)平臺(tái)的總體設(shè)計(jì)
    3.1 總體需求
    3.2 平臺(tái)總體架構(gòu)
        3.2.1 分布式日志系統(tǒng)
        3.2.2 數(shù)據(jù)分析系統(tǒng)
        3.2.3 數(shù)據(jù)監(jiān)控管理系統(tǒng)
    3.3 平臺(tái)使用流程
        3.3.1 數(shù)據(jù)收集流程
        3.3.2 數(shù)據(jù)分析流程
    3.4 本章小結(jié)
第4章 基于消息機(jī)制的分布式日志系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    4.1 需求分析
    4.2 系統(tǒng)架構(gòu)設(shè)計(jì)
    4.3 消息通信協(xié)議設(shè)計(jì)
        4.3.1 消息通信協(xié)議格式
    4.4 通信模塊設(shè)計(jì)與實(shí)現(xiàn)
    4.5 數(shù)據(jù)存取模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.5.1 數(shù)據(jù)存儲(chǔ)
        4.5.2 數(shù)據(jù)讀取
    4.6 數(shù)據(jù)推送模塊設(shè)計(jì)與實(shí)現(xiàn)
    4.7 數(shù)據(jù)消費(fèi)模塊設(shè)計(jì)與實(shí)現(xiàn)
    4.8 系統(tǒng)分布式特性設(shè)計(jì)與實(shí)現(xiàn)
        4.8.1 日志服務(wù)端(Broker)分布式實(shí)現(xiàn)簡(jiǎn)介
        4.8.2 日志消費(fèi)者(Consumer)分布式實(shí)現(xiàn)簡(jiǎn)介
    4.9 性能測(cè)試及實(shí)驗(yàn)結(jié)果
        4.9.1 測(cè)試環(huán)境
        4.9.2 日志系統(tǒng)生產(chǎn)者(producer)發(fā)送日志數(shù)據(jù)的性能測(cè)試
        4.9.3 日志消費(fèi)者(consumer)消費(fèi)日志數(shù)據(jù)的性能測(cè)試
    4.10 本章小結(jié)
第5章 數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    5.1 數(shù)據(jù)分析系統(tǒng)總體設(shè)計(jì)
    5.2 數(shù)據(jù)分析系統(tǒng)運(yùn)行流程
    5.3 數(shù)據(jù)分析系統(tǒng)的四個(gè)模塊
        5.3.1 數(shù)據(jù)開(kāi)放接口模塊
        5.3.2 數(shù)據(jù)定制模塊
        5.3.3 計(jì)算模塊
        5.3.4 任務(wù)管理模塊
    5.4 數(shù)據(jù)分析系統(tǒng)的應(yīng)用
        5.4.1 數(shù)據(jù)分析用戶
        5.4.2 內(nèi)部數(shù)據(jù)用戶
        5.4.3 數(shù)據(jù)產(chǎn)品
    5.5 本章小結(jié)
第6章 數(shù)據(jù)監(jiān)控管理系統(tǒng)
    6.1 數(shù)據(jù)監(jiān)控管理系統(tǒng)總體設(shè)計(jì)
    6.2 數(shù)據(jù)監(jiān)控管理系統(tǒng)運(yùn)行流程
    6.3 數(shù)據(jù)監(jiān)控管理系統(tǒng)的兩個(gè)模塊
        6.3.1 監(jiān)控告警模塊
        6.3.2 數(shù)據(jù)可視化模塊
    6.4 本章小結(jié)
第7章 數(shù)據(jù)云服務(wù)平臺(tái)在遙感數(shù)據(jù)領(lǐng)域的應(yīng)用展望
    7.1 遙感數(shù)據(jù)簡(jiǎn)介
    7.2 遙感數(shù)據(jù)云服務(wù)平臺(tái)使用架構(gòu)
    7.3 遙感數(shù)據(jù)產(chǎn)品展望
    7.4 本章小結(jié)
第8章 總結(jié)與展望
    8.1 工作總結(jié)
    8.2 下一步工作
參考文獻(xiàn)
攻讀碩士學(xué)位期間主要的研究成果
致謝



本文編號(hào)：3321248