隨著人類科技的進(jìn)步以及信息技術(shù)的更新迭代,大數(shù)據(jù)已成為社會(huì)各行業(yè)信息技術(shù)發(fā)展的契機(jī)。但是大數(shù)據(jù)組件從安裝到部署到使用的過程非常復(fù)雜,由此從業(yè)者們對(duì)一個(gè)功能完備,整合度高的大數(shù)據(jù)平臺(tái)系統(tǒng)的需求非常強(qiáng)烈。但是開發(fā)一套功能齊全,界面友好性高的大數(shù)據(jù)平臺(tái)系統(tǒng)也面臨很多問題。比如一在整個(gè)大數(shù)據(jù)生態(tài)系統(tǒng)當(dāng)中,組件復(fù)雜多樣,即使專業(yè)人員從部署到測(cè)試完成也需要消耗大量精力。二是在大數(shù)據(jù)相關(guān)組件出現(xiàn)技術(shù)問題后,開發(fā)人員往往需要查看日志去解決問題。但大數(shù)據(jù)組件繁多,日志文件尋找困難。三是大數(shù)據(jù)組件往往需要實(shí)時(shí)的監(jiān)控以及告警通知系統(tǒng)以避免處理不及時(shí)造成的大規(guī)模組件失靈等問題。四是為保證負(fù)載平衡往往需要對(duì)組件內(nèi)部資源進(jìn)行管理。五是市面的一些大數(shù)據(jù)平臺(tái)如Ambari缺乏對(duì)大數(shù)據(jù)組件資源內(nèi)部的管理,沒有對(duì)日志的管理,界面而言不是很友好以及缺乏對(duì)非大數(shù)據(jù)組件的監(jiān)控管理支持。針對(duì)這些問題,本文設(shè)計(jì)并實(shí)現(xiàn)了一套集大數(shù)據(jù)平臺(tái)自動(dòng)化部署與監(jiān)控管理,日志告警以及資源管理一體化的系統(tǒng)。具體涉及大數(shù)據(jù)平臺(tái)自動(dòng)化部署模塊,監(jiān)控告警模塊,日志管理模塊,服務(wù)管理模塊,資源管理模塊五大模塊。并分別實(shí)現(xiàn)了組件一鍵式部署,組件異常監(jiān)控實(shí)時(shí)告...

【文章頁數(shù)】：117 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 系統(tǒng)開發(fā)背景
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文的主要工作
    1.4 論文的組織結(jié)構(gòu)
第2章 需求分析
    2.1 系統(tǒng)功能性需求
        2.1.1 平臺(tái)部署模塊需求分析
        2.1.2 平臺(tái)管理模塊需求分析
    2.2 系統(tǒng)非功能性需求
    2.3 本章小結(jié)
第3章 系統(tǒng)架構(gòu)設(shè)計(jì)
    3.1 系統(tǒng)物理架構(gòu)設(shè)計(jì)
    3.2 系統(tǒng)邏輯架構(gòu)設(shè)計(jì)
    3.3 本章小結(jié)
第4章 系統(tǒng)詳細(xì)設(shè)計(jì)
    4.1 平臺(tái)管理和部署核心類設(shè)計(jì)
    4.2 平臺(tái)部署及管理核心數(shù)據(jù)庫設(shè)計(jì)
    4.3 平臺(tái)部署詳細(xì)模塊設(shè)計(jì)
        4.3.1 主機(jī)管理模塊設(shè)計(jì)
        4.3.2 平臺(tái)管理模塊設(shè)計(jì)
        4.3.3 大數(shù)據(jù)組件部署模塊設(shè)計(jì)
    4.4 平臺(tái)管理詳細(xì)模塊設(shè)計(jì)
        4.4.1 監(jiān)控模塊設(shè)計(jì)
        4.4.2 告警模塊設(shè)計(jì)
        4.4.3 日志模塊設(shè)計(jì)
        4.4.4 服務(wù)管理模塊設(shè)計(jì)
        4.4.5 資源管理模塊設(shè)計(jì)
    4.5 本章小結(jié)
第5章 系統(tǒng)實(shí)現(xiàn)與測(cè)試
    5.1 平臺(tái)部署模塊
        5.1.1 系統(tǒng)準(zhǔn)備工作功能與實(shí)現(xiàn)
        5.1.2 系統(tǒng)用戶管理功能與實(shí)現(xiàn)
        5.1.3 主機(jī)管理功能與實(shí)現(xiàn)
        5.1.4 平臺(tái)管理功能與實(shí)現(xiàn)
        5.1.5 集群管理功能與實(shí)現(xiàn)
    5.2 平臺(tái)管理模塊
        5.2.1 監(jiān)控功能與實(shí)現(xiàn)
        5.2.2 告警功能與實(shí)現(xiàn)
        5.2.3 日志功能與實(shí)現(xiàn)
        5.2.4 服務(wù)管理功能與實(shí)現(xiàn)
        5.2.5 資源管理功能與實(shí)現(xiàn)
    5.3 系統(tǒng)測(cè)試
    5.4 本章小結(jié)
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
致謝
學(xué)位論文評(píng)閱及答辯情況表



本文編號(hào)：3750375