如今互聯(lián)網(wǎng)中信息繁多,內(nèi)容豐富,人們可以在互聯(lián)網(wǎng)上使用到各式各樣的網(wǎng)絡(luò)服務(wù)。但是,不斷變化的網(wǎng)絡(luò)給網(wǎng)絡(luò)監(jiān)管提出了挑戰(zhàn),網(wǎng)絡(luò)中存在著各類帶有標簽的數(shù)據(jù),其獲取方式與存在形式各異,難以進行統(tǒng)一的管理與分析,而目前有關(guān)于網(wǎng)絡(luò)數(shù)據(jù)匯聚的研究工作或者成熟的平臺產(chǎn)品幾乎都是針對特定類型的網(wǎng)絡(luò)數(shù)據(jù)進行收集。為解決這一問題,本文將基于Docker以及Kubernetes設(shè)計一種能夠支持從網(wǎng)絡(luò)中不同目標獲取相應(yīng)數(shù)據(jù),能夠?qū)@些數(shù)據(jù)進行存儲、統(tǒng)計與分析的平臺,讓容器成為各類數(shù)據(jù)匯聚、存儲、分析等過程的載體,并且這些容器則由Kubernetes統(tǒng)一調(diào)度。然而Kubernetes在資源管理方面和數(shù)據(jù)處理方面有所不足。針對上述問題,本文設(shè)計了相應(yīng)的解決方案并實現(xiàn)完整的系統(tǒng),具體的工作如下:(1)提出了集群帶寬資源管理策略,設(shè)計了針對數(shù)據(jù)匯聚任務(wù)的調(diào)度流程,優(yōu)化了 Kubernetes的任務(wù)調(diào)度方式,解決了在集群帶寬資源不足時需要及時完成的任務(wù)無法順利執(zhí)行的問題。(2)設(shè)計了適用于多源異構(gòu)數(shù)據(jù)的存儲過程,提高了容器平臺對多源異構(gòu)數(shù)據(jù)的處理能力,解決了出現(xiàn)數(shù)據(jù)高峰導(dǎo)致數(shù)據(jù)積壓、容器的無狀態(tài)特點導(dǎo)致文件類數(shù)據(jù)丟失等問...

【文章頁數(shù)】：76 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究工作的背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文的主要工作
    1.4 論文結(jié)構(gòu)安排
第二章 相關(guān)技術(shù)研究
    2.1 網(wǎng)絡(luò)探測相關(guān)技術(shù)
        2.1.1 主動探測
        2.1.2 被動探測
        2.1.3 網(wǎng)絡(luò)掃描平臺產(chǎn)品
    2.2 Web頁面內(nèi)容提取與分析相關(guān)技術(shù)
        2.2.1 Web頁面獲取
        2.2.2 網(wǎng)頁內(nèi)容特征提取
        2.2.3 聚類算法
    2.3 容器化平臺相關(guān)技術(shù)
        2.3.1 容器
        2.3.2 容器編排
    2.4 存儲相關(guān)技術(shù)
        2.4.1 內(nèi)存數(shù)據(jù)庫
        2.4.2 數(shù)據(jù)持久化
    2.5 本章小結(jié)
第三章 數(shù)據(jù)匯聚與特征分析關(guān)鍵技術(shù)研究
    3.1 任務(wù)調(diào)度關(guān)鍵技術(shù)研究
        3.1.1 Kubernetes調(diào)度技術(shù)分析與研究
        3.1.2 任務(wù)類型分析
        3.1.3 調(diào)度策略優(yōu)化
    3.2 數(shù)據(jù)存儲關(guān)鍵技術(shù)研究
        3.2.1 格式化數(shù)據(jù)存儲方案
        3.2.2 非格式化數(shù)據(jù)存儲方案
    3.3 本章小結(jié)
第四章 系統(tǒng)設(shè)計
    4.1 系統(tǒng)概要設(shè)計
        4.1.1 系統(tǒng)整體架構(gòu)設(shè)計
        4.1.2 系統(tǒng)功能結(jié)構(gòu)圖
    4.2 系統(tǒng)詳細設(shè)計
        4.2.1 集群管理模塊設(shè)計
        4.2.2 任務(wù)管理模塊設(shè)計
        4.2.3 鏡像管理模塊設(shè)計
        4.2.4 結(jié)果管理模塊設(shè)計
        4.2.5 統(tǒng)計管理模塊設(shè)計
    4.3 本章小結(jié)
第五章 多元網(wǎng)絡(luò)標簽數(shù)據(jù)統(tǒng)計與特征分析
    5.1 IP響應(yīng)時間與地理信息統(tǒng)計分析
    5.2 端口開放統(tǒng)計
    5.3 主機服務(wù)統(tǒng)計
    5.4 域名-地理信息統(tǒng)計
    5.5 DNS服務(wù)器相關(guān)統(tǒng)計
    5.6 網(wǎng)頁主題關(guān)鍵詞統(tǒng)計
    5.7 網(wǎng)頁內(nèi)容聚類分析
    5.8 本章小結(jié)
第六章 系統(tǒng)測試
    6.1 測試環(huán)境部署
    6.2 系統(tǒng)功能測試
        6.2.1 集群管理功能測試
        6.2.2 任務(wù)管理功能測試
        6.2.3 鏡像管理功能測試
        6.2.4 結(jié)果管理功能測試
        6.2.5 統(tǒng)計管理功能測試
    6.3 實時任務(wù)調(diào)度功能測試
    6.4 系統(tǒng)性能測試
    6.5 本章小結(jié)
第七章 總結(jié)與展望
    7.1 本文工作總結(jié)
    7.2 不足與展望
致謝
參考文獻
攻讀碩士期間取得的研究成果



本文編號：3837718