發(fā)布時(shí)間：2022-07-29 19:11

　　隨著科學(xué)技術(shù)的發(fā)展,我們已經(jīng)步入了一個(gè)信息爆炸的時(shí)代,同時(shí),全世界產(chǎn)生的數(shù)據(jù)也以幾何級的比例快速增長,人類已全面進(jìn)入了大數(shù)據(jù)的時(shí)代。全球各個(gè)行業(yè)的企業(yè)也迅速認(rèn)識到了數(shù)據(jù)的重要性,數(shù)據(jù)被各個(gè)企業(yè)納入到了資產(chǎn)的范疇,產(chǎn)生了數(shù)據(jù)資產(chǎn)的概念,數(shù)據(jù)資產(chǎn)已成為企業(yè)的核心競爭力。如何圍繞企業(yè)的大數(shù)據(jù)信息,構(gòu)建低成本、高效率的大數(shù)據(jù)生態(tài)系統(tǒng),成為了各個(gè)企業(yè)的重要任務(wù)。本文旨在以電信運(yùn)營商運(yùn)營域數(shù)據(jù)之一的用戶手機(jī)上網(wǎng)日志為切入點(diǎn),構(gòu)建了一個(gè)大數(shù)據(jù)分析的原型系統(tǒng),原型系統(tǒng)基于Hadoop的海量日志數(shù)據(jù)準(zhǔn)實(shí)時(shí)查詢系統(tǒng)的架構(gòu)進(jìn)行設(shè)計(jì),并對主要模塊進(jìn)行了實(shí)現(xiàn)和驗(yàn)證。其設(shè)計(jì)原則是建設(shè)高性能的、完善的、開放的平臺。針對系統(tǒng)功能及應(yīng)用特點(diǎn),對涉及到的相關(guān)技術(shù),如HDFS、MapReduce、Hbase等Hadoop生態(tài)圈的原理和特性,本文也詳細(xì)研究和探討。根據(jù)系統(tǒng)實(shí)現(xiàn)情況及最終測試驗(yàn)證結(jié)果,表明采用Hadoop生態(tài)圈技術(shù)能夠很好的支撐大數(shù)據(jù)分析平臺的建設(shè),完成從數(shù)據(jù)采集、分析處理至最終應(yīng)用展現(xiàn)的全流程支撐。本文設(shè)計(jì)實(shí)現(xiàn)的基于Hadoop的海量日志數(shù)據(jù)準(zhǔn)實(shí)時(shí)查詢系統(tǒng)具有一定的實(shí)用性,較強(qiáng)的系統(tǒng)通用性和擴(kuò)展性。 

【文章頁數(shù)】：50 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 .研究背景和意義
    1.2 .國內(nèi)外現(xiàn)狀
    1.3 .論文工作及結(jié)構(gòu)安排
        1.3.1 .本文主要研究工作
        1.3.2 .本文結(jié)構(gòu)安排
第二章 Hadoop平臺技術(shù)研究
    2.1 .Hadoop平臺概述
    2.2 .Hadoop平臺架構(gòu)
    2.3 .HDFS介紹
    2.4 .MapReduce介紹
    2.5 .Hbase介紹
    2.6 .本章小結(jié)
第三章 系統(tǒng)設(shè)計(jì)
    3.1 .系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì)
    3.2 .系統(tǒng)數(shù)據(jù)流向設(shè)計(jì)
    3.3 .數(shù)據(jù)采集及加載
        3.3.1 .采集結(jié)構(gòu)設(shè)計(jì)
        3.3.2 .接口規(guī)范定義
        3.3.3 .采集程序設(shè)計(jì)
        3.3.4 .數(shù)據(jù)加載
    3.4 .數(shù)據(jù)分析處理
        3.4.1 .數(shù)據(jù)模型構(gòu)建
        3.4.2 .文件預(yù)處理及記錄級校驗(yàn)
        3.4.3 .基于MapReduce的數(shù)據(jù)計(jì)算處理
    3.5 .基于Hbase的數(shù)據(jù)查詢設(shè)計(jì)
        3.5.1 .基于Hbase特征的查詢表設(shè)計(jì)
        3.5.2 .數(shù)據(jù)查詢服務(wù)
    3.6 .本章小結(jié)
第四章 系統(tǒng)部署與驗(yàn)證
    4.1 .實(shí)驗(yàn)環(huán)境情況及部署
    4.2 .數(shù)據(jù)采集測試
    4.3 .數(shù)據(jù)文件合并及入庫測試
    4.4 .數(shù)據(jù)分析計(jì)算測試
    4.5 .頁面數(shù)據(jù)查詢測試
    4.6 .系統(tǒng)整體性能評估
    4.7 .本章小結(jié)
第五章 總結(jié)與展望
    5.1 .總結(jié)
    5.2 .展望
參考文獻(xiàn)
致謝



本文編號：3667021