在“互聯(lián)網(wǎng)+教育”的時代背景下,高校在校園信息化建設(shè)的過程中積累了大量的數(shù)據(jù),做好數(shù)據(jù)的治理和服務(wù)從而優(yōu)化信息化服務(wù)環(huán)境,是新時代高校信息化建設(shè)面臨的新課題。同時,高校網(wǎng)站作為信息化服務(wù)環(huán)境的重要組成部分,功能日益豐富多樣。其作用不僅是進(jìn)行信息發(fā)布,更是開展交流,提供服務(wù)的重要途徑和有效手段。因此,通過分析高校的網(wǎng)站日志,獲取網(wǎng)站的受訪信息,從而了解用戶的訪問態(tài)勢,對網(wǎng)站建設(shè)者和管理者具有重要的意義。然而目前通過分析網(wǎng)站日志數(shù)據(jù)來獲取網(wǎng)站建設(shè)情況的高校還相對較少。部分院校采用傳統(tǒng)的通過網(wǎng)頁收集信息的方法效率低下,信息量少,實時性較差。運用大數(shù)據(jù)相關(guān)技術(shù)研發(fā)針對高校的網(wǎng)站日志分析系統(tǒng),能夠直觀、準(zhǔn)確、全方位的反應(yīng)網(wǎng)站的受訪情況,對提升高校信息化的智能程度具有重要的意義。本文以高校網(wǎng)站日志分析系統(tǒng)的研究與實現(xiàn)為研究內(nèi)容,在對Spark現(xiàn)有功能研究的基礎(chǔ)上,結(jié)合多種分布式技術(shù),提出了一種對網(wǎng)站日志數(shù)據(jù)進(jìn)行動態(tài)并行分析的流式批處理方法。探討了網(wǎng)站日志分析過程中所用到的關(guān)鍵技術(shù),分析了高校網(wǎng)站日志分析系統(tǒng)的功能需求。并在此基礎(chǔ)上梳理了網(wǎng)站日志分析系統(tǒng)的設(shè)計流程,從日志的采集、日志的緩存、日志的分... 

【文章來源】：西北大學(xué)陜西省 211工程院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語對照表
第一章 緒論
    1.1 研究的背景與意義
        1.1.1 研究的背景
        1.1.2 研究的意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文主要的研究工作
    1.4 論文的組織結(jié)構(gòu)
第二章 關(guān)鍵技術(shù)研究
    2.1 數(shù)據(jù)采集技術(shù)
    2.2 數(shù)據(jù)緩存技術(shù)
        2.2.1 Kafka緩存隊列
        2.2.2 Zookeeper分布式協(xié)調(diào)服務(wù)
    2.3 數(shù)據(jù)分析技術(shù)
        2.3.1 大數(shù)據(jù)分析技術(shù)
        2.3.2 日志數(shù)據(jù)分析方法
    2.4 數(shù)據(jù)存儲技術(shù)
    2.5 可視化相關(guān)技術(shù)
        2.5.1 SpringBoot
        2.5.2 MyBatis
        2.5.3 Web前端技術(shù)
    2.6 小結(jié)
第三章 系統(tǒng)需求分析
    3.1 系統(tǒng)的整體需求分析
        3.1.1 系統(tǒng)的功能性需求分析
        3.1.2 系統(tǒng)的非功能性需求分析
    3.2 系統(tǒng)中各個模塊的功能需求
    3.3 小結(jié)
第四章 系統(tǒng)的詳細(xì)設(shè)計
    4.1 系統(tǒng)的總體架構(gòu)
    4.2 日志采集模塊的設(shè)計
    4.3 日志緩存模塊的設(shè)計
    4.4 日志分析模塊的設(shè)計
        4.4.1 日志數(shù)據(jù)預(yù)處理
        4.4.2 日志數(shù)據(jù)分析
        4.4.3 集群運行
    4.5 結(jié)果存儲模塊的設(shè)計
    4.6 動態(tài)可視化模塊的設(shè)計
    4.7 小結(jié)
第五章 系統(tǒng)的功能實現(xiàn)
    5.1 系統(tǒng)的環(huán)境配置
    5.2 日志采集模塊的實現(xiàn)
    5.3 日志緩存模塊的實現(xiàn)
    5.4 日志分析模塊的實現(xiàn)
    5.5 動態(tài)可視化模塊的實現(xiàn)
    5.6 系統(tǒng)測試
    5.7 小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間取得的科研成果


【參考文獻(xiàn)】：
期刊論文
[1]基于Kafka的分布式能效管理平臺的設(shè)計與實現(xiàn)[J]. 朱幼普,盧軍.  計算機(jī)與數(shù)字工程. 2018(12)
[2]基于大數(shù)據(jù)和人工智能的高校信息化服務(wù)研究[J]. 楊龍.  實驗技術(shù)與管理. 2018(11)
[3]智慧校園建設(shè)中大數(shù)據(jù)技術(shù)的應(yīng)用[J]. 李國平.  教育現(xiàn)代化. 2018(43)
[4]基于Spark Streaming的實時交通數(shù)據(jù)處理平臺[J]. 譚亮,周靜.  計算機(jī)系統(tǒng)應(yīng)用. 2018(10)
[5]基于教育大數(shù)據(jù)生態(tài)體系的高校智慧校園建設(shè)研究[J]. 余鵬,李艷.  中國電化教育. 2018(06)
[6]大數(shù)據(jù)技術(shù)在智慧校園中的應(yīng)用研究[J]. 陳向東,李靜蕾.  電腦知識與技術(shù). 2018(15)
[7]數(shù)據(jù)庫技術(shù)的發(fā)展[J]. 黃麗.  科技風(fēng). 2018(14)
[8]大數(shù)據(jù)技術(shù)在智慧校園管理中的應(yīng)用[J]. 邵莉.  電子技術(shù)與軟件工程. 2018(08)
[9]SpringBoot框架在web應(yīng)用開發(fā)中的探討[J]. 呂宇琛.  科技創(chuàng)新導(dǎo)報. 2018(08)
[10]網(wǎng)絡(luò)安全日志可視化分析研究進(jìn)展[J]. 張勝,趙玨,陳榮元.  計算機(jī)科學(xué)與探索. 2018(05)

博士論文
[1]大數(shù)據(jù)對我國高校教育管理的影響及對策研究[D]. 陳桂香.武漢大學(xué) 2017
[2]基于數(shù)據(jù)挖掘的Web日志分析研究[D]. 李春雅.武漢大學(xué) 2016

碩士論文
[1]云環(huán)境下流式數(shù)據(jù)預(yù)處理機(jī)制優(yōu)化研究[D]. 劉威.南京郵電大學(xué) 2018
[2]基于ZooKeeper的配置中心系統(tǒng)設(shè)計與實現(xiàn)[D]. 董龍成.西安電子科技大學(xué) 2018
[3]基于Spark的用戶行為分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 殷樂.戰(zhàn)略支援部隊信息工程大學(xué) 2018
[4]基于ELK Stack的實時日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 王裕辰.北京郵電大學(xué) 2018
[5]國內(nèi)外大數(shù)據(jù)教育應(yīng)用研究的對比研究[D]. 凌霄.深圳大學(xué) 2017
[6]面向移動新聞的日志收集分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 傅韌嶠.北京交通大學(xué) 2017
[7]多終端一體化高校網(wǎng)站群研究與應(yīng)用[D]. 趙文科.西北大學(xué) 2017
[8]基于Kafka的日志處理平臺的研究[D]. 費秀宏.吉林大學(xué) 2017
[9]基于Storm的實時日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 屈國慶.南京大學(xué) 2016
[10]四川移動PUSH信息服務(wù)云模塊的設(shè)計與實現(xiàn)[D]. 譚典.電子科技大學(xué) 2015



本文編號：3058130