基于Hadoop的上網(wǎng)日志分析系統(tǒng)的設(shè)計與實現(xiàn)
發(fā)布時間:2021-01-14 19:00
在高校學(xué)生數(shù)量不斷增多的今天,如何更好的實現(xiàn)對學(xué)生的精準(zhǔn)管理,成為了目前高校主要關(guān)心的問題。本文主要從學(xué)生上網(wǎng)日志數(shù)據(jù)出發(fā),通過學(xué)生使用校園網(wǎng)瀏覽網(wǎng)頁所留下的上網(wǎng)日志數(shù)據(jù)進(jìn)行分析,了解其上網(wǎng)時長與上網(wǎng)偏好,從而可以針對學(xué)生日常上網(wǎng)習(xí)慣對其進(jìn)行管理,為此設(shè)計并實現(xiàn)一個基于Hadoop平臺的校園網(wǎng)上網(wǎng)日志分析系統(tǒng)。本文講述了系統(tǒng)研究的背景、目的與意義,并對系統(tǒng)涉及到的相關(guān)技術(shù)的工作原理進(jìn)行了概述;對系統(tǒng)進(jìn)行了總體的需求分析并按照系統(tǒng)所要實現(xiàn)的功能進(jìn)行了模塊的劃分;在進(jìn)行了詳細(xì)的需求分析后,對系統(tǒng)進(jìn)行了具體的硬件平臺構(gòu)建以及各個功能模塊設(shè)計,對學(xué)生的上網(wǎng)日志數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理與可視化展示;并對可視化展示的結(jié)果進(jìn)行分析,根據(jù)目前學(xué)生的上網(wǎng)行為與上網(wǎng)偏好,從中歸納總結(jié)出一些對于當(dāng)前高校學(xué)生管理的建議,最后,對整個系統(tǒng)進(jìn)行了總結(jié)與展望。本文研究的上網(wǎng)日志數(shù)據(jù)分析平臺,通過對于學(xué)生上網(wǎng)日志數(shù)據(jù)進(jìn)行抽取、處理與展示,可以從中分析出學(xué)生的日常上網(wǎng)時長與上網(wǎng)偏好,高?梢岳脤崟r的處理結(jié)果,對學(xué)生的上網(wǎng)行為進(jìn)行管理,對學(xué)生的上網(wǎng)偏好加以引導(dǎo),從而規(guī)范學(xué)生上網(wǎng)行為,促進(jìn)精準(zhǔn)督學(xué),幫助學(xué)生更好的完成學(xué)業(yè)。
【文章來源】:安徽工業(yè)大學(xué)安徽省
【文章頁數(shù)】:58 頁
【學(xué)位級別】:碩士
【部分圖文】:
Agent基本結(jié)構(gòu)圖
圖 4-4 運(yùn)行中的服務(wù)節(jié)點屏幕截圖4.3.1 上網(wǎng)時長可視化展示及分析對于上網(wǎng)時長的分析,主要是針對每一個學(xué)生,獲取其不同時間段內(nèi)的上網(wǎng)時長,從而可以進(jìn)一步分析其目前對于網(wǎng)絡(luò)的使用程度,同時可以聯(lián)系其它數(shù)據(jù)如該生的上課考勤數(shù)據(jù)、期中/期末考試數(shù)據(jù)結(jié)合分析,綜合分析出該名學(xué)生的上網(wǎng)情況。此處選取某一學(xué)生進(jìn)行數(shù)據(jù)時長數(shù)據(jù)的展示如圖 4-5 所示。圖 4-5 學(xué)生上網(wǎng)時長數(shù)據(jù)屏幕截圖通過上圖可以看出,展示的數(shù)據(jù)有學(xué)生學(xué)號、性別、接入網(wǎng)絡(luò)事件、斷開
圖 4-4 運(yùn)行中的服務(wù)節(jié)點屏幕截圖4.3.1 上網(wǎng)時長可視化展示及分析對于上網(wǎng)時長的分析,主要是針對每一個學(xué)生,獲取其不同時間段內(nèi)的上網(wǎng)時長,從而可以進(jìn)一步分析其目前對于網(wǎng)絡(luò)的使用程度,同時可以聯(lián)系其它數(shù)據(jù)如該生的上課考勤數(shù)據(jù)、期中/期末考試數(shù)據(jù)結(jié)合分析,綜合分析出該名學(xué)生的上網(wǎng)情況。此處選取某一學(xué)生進(jìn)行數(shù)據(jù)時長數(shù)據(jù)的展示如圖 4-5 所示。
【參考文獻(xiàn)】:
期刊論文
[1]基于Hive的支付SDK日志分析系統(tǒng)的設(shè)計研究[J]. 王建輝,李濤. 計算機(jī)應(yīng)用與軟件. 2017(07)
[2]基于大數(shù)據(jù)集群架構(gòu)的數(shù)據(jù)管理系統(tǒng)設(shè)計[J]. 王華濤. 電腦與信息技術(shù). 2016(06)
[3]基于Flume的分布式日志采集分析系統(tǒng)設(shè)計與實現(xiàn)[J]. 陳飛,艾中良. 軟件. 2016(12)
[4]基于大數(shù)據(jù)平臺的日志分析預(yù)警技術(shù)研究[J]. 周平,馬斌,韓冰,蘇宇晨. 電腦知識與技術(shù). 2016(32)
[5]適應(yīng)用戶興趣變化的改進(jìn)型協(xié)同過濾算法[J]. 胡偉健,滕飛,李靈芳,王歡. 計算機(jī)應(yīng)用. 2016(08)
[6]基于Hadoop的云計算平臺研究與實現(xiàn)[J]. 范素娟,田軍鋒. 計算機(jī)技術(shù)與發(fā)展. 2016(07)
[7]跨平臺網(wǎng)絡(luò)設(shè)備日志整理與分析系統(tǒng)研究[J]. 潘威華. 江蘇科技信息. 2016(05)
[8]基于Spark技術(shù)的網(wǎng)絡(luò)大數(shù)據(jù)分析平臺搭建與應(yīng)用[J]. 詹義,方媛. 互聯(lián)網(wǎng)天地. 2016(02)
[9]基于用戶興趣變化的數(shù)字圖書館知識推薦服務(wù)研究[J]. 曾子明,金鵬. 圖書館論壇. 2016(01)
[10]基于Hadoop的用電信息大數(shù)據(jù)計算服務(wù)及應(yīng)用[J]. 王相偉,史玉良,張建林,梁波,程翠萍. 電網(wǎng)技術(shù). 2015(11)
碩士論文
[1]基于Hadoop的離線數(shù)據(jù)分析平臺設(shè)計與實現(xiàn)[D]. 朱雪.河北工程大學(xué) 2018
[2]基于Hadoop的大數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)[D]. 何同飛.大連理工大學(xué) 2017
[3]校園無線網(wǎng)絡(luò)日志大數(shù)據(jù)分析平臺的研究與實現(xiàn)[D]. 郗超.內(nèi)蒙古農(nóng)業(yè)大學(xué) 2017
[4]基于HBase數(shù)據(jù)管理平臺的設(shè)計和實現(xiàn)[D]. 李東奎.北京郵電大學(xué) 2017
[5]基于用戶上網(wǎng)日志的數(shù)據(jù)挖掘技術(shù)研究[D]. 程斐斐.貴州大學(xué) 2016
[6]基于SQL和NoSQL的混合存儲系統(tǒng)的設(shè)計與實現(xiàn)[D]. 肖光昭.北京理工大學(xué) 2016
[7]IT運(yùn)維大數(shù)據(jù)平臺日志分析系統(tǒng)研究[D]. 周亮彪.中南林業(yè)科技大學(xué) 2016
[8]基于Hadoop的電信大數(shù)據(jù)分析的設(shè)計與實現(xiàn)[D]. 曹茜茜.西安科技大學(xué) 2015
[9]基于Hadoop的數(shù)字博物館構(gòu)建研究[D]. 崔峰峰.西北師范大學(xué) 2015
[10]基于分布式計算的海量日志數(shù)據(jù)分析平臺的設(shè)計與實現(xiàn)[D]. 陳超.北京郵電大學(xué) 2015
本文編號:2977364
【文章來源】:安徽工業(yè)大學(xué)安徽省
【文章頁數(shù)】:58 頁
【學(xué)位級別】:碩士
【部分圖文】:
Agent基本結(jié)構(gòu)圖
圖 4-4 運(yùn)行中的服務(wù)節(jié)點屏幕截圖4.3.1 上網(wǎng)時長可視化展示及分析對于上網(wǎng)時長的分析,主要是針對每一個學(xué)生,獲取其不同時間段內(nèi)的上網(wǎng)時長,從而可以進(jìn)一步分析其目前對于網(wǎng)絡(luò)的使用程度,同時可以聯(lián)系其它數(shù)據(jù)如該生的上課考勤數(shù)據(jù)、期中/期末考試數(shù)據(jù)結(jié)合分析,綜合分析出該名學(xué)生的上網(wǎng)情況。此處選取某一學(xué)生進(jìn)行數(shù)據(jù)時長數(shù)據(jù)的展示如圖 4-5 所示。圖 4-5 學(xué)生上網(wǎng)時長數(shù)據(jù)屏幕截圖通過上圖可以看出,展示的數(shù)據(jù)有學(xué)生學(xué)號、性別、接入網(wǎng)絡(luò)事件、斷開
圖 4-4 運(yùn)行中的服務(wù)節(jié)點屏幕截圖4.3.1 上網(wǎng)時長可視化展示及分析對于上網(wǎng)時長的分析,主要是針對每一個學(xué)生,獲取其不同時間段內(nèi)的上網(wǎng)時長,從而可以進(jìn)一步分析其目前對于網(wǎng)絡(luò)的使用程度,同時可以聯(lián)系其它數(shù)據(jù)如該生的上課考勤數(shù)據(jù)、期中/期末考試數(shù)據(jù)結(jié)合分析,綜合分析出該名學(xué)生的上網(wǎng)情況。此處選取某一學(xué)生進(jìn)行數(shù)據(jù)時長數(shù)據(jù)的展示如圖 4-5 所示。
【參考文獻(xiàn)】:
期刊論文
[1]基于Hive的支付SDK日志分析系統(tǒng)的設(shè)計研究[J]. 王建輝,李濤. 計算機(jī)應(yīng)用與軟件. 2017(07)
[2]基于大數(shù)據(jù)集群架構(gòu)的數(shù)據(jù)管理系統(tǒng)設(shè)計[J]. 王華濤. 電腦與信息技術(shù). 2016(06)
[3]基于Flume的分布式日志采集分析系統(tǒng)設(shè)計與實現(xiàn)[J]. 陳飛,艾中良. 軟件. 2016(12)
[4]基于大數(shù)據(jù)平臺的日志分析預(yù)警技術(shù)研究[J]. 周平,馬斌,韓冰,蘇宇晨. 電腦知識與技術(shù). 2016(32)
[5]適應(yīng)用戶興趣變化的改進(jìn)型協(xié)同過濾算法[J]. 胡偉健,滕飛,李靈芳,王歡. 計算機(jī)應(yīng)用. 2016(08)
[6]基于Hadoop的云計算平臺研究與實現(xiàn)[J]. 范素娟,田軍鋒. 計算機(jī)技術(shù)與發(fā)展. 2016(07)
[7]跨平臺網(wǎng)絡(luò)設(shè)備日志整理與分析系統(tǒng)研究[J]. 潘威華. 江蘇科技信息. 2016(05)
[8]基于Spark技術(shù)的網(wǎng)絡(luò)大數(shù)據(jù)分析平臺搭建與應(yīng)用[J]. 詹義,方媛. 互聯(lián)網(wǎng)天地. 2016(02)
[9]基于用戶興趣變化的數(shù)字圖書館知識推薦服務(wù)研究[J]. 曾子明,金鵬. 圖書館論壇. 2016(01)
[10]基于Hadoop的用電信息大數(shù)據(jù)計算服務(wù)及應(yīng)用[J]. 王相偉,史玉良,張建林,梁波,程翠萍. 電網(wǎng)技術(shù). 2015(11)
碩士論文
[1]基于Hadoop的離線數(shù)據(jù)分析平臺設(shè)計與實現(xiàn)[D]. 朱雪.河北工程大學(xué) 2018
[2]基于Hadoop的大數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)[D]. 何同飛.大連理工大學(xué) 2017
[3]校園無線網(wǎng)絡(luò)日志大數(shù)據(jù)分析平臺的研究與實現(xiàn)[D]. 郗超.內(nèi)蒙古農(nóng)業(yè)大學(xué) 2017
[4]基于HBase數(shù)據(jù)管理平臺的設(shè)計和實現(xiàn)[D]. 李東奎.北京郵電大學(xué) 2017
[5]基于用戶上網(wǎng)日志的數(shù)據(jù)挖掘技術(shù)研究[D]. 程斐斐.貴州大學(xué) 2016
[6]基于SQL和NoSQL的混合存儲系統(tǒng)的設(shè)計與實現(xiàn)[D]. 肖光昭.北京理工大學(xué) 2016
[7]IT運(yùn)維大數(shù)據(jù)平臺日志分析系統(tǒng)研究[D]. 周亮彪.中南林業(yè)科技大學(xué) 2016
[8]基于Hadoop的電信大數(shù)據(jù)分析的設(shè)計與實現(xiàn)[D]. 曹茜茜.西安科技大學(xué) 2015
[9]基于Hadoop的數(shù)字博物館構(gòu)建研究[D]. 崔峰峰.西北師范大學(xué) 2015
[10]基于分布式計算的海量日志數(shù)據(jù)分析平臺的設(shè)計與實現(xiàn)[D]. 陳超.北京郵電大學(xué) 2015
本文編號:2977364
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/2977364.html
最近更新
教材專著