發(fā)布時間：2018-01-08 08:27

  本文關鍵詞：大數(shù)據(jù)環(huán)境下校園網(wǎng)行為挖掘關鍵問題的研究與應用　出處：《鄭州輕工業(yè)學院》2017年碩士論文　論文類型：學位論文

  更多相關文章： 網(wǎng)絡 網(wǎng)絡行為 數(shù)據(jù)挖掘 大數(shù)據(jù) 成績預測 回歸預測 決策樹

【摘要】：互聯(lián)網(wǎng)對人們的日常生活有著重要的影響,隨著人們使用互聯(lián)網(wǎng)的方式方法和應用類型日趨多元化,由此產(chǎn)生的用戶網(wǎng)絡行為數(shù)據(jù)量也在迅速增長。從海量的網(wǎng)絡行為數(shù)據(jù)中挖掘出可用的信息,不僅具有很大的研究價值和商業(yè)價值,還可以為政府提供決策支持,為人們的生產(chǎn)和生活提供指導依據(jù)。本文主要在大數(shù)據(jù)環(huán)境下圍繞網(wǎng)絡行為數(shù)據(jù)采集、建模、分析和挖掘開展了系統(tǒng)性的研究,結(jié)合學生學習成績進行數(shù)據(jù)挖掘,分析了網(wǎng)絡行為對學習成績的影響。(1)在數(shù)據(jù)采集方面,針對在萬兆網(wǎng)絡環(huán)境中使用通用服務器采集數(shù)據(jù)包存在性能不足這一問題,從軟硬件兩方面對問題進行了分析,并對近年國際上新出現(xiàn)的報文捕獲方案進行了對比試驗,給出了在萬兆網(wǎng)絡環(huán)境中使用通用服務器線速采集數(shù)據(jù)包的方法,并對協(xié)議識別方法進行了研究。(2)在描述性分析階段,針對在大數(shù)據(jù)環(huán)境下分析觀測網(wǎng)絡行為數(shù)據(jù)存在難度大的問題,使用Pentaho平臺對數(shù)據(jù)進行了清洗轉(zhuǎn)換,實現(xiàn)了一個WEB端的可視化觀測環(huán)境,設計了多維分析模型,滿足了研究工作中描述性分析的需要。(3)在指標運算方面,針對使用傳統(tǒng)方法處理海量網(wǎng)絡行為數(shù)據(jù)存在效率低的問題,使用Pentaho平臺調(diào)用Hadoop組件和R插件的方法對采集到的網(wǎng)絡行為數(shù)據(jù)進行并行運算,并利用顆粒度放大方法和箱線圖法對網(wǎng)絡行為數(shù)據(jù)進行歸約,解決了數(shù)據(jù)處理過程中處理效率低的問題。(4)利用網(wǎng)絡行為指標和學生成績數(shù)據(jù)開展了挖掘研究工作,采用線性支持向量機(Linear SVM)、梯度上升樹(Gradient Boosted Trees,GBT)和K最近鄰(KNN)等算法檢驗了學生的學習能力對學習成績的影響程度,利用C4.5決策樹挖掘出了網(wǎng)絡行為對課程成績和學習績點的影響,找出了對學習影響較大的幾種網(wǎng)絡應用,并給出了需要對學生進行干預的閾值。
[Abstract]:This paper analyzes the problem of network behavior data acquisition , modeling , analysis and mining by using the method of collecting , modeling , analyzing and mining the network behavior data in the environment of large data .

【學位授予單位】：鄭州輕工業(yè)學院
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.13

【參考文獻】

相關期刊論文 前10條

1 程珊;鈕焱;李軍;;基于網(wǎng)絡資源的kNN網(wǎng)絡流量分類模型的研究[J];湖北工業(yè)大學學報;2016年04期

2 解軍;邢進生;;基于KNN算法的新浪微博用戶行為分析及預測[J];山西師范大學學報(自然科學版);2016年02期

3 李洪奇;楊中國;朱麗萍;劉薔;;基于數(shù)據(jù)集特征的KNN最優(yōu)K值預測方法[J];計算機應用與軟件;2016年06期

4 TANG Lu;YAN JinLi;SUN ZhiGang;LI Tao;ZHANG MinXuan;;Towards high-performance packet processing on commodity multi-cores: current issues and future directions[J];Science China(Information Sciences);2015年12期

5 陳婧敏;;基于KNN回歸的短時交通流預測[J];微型電腦應用;2015年09期

6 趙金樓;成俊會;;基于SNA的突發(fā)事件微博輿情傳播網(wǎng)絡結(jié)構分析——以“4.20四川雅安地震”為例[J];管理評論;2015年01期

7 劉濱;張靜遠;劉強;趙靜陽;李寒;徐巍巍;;微博分析研究綜述[J];河北科技大學學報;2015年01期

8 李永娜;;基于支持向量機的回歸預測綜述[J];信息通信;2014年11期

9 馮登國;張敏;李昊;;大數(shù)據(jù)安全與隱私保護[J];計算機學報;2014年01期

10 路榮;項亮;劉明榮;楊青;;基于隱主題分析和文本聚類的微博客中新聞話題的發(fā)現(xiàn)[J];模式識別與人工智能;2012年03期

相關博士學位論文 前1條

1 喬媛媛;基于Hadoop的網(wǎng)絡流量分析系統(tǒng)的研究與應用[D];北京郵電大學;2014年

相關碩士學位論文 前5條

1 馬仕玉;聚類算法及其在校園網(wǎng)用戶行為分析中的應用[D];重慶交通大學;2015年

2 王帥;情感分析的特征提取算法與觀點的聚類算法研究[D];昆明理工大學;2015年

3 郝增勇;基于Hadoop用戶行為分析系統(tǒng)設計與實現(xiàn)[D];北京交通大學;2014年

4 馬麗嬌;用戶網(wǎng)絡行為分析系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2014年

5 劉志剛;非參數(shù)回歸的研究及其應用[D];溫州大學;2012年

，

本文編號：1396364