【摘要】：隨著互聯(lián)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,特別是計算機技術(shù)的發(fā)展普及,人類社會的數(shù)據(jù)量呈現(xiàn)出爆炸式的增長趨勢,如何充分發(fā)揮數(shù)據(jù)的價值,挖掘出海量數(shù)據(jù)中隱藏的有價值的知識與信息,已經(jīng)成為當(dāng)今互聯(lián)網(wǎng)企業(yè)和高校的重點研究方向。在教育領(lǐng)域,計算機技術(shù)的普及也促進了高校信息化水平的提升,各類信息管理和網(wǎng)絡(luò)系統(tǒng)在高校中得到廣泛應(yīng)用,并逐步累積了大量的學(xué)生網(wǎng)絡(luò)行為數(shù)據(jù),在此背景下,利用數(shù)據(jù)挖掘技術(shù)分析校園用戶上網(wǎng)行為,不僅有助于校園用戶更好地進行自我認(rèn)知,而且還能夠為網(wǎng)絡(luò)管理者掌握校園網(wǎng)絡(luò)使用情況和用戶整體上網(wǎng)行為信息提供有效的技術(shù)支持。本文基于北京交通大學(xué)Dr.com計費系統(tǒng)的校園網(wǎng)絡(luò)用戶訪問日志,從網(wǎng)頁分類技術(shù)、用戶行為分析建模、用戶行為分析系統(tǒng)設(shè)計和實現(xiàn)三個方面展開了一系列的研究。具體研究內(nèi)容如下:(1)研究了基于URL的網(wǎng)頁分類技術(shù)。與傳統(tǒng)的網(wǎng)頁內(nèi)容分類方法不同,本文提出了基于URL的網(wǎng)頁混合分類算法,通過URL分類庫和基于N-Gram語言模型的URL分類器兩部分實現(xiàn)URL網(wǎng)頁分類,最終通過WebKB數(shù)據(jù)集和URL分類庫的驗證了分類器的分類準(zhǔn)確性。(2)研究了基于用戶屬性的用戶行為建模技術(shù)。首先對計費日志進行數(shù)據(jù)預(yù)處理,包括數(shù)據(jù)清洗、用戶識別、會話劃分和基于網(wǎng)頁相似性的會話歸約;其次基于URL進行主題分類,并引入訪問時長和訪問頻次因素,根據(jù)加權(quán)興趣度獲取用戶興趣主題表示;最后,結(jié)合用戶的上網(wǎng)時間屬性,建立了用戶行為模型,并通過實驗測試驗證了模型的準(zhǔn)確性。(3)設(shè)計并實現(xiàn)了校園用戶行為分析系統(tǒng)。系統(tǒng)后端將用戶行為模型的各個模塊進行實現(xiàn);系統(tǒng)前端分為校園用戶端和校園管理員端,校園用戶端可以查看自己的歷史訪問記錄以及上網(wǎng)行為的分析結(jié)果;校園管理員端可以查看全校用戶的整體訪問行為,并可以進行異常行為的檢測。
【圖文】：

數(shù)據(jù)挖掘就是“數(shù)據(jù)—知識”�，F(xiàn)在很多人將數(shù)據(jù)庫中的知識發(fā)現(xiàn)逡逑（Ｋｎｏｗｌｅｄｇｅ邋Ｄｉｓｃｏｖｅｒｙ邋ｉｎ邋Ｄａｔａｂａｓｅ，邋ＫＤＤ）看作數(shù)據(jù)挖掘一個流行的同義詞。ＫＤＤ逡逑從輸入數(shù)據(jù)到輸出挖掘知識的過程如圖１－１所示。逡逑清理和集成逡逑 …邐ｉ逡逑數(shù)據(jù)庫邋＼邐邐ｉｔ逡逑選擇和變換處理后的數(shù)據(jù)逡逑數(shù)據(jù)倉庫逡逑數(shù)據(jù)挖掘逡逑一般文件邐Ｉ逡逑知識邐模型逡逑圖１－１邋ＫＤＤ過程逡逑Ｆｉｇ邋１－１邋Ｐｒｏｃｅｓｓ邋ｏｆ邋ＫＤＤ逡逑目前在信息產(chǎn)業(yè)界一般是將數(shù)據(jù)清理和數(shù)據(jù)集成作為數(shù)據(jù)預(yù)處理步驟執(zhí)行，逡逑結(jié)果數(shù)據(jù)存放在數(shù)據(jù)倉庫中。數(shù)據(jù)挖掘步驟可與用戶或知識庫交互，將有趣的模式逡逑提供給用戶，或作為新的知識存放在知識庫中。逡逑Ｗｅｂ日志挖掘就是對Ｗｅｂ數(shù)據(jù)進行數(shù)據(jù)挖掘與分析，從雜亂無序的數(shù)據(jù)中發(fā)逡逑現(xiàn)潛藏的價值和知識模式。Ｗｅｂ信息復(fù)雜多變，結(jié)構(gòu)化、半結(jié)構(gòu)化甚至是非結(jié)構(gòu)化逡逑的數(shù)據(jù)在Ｗｅｂ上隨處可見，Ｗｅｂ挖掘可以把多種數(shù)據(jù)作為處理對象，可以是服務(wù)逡逑器日志、瀏覽器Ｃｏｏｋｉｅ、用戶的網(wǎng)上購物信息或者用戶使用應(yīng)用軟件的行為習(xí)慣。逡逑３逡逑

圖１－２邋Ｗｅｂ挖掘的分類逡逑Ｆｉ１－２邋Ｗｅｂ邋ＭｉｎｉｎＣｌａｓｓｉｆｉｃａｔｉｏｎ逡逑
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP393.09

【參考文獻】

相關(guān)期刊論文 前10條

1 米允龍;米春橋;劉文奇;;海量數(shù)據(jù)挖掘過程相關(guān)技術(shù)研究進展[J];計算機科學(xué)與探索;2015年06期

2 王家鑫;;基于數(shù)據(jù)挖掘的校園網(wǎng)用戶網(wǎng)絡(luò)行為分析[J];數(shù)字技術(shù)與應(yīng)用;2014年11期

3 陳鋒;;基于校園一卡通系統(tǒng)的高校用戶就餐消費行為分析與數(shù)據(jù)挖掘[J];中國教育信息化;2014年09期

4 許國迎;張寧;;基于網(wǎng)頁瀏覽的用戶興趣度研究[J];上海理工大學(xué)學(xué)報;2013年05期

5 李德新;;基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)日志分析[J];電腦知識與技術(shù);2011年25期

6 鄭曉健;龐淑英;何英;;一種面向主題的用戶興趣挖掘模型研究[J];昆明學(xué)院學(xué)報;2010年03期

7 孫宇航;孫應(yīng)飛;;基于網(wǎng)絡(luò)日志的數(shù)據(jù)挖掘預(yù)處理改進方法[J];系統(tǒng)工程與電子技術(shù);2009年12期

8 郭巖,白碩,楊志峰,張凱;網(wǎng)絡(luò)日志規(guī)模分析和用戶興趣挖掘[J];計算機學(xué)報;2005年09期

9 陳新中,李巖,謝永紅,楊炳儒;Web挖掘研究[J];計算機工程與應(yīng)用;2002年13期

10 吳強;梁繼民;楊萬海;;Web日志挖掘預(yù)處理中的用戶識別技術(shù)[J];計算機科學(xué);2002年04期

相關(guān)碩士學(xué)位論文 前10條

1 陳煒;基于大數(shù)據(jù)技術(shù)的用戶行為分析系統(tǒng)的研究[D];西安科技大學(xué);2018年

2 程元X;基于URL+文本的網(wǎng)頁主題分類模型研究[D];武漢郵電科學(xué)研究院;2018年

3 周雪;基于網(wǎng)絡(luò)日志的用戶行為分析與研究[D];北京郵電大學(xué);2017年

4 黎斌;面向URL的用戶建模關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2016年

5 楊鎰銘;基于URL模式的網(wǎng)頁分類算法研究[D];中國科學(xué)技術(shù)大學(xué);2016年

6 楊志忠;基于Hadoop的網(wǎng)絡(luò)用戶行為分析[D];蘭州理工大學(xué);2016年

7 許昌達(dá);網(wǎng)絡(luò)用戶行為的多維度分析方法[D];北京理工大學(xué);2015年

8 馬仕玉;聚類算法及其在校園網(wǎng)用戶行為分析中的應(yīng)用[D];重慶交通大學(xué);2015年

9 堯婷娟;校園無線局域網(wǎng)用戶行為分析研究[D];山東大學(xué);2014年

10 李游;基于校園網(wǎng)的用戶行為分析研究[D];云南大學(xué);2013年

，

本文編號：2604295