國內的各個高校先后建設了自己的校園網(wǎng)絡,實現(xiàn)了教育信息化和互聯(lián)網(wǎng)化�？焖俦憬莸男@網(wǎng)絡為高校師生提供了豐富的資源,開闊了學生的眼界。用戶在使用網(wǎng)絡獲取信息的同時,會產(chǎn)生大量的訪問數(shù)據(jù),從海量的用戶訪問數(shù)據(jù)中挖掘出有價值的信息成為近年來的研究熱點。在復雜繁多的日志中提取有價值的信息并對這些信息進行分析和建模是本文研究的主要內容。本文以學校信息中心的DNS日志為數(shù)據(jù)源,所做的主要工作如下:(1)對原日志數(shù)據(jù)過濾和清洗。去除重復和無用的數(shù)據(jù),為以后的數(shù)據(jù)分析打下基礎。(2)對日志中用戶訪問域名分類的研究。在DNS日志中,用戶訪問的域名是一個非常重要的字段,通過對域名的歸類,能夠得到用戶的部分網(wǎng)絡訪問特征。本文采用域名分類庫和域名分類器兩種工具相結合的方法對域名進行主題歸類。域名分類庫的建立是通過網(wǎng)絡爬蟲爬取域名分類網(wǎng)站得到的。域名分類器則是采用機器學習算法在大量的已經(jīng)歸好主題類別的域名基礎上訓練得到的,主要作用是對未在域名分類庫中匹配到的域名歸類。(3)對用戶網(wǎng)絡訪問特征聚類的研究和分析。通過對用戶訪問的域名標簽化處理,得到用戶行為特征向量,之后進一步對這些數(shù)據(jù)做聚類分析,得到不同的用戶群的...

【文章頁數(shù)】：75 頁

【學位級別】：碩士

【部分圖文】：

圖２－１?ＤＮＳ任務描述??Ｆｉｇｕｒｅ?２－１?Ｔａｓｋ?Ｄｅｓｃｒｉｐｔｉｏｎ?ｏｆ?ＤＮＳ??

??域名系統(tǒng)的主要任務是將域名“翻譯”成ＩＰ地址，從而保證客戶端瀏覽器根??據(jù)ＩＰ地址找到服務器，獲取服務器端的信息它的任務描述如圖２－１所示。在??圖中ＤＮＳ將域名ｗｗｗ．ｑｑ．ｃｏｍ?“翻譯”成了?ＩＰｖ４的地址２２１．１７９．４６．１９０。表面上看??起來ＤＮＳ和ＨＯＳＴ．....

圖２－２?ＤＮＳ結構圖??Ｆｉｇｕｒｅ?２－２?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＤＮＳ??

??域名系統(tǒng)的主要任務是將域名“翻譯”成ＩＰ地址，從而保證客戶端瀏覽器根??據(jù)ＩＰ地址找到服務器，獲取服務器端的信息它的任務描述如圖２－１所示。在??圖中ＤＮＳ將域名ｗｗｗ．ｑｑ．ｃｏｍ?“翻譯”成了?ＩＰｖ４的地址２２１．１７９．４６．１９０。表面上看??起來ＤＮＳ和ＨＯＳＴ．....

圖２－３?Ｈａｄｏｏｐ生態(tài)圈??Ｆｉｇｕｒｅ?２－３?Ｈａｄｏｏｐ?ｅｃｏｓｐｈｅｒｅ??ＨＤＦ、ＭａＲｅｄｕｃｅ、Ｙａｍ，

超大集群的簡單數(shù)據(jù)處理》，從此揭?guī)粤舜髷?shù)據(jù)處理發(fā)展的序幕。同年，Ｄｏｕｇ?Ｃｕｔｔｉｎｇ??將ＧＦＳ和Ｍａｐ?Ｒｅｄｕｃｅ加入Ｎｕｔｃｈ項目。２００６年，Ｎｕｔｃｈ改名為Ｈａｄｏｏｐ。目前，??Ｈａｄｏｏｐ和其他的大數(shù)據(jù)處理組件相互配合使用組成了?Ｈａｄｏｏｐ生態(tài)系統(tǒng)，圖２－３展....

圖２－４?ＨＤＦＳ存儲架構??Ｆｉｇｕｒｅ?２－４?ＨＤＦＳ?ｓｔｏｒａｇｅ?ａｒｃｈｉｔｅｃｔｕｒｅ??

Ｍａｐ?Ｒｅｄｕｃｅ是一個分布式計算模型，計算過程主要由兩部分組成Ｍａｐ和??Ｒｅｄｕｃｅ。Ｍａｐ將任務分割成更小的任務，由每臺機器分別運行，Ｒｅｄｕｃｅ負責將所??有機器的運算結果匯總整理，返回最后結果，計算過程如圖２－５所示。通過Ｍａｐ??Ｒｅｄｕｃｅ方式，可以在上千臺機器上....

本文編號：3893148