國內(nèi)的各個(gè)高校先后建設(shè)了自己的校園網(wǎng)絡(luò),實(shí)現(xiàn)了教育信息化和互聯(lián)網(wǎng)化�？焖俦憬莸男@網(wǎng)絡(luò)為高校師生提供了豐富的資源,開闊了學(xué)生的眼界。用戶在使用網(wǎng)絡(luò)獲取信息的同時(shí),會(huì)產(chǎn)生大量的訪問數(shù)據(jù),從海量的用戶訪問數(shù)據(jù)中挖掘出有價(jià)值的信息成為近年來的研究熱點(diǎn)。在復(fù)雜繁多的日志中提取有價(jià)值的信息并對這些信息進(jìn)行分析和建模是本文研究的主要內(nèi)容。本文以學(xué)校信息中心的DNS日志為數(shù)據(jù)源,所做的主要工作如下:(1)對原日志數(shù)據(jù)過濾和清洗。去除重復(fù)和無用的數(shù)據(jù),為以后的數(shù)據(jù)分析打下基礎(chǔ)。(2)對日志中用戶訪問域名分類的研究。在DNS日志中,用戶訪問的域名是一個(gè)非常重要的字段,通過對域名的歸類,能夠得到用戶的部分網(wǎng)絡(luò)訪問特征。本文采用域名分類庫和域名分類器兩種工具相結(jié)合的方法對域名進(jìn)行主題歸類。域名分類庫的建立是通過網(wǎng)絡(luò)爬蟲爬取域名分類網(wǎng)站得到的。域名分類器則是采用機(jī)器學(xué)習(xí)算法在大量的已經(jīng)歸好主題類別的域名基礎(chǔ)上訓(xùn)練得到的,主要作用是對未在域名分類庫中匹配到的域名歸類。(3)對用戶網(wǎng)絡(luò)訪問特征聚類的研究和分析。通過對用戶訪問的域名標(biāo)簽化處理,得到用戶行為特征向量,之后進(jìn)一步對這些數(shù)據(jù)做聚類分析,得到不同的用戶群的...

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１?ＤＮＳ任務(wù)描述??Ｆｉｇｕｒｅ?２－１?Ｔａｓｋ?Ｄｅｓｃｒｉｐｔｉｏｎ?ｏｆ?ＤＮＳ??

??域名系統(tǒng)的主要任務(wù)是將域名“翻譯”成ＩＰ地址，從而保證客戶端瀏覽器根??據(jù)ＩＰ地址找到服務(wù)器，獲取服務(wù)器端的信息它的任務(wù)描述如圖２－１所示。在??圖中ＤＮＳ將域名ｗｗｗ．ｑｑ．ｃｏｍ?“翻譯”成了?ＩＰｖ４的地址２２１．１７９．４６．１９０。表面上看??起來ＤＮＳ和ＨＯＳＴ．....

圖２－２?ＤＮＳ結(jié)構(gòu)圖??Ｆｉｇｕｒｅ?２－２?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＤＮＳ??

??域名系統(tǒng)的主要任務(wù)是將域名“翻譯”成ＩＰ地址，從而保證客戶端瀏覽器根??據(jù)ＩＰ地址找到服務(wù)器，獲取服務(wù)器端的信息它的任務(wù)描述如圖２－１所示。在??圖中ＤＮＳ將域名ｗｗｗ．ｑｑ．ｃｏｍ?“翻譯”成了?ＩＰｖ４的地址２２１．１７９．４６．１９０。表面上看??起來ＤＮＳ和ＨＯＳＴ．....

圖２－３?Ｈａｄｏｏｐ生態(tài)圈??Ｆｉｇｕｒｅ?２－３?Ｈａｄｏｏｐ?ｅｃｏｓｐｈｅｒｅ??ＨＤＦ、ＭａＲｅｄｕｃｅ、Ｙａｍ，

超大集群的簡單數(shù)據(jù)處理》，從此揭?guī)粤舜髷?shù)據(jù)處理發(fā)展的序幕。同年，Ｄｏｕｇ?Ｃｕｔｔｉｎｇ??將ＧＦＳ和Ｍａｐ?Ｒｅｄｕｃｅ加入Ｎｕｔｃｈ項(xiàng)目。２００６年，Ｎｕｔｃｈ改名為Ｈａｄｏｏｐ。目前，??Ｈａｄｏｏｐ和其他的大數(shù)據(jù)處理組件相互配合使用組成了?Ｈａｄｏｏｐ生態(tài)系統(tǒng)，圖２－３展....

圖２－４?ＨＤＦＳ存儲架構(gòu)??Ｆｉｇｕｒｅ?２－４?ＨＤＦＳ?ｓｔｏｒａｇｅ?ａｒｃｈｉｔｅｃｔｕｒｅ??

Ｍａｐ?Ｒｅｄｕｃｅ是一個(gè)分布式計(jì)算模型，計(jì)算過程主要由兩部分組成Ｍａｐ和??Ｒｅｄｕｃｅ。Ｍａｐ將任務(wù)分割成更小的任務(wù)，由每臺機(jī)器分別運(yùn)行，Ｒｅｄｕｃｅ負(fù)責(zé)將所??有機(jī)器的運(yùn)算結(jié)果匯總整理，返回最后結(jié)果，計(jì)算過程如圖２－５所示。通過Ｍａｐ??Ｒｅｄｕｃｅ方式，可以在上千臺機(jī)器上....

本文編號：3893148