【摘要】：移動(dòng)互聯(lián)網(wǎng),就是將移動(dòng)通信和互聯(lián)網(wǎng)二者結(jié)合起來,成為一體。隨著寬帶無線接入技術(shù)和移動(dòng)終端技術(shù)的飛速發(fā)展,人們迫切希望能夠隨時(shí)隨地乃至在移動(dòng)過程中都能方便地從互聯(lián)網(wǎng)獲取信息和服務(wù),移動(dòng)互聯(lián)網(wǎng)應(yīng)運(yùn)而生并迅猛發(fā)展。而伴隨著智能手機(jī)性能提升及移動(dòng)互聯(lián)網(wǎng)發(fā)展,越來越多網(wǎng)民開始使用手機(jī)接入互聯(lián)網(wǎng),因此對(duì)移動(dòng)互聯(lián)網(wǎng)的分析顯得愈發(fā)的重要。 域名系統(tǒng)(英文：Domain Name System, DNS)是因特網(wǎng)的一基本項(xiàng)服務(wù),它作為將域名和IP地址相互映射的一個(gè)分布式數(shù)據(jù)庫(kù),能夠使人更方便地訪問互聯(lián)網(wǎng)。無論是傳統(tǒng)的PC互聯(lián)網(wǎng),還是現(xiàn)在呈爆發(fā)式發(fā)展移動(dòng)互聯(lián)網(wǎng),幾乎都是基于IP網(wǎng)絡(luò)來實(shí)現(xiàn)信息通信服務(wù),而這些服務(wù)都要通過域名訪問來定位相應(yīng)的網(wǎng)絡(luò)資源。而作為記錄了豐富移動(dòng)互聯(lián)網(wǎng)訪問信息的DNS日志,當(dāng)然可以被用來對(duì)移動(dòng)互聯(lián)網(wǎng)進(jìn)行適當(dāng)?shù)胤治?并在此分析的基礎(chǔ)上進(jìn)而對(duì)移動(dòng)互聯(lián)網(wǎng)的訪問模式等進(jìn)行研究。 本文基于DNS日志,對(duì)移動(dòng)互聯(lián)網(wǎng)進(jìn)行了分析,主要的研究工作包括： 首先,介紹了如何通過運(yùn)用HDFS(Hadoop Distributed File System)和Hadoop分布式編程手段,從現(xiàn)有的靜態(tài)報(bào)文中去存儲(chǔ)和分析海量移動(dòng)互聯(lián)網(wǎng)DNS日志的方法。 其次,利用對(duì)基礎(chǔ)DNS日志信息進(jìn)行預(yù)處理之后得到的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)規(guī)律分析。主要分析對(duì)象為,查詢域名、請(qǐng)求查詢域名的所屬ISP((Internet Service Provider,互聯(lián)網(wǎng)服務(wù)提供商)、服務(wù)器端IP、DNS查詢類型、rCode等等。得出在一天之中,用戶對(duì)移動(dòng)互聯(lián)網(wǎng)訪問的行為表現(xiàn)有別于傳統(tǒng)PC互聯(lián)網(wǎng)一天的行為表現(xiàn)的結(jié)論；得出域名的訪問量呈現(xiàn)出28原則,也即帕累托法則；而用戶的查詢量分布則呈現(xiàn)冪指數(shù)分布。 再次,運(yùn)用圖論建模,并采用矩陣乘法的思想,運(yùn)用并行分布式框架Map/Reduce去解決DNS域名全連通問題。在這個(gè)部分中,我們借鑒了三種不同的矩陣乘法思想,分別實(shí)現(xiàn)了三種全連通的辦法。
【圖文】：

Rack 2圖3-2塊是如何從其他節(jié)點(diǎn)上復(fù)制的3.2. DNS日志預(yù)處理3.2.1. DNS日志預(yù)處理簡(jiǎn)介當(dāng)海量DNS F1志從報(bào)文裝置中獲取，再上傳到DNS R志分布式存儲(chǔ)系統(tǒng)HDFS,通過Map/Reduce編程預(yù)處理DNSQ喼鏡玫紻NS重要信息，，再通過基礎(chǔ)統(tǒng)計(jì)分析、全連通方法實(shí)現(xiàn)以及改進(jìn)后的聚類方法模式挖掘則可以得到相應(yīng)的數(shù)據(jù)分析結(jié)果。卜一圖為DNS F1志數(shù)據(jù)預(yù)處理所在的整個(gè)分析環(huán)節(jié)。報(bào)文懫集裝H DNS里耍倍息——?數(shù)據(jù)分析手段I 2 I ‘ ± ^ I DNS H ,iU DNS H志 教據(jù)分析妙m存儲(chǔ)系統(tǒng)一預(yù)處理 乫分析-n來圖3-3 DNS日志數(shù)據(jù)預(yù)處理所在環(huán)節(jié)示意圖預(yù)處理的主要目的是從原始的海量DNS報(bào)文中獲取和移動(dòng)互聯(lián)網(wǎng)用戶關(guān)系染17 �。簧�
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP393.01;TN929.5

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 張駿;;一種基于MapReduce并行框架的大規(guī)模矩陣乘法運(yùn)算的實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2012年06期

2 胡海波;王林;;冪律分布研究簡(jiǎn)史[J];物理;2005年12期

3 魏曉;;帕累托法則[J];中國(guó)工會(huì)財(cái)會(huì);2009年10期

本文編號(hào)：2545814