【摘要】：近年來,移動互聯(lián)網(wǎng)迅猛發(fā)展,已經(jīng)成為人們生活中不可或缺的一部分。基站作為用戶和互聯(lián)網(wǎng)連接的樞紐,基站提供的網(wǎng)絡(luò)服務(wù)質(zhì)量的好壞直接影響了用戶的使用體驗。如何評估城市范圍內(nèi)不同區(qū)域不同時間的網(wǎng)絡(luò)服務(wù)質(zhì)量,識別出城市范圍內(nèi)的熱點基站是運營商需要關(guān)注的問題。對城市范圍內(nèi)基站流量、連接人數(shù)、網(wǎng)址訪問類別等特征的時空規(guī)律分析為運營商在改善網(wǎng)絡(luò)服務(wù)質(zhì)量、提高網(wǎng)絡(luò)資源利用率、未來網(wǎng)絡(luò)設(shè)施規(guī)劃等方面提供了指導(dǎo)作用。本文從移動基站流量數(shù)據(jù)出發(fā),提出了一種基于熵權(quán)法的熱點基站定義方法,在此基礎(chǔ)上,對熱點基站的時間分布、空間分布等做了研究。本文使用了樸素貝葉斯算法對移動互聯(lián)網(wǎng)中網(wǎng)址進(jìn)行分類,使用了 TF-IDF算法探究不同類型的網(wǎng)址訪問對熱點基站的重要性。對人群移動、人群分布的研究在城市規(guī)劃、交通建設(shè)等方面有著重要的意義。本文首先使用了三種基于時間序列的模型對基站的連接人數(shù)進(jìn)行了預(yù)測,并比較了三種模型的性能優(yōu)劣。然后提出了一種基于基站時空特征的連接人數(shù)預(yù)測方法,實驗表明,本文提出的算法在大部分的基站數(shù)據(jù)集中的表現(xiàn)優(yōu)于僅使用時間序列的算法。大數(shù)據(jù)環(huán)境下,傳統(tǒng)的數(shù)據(jù)處理工具已經(jīng)不再適用,本文借助開源大數(shù)據(jù)框架Hadoop來完成數(shù)據(jù)處理工作,然而開源大數(shù)據(jù)處理工具在安全性、權(quán)限控制、結(jié)果展示等方面存在著不足�；谶@一問題,本文開發(fā)了基于Spark的流量分析系統(tǒng),在web端集成了Spark Shell、Spark SQL、Spark作業(yè)提交三個功能,為包括但不限于流量分析的大數(shù)據(jù)分析提供了便利。
【圖文】：

邐Ｒａｃｋ邋ｎ逡逑圖２－２邋ＨＤＦＳ邋ＨＡ架構(gòu)圖逡逑由圖２－２我們可以看到，ＨＤＦＳ的ＨＡ是基于Ｚｏｏｋｅｅｐｅｉ？集群實現(xiàn)的。ａｃｔｉｖｅ逡逑節(jié)點的元數(shù)據(jù)分為兩部分，一部分是合并后的ｆｃｉｍａｇｅ，一部分是剛寫入的ｅｄｉｔｓ。逡逑ＨＡ機制將ｅｄｉｔｓ的數(shù)據(jù)放到Ｚｏｏｋｅｅｐｅｒ集群中，ｓｔａｎｄｂｙ節(jié)點通過Ｚｏｏｋｅｅｐｅｉ？不斷逡逑的將ｅｄｉｔｓ文件同步到自己的ｆｓｉｍａｇｅ中。在ＮａｍｅＮｏｄｅ節(jié)點上存在著一個監(jiān)控逡逑進(jìn)程來監(jiān)控ＮａｍｅＮｏｄｅ的狀態(tài)，，一旦發(fā)現(xiàn)ＮａｍｅＮｏｄｅ故障，即進(jìn)行主備切換，避逡逑免了邋ＮａｍｅＮｏｄｅ的單點故障。逡逑＞邋ＤａｔａＮｏｄｅ逡逑７逡逑

逡逑Ｓｐａｒｋ邋ＳＱＬ的架構(gòu)如圖２－４所示，Ｓｐａｒｋ邋ＳＱＬ基于多種執(zhí)行引擎（雖然目前逡逑僅支持Ｓｐａｒｋ執(zhí)行引擎，但設(shè)計上，Ｃａｔａｌｙｓｔ是支持多種執(zhí)行引擎的，比如逡逑ＭａｐＲｅｄｕｃｅ引擎等）、多種ＳＱＬ解析器，面向用戶提供了類似Ｈｉｖｅ的ＣＬＩ以及逡逑ＳＱＬ服務(wù)接口，向上提供ＪＤＢＣ服務(wù)等。面向開發(fā)人員提供了邋ＳＱＬ邋ＤＳＬ邋ＡＰＩ。逡逑２．３數(shù)據(jù)采集系統(tǒng)逡逑本文所使用的數(shù)據(jù)集是由筆者實驗室參與研發(fā)的流量監(jiān)控與采集系統(tǒng)逡逑（Ｔｒａｆｆｉｃ邋Ｍｏｎｉｔｏｒ邋Ｓｙｓｔｅｍ，邋ＴＭＳ）在中國北方某省骨干網(wǎng)采集得到，采集系統(tǒng)的逡逑架構(gòu)如圖２－５所示，所采集的流量分為兩種：一種是手機、平板等通過基站連接逡逑互聯(lián)網(wǎng)產(chǎn)生的流量，一種是個人電腦等固定設(shè)備通過核心交換機連接到互聯(lián)網(wǎng)產(chǎn)逡逑生的流量。對于通過基站產(chǎn)生的流量，會先傳遞給ＳＧＳＮ邋（ＳｅｒｖｉｎｇＧＰＲＳ邋Ｓｕｐｐｏｒｔ逡逑Ｎｏｄｅ
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TN929.5

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫建順;;基于SPARK課程理念優(yōu)化足球教學(xué)的實踐探索——以小學(xué)足球正腳背運球為例[J];教學(xué)月刊小學(xué)版(綜合);2017年09期

2 陳虹君;謝彩云;;基于Spark的大數(shù)據(jù)實驗室建設(shè)的研究與實施[J];教育現(xiàn)代化;2016年37期

3 余濤;劉澤q

本文編號：2666722