【摘要】：近年來,移動(dòng)互聯(lián)網(wǎng)迅猛發(fā)展,已經(jīng)成為人們生活中不可或缺的一部分�；咀鳛橛脩艉突ヂ�(lián)網(wǎng)連接的樞紐,基站提供的網(wǎng)絡(luò)服務(wù)質(zhì)量的好壞直接影響了用戶的使用體驗(yàn)。如何評(píng)估城市范圍內(nèi)不同區(qū)域不同時(shí)間的網(wǎng)絡(luò)服務(wù)質(zhì)量,識(shí)別出城市范圍內(nèi)的熱點(diǎn)基站是運(yùn)營(yíng)商需要關(guān)注的問題。對(duì)城市范圍內(nèi)基站流量、連接人數(shù)、網(wǎng)址訪問類別等特征的時(shí)空規(guī)律分析為運(yùn)營(yíng)商在改善網(wǎng)絡(luò)服務(wù)質(zhì)量、提高網(wǎng)絡(luò)資源利用率、未來網(wǎng)絡(luò)設(shè)施規(guī)劃等方面提供了指導(dǎo)作用。本文從移動(dòng)基站流量數(shù)據(jù)出發(fā),提出了一種基于熵權(quán)法的熱點(diǎn)基站定義方法,在此基礎(chǔ)上,對(duì)熱點(diǎn)基站的時(shí)間分布、空間分布等做了研究。本文使用了樸素貝葉斯算法對(duì)移動(dòng)互聯(lián)網(wǎng)中網(wǎng)址進(jìn)行分類,使用了 TF-IDF算法探究不同類型的網(wǎng)址訪問對(duì)熱點(diǎn)基站的重要性。對(duì)人群移動(dòng)、人群分布的研究在城市規(guī)劃、交通建設(shè)等方面有著重要的意義。本文首先使用了三種基于時(shí)間序列的模型對(duì)基站的連接人數(shù)進(jìn)行了預(yù)測(cè),并比較了三種模型的性能優(yōu)劣。然后提出了一種基于基站時(shí)空特征的連接人數(shù)預(yù)測(cè)方法,實(shí)驗(yàn)表明,本文提出的算法在大部分的基站數(shù)據(jù)集中的表現(xiàn)優(yōu)于僅使用時(shí)間序列的算法。大數(shù)據(jù)環(huán)境下,傳統(tǒng)的數(shù)據(jù)處理工具已經(jīng)不再適用,本文借助開源大數(shù)據(jù)框架Hadoop來完成數(shù)據(jù)處理工作,然而開源大數(shù)據(jù)處理工具在安全性、權(quán)限控制、結(jié)果展示等方面存在著不足。基于這一問題,本文開發(fā)了基于Spark的流量分析系統(tǒng),在web端集成了Spark Shell、Spark SQL、Spark作業(yè)提交三個(gè)功能,為包括但不限于流量分析的大數(shù)據(jù)分析提供了便利。
【圖文】：

邐Ｒａｃｋ邋ｎ逡逑圖２－２邋ＨＤＦＳ邋ＨＡ架構(gòu)圖逡逑由圖２－２我們可以看到，ＨＤＦＳ的ＨＡ是基于Ｚｏｏｋｅｅｐｅｉ？集群實(shí)現(xiàn)的。ａｃｔｉｖｅ逡逑節(jié)點(diǎn)的元數(shù)據(jù)分為兩部分，一部分是合并后的ｆｃｉｍａｇｅ，一部分是剛寫入的ｅｄｉｔｓ。逡逑ＨＡ機(jī)制將ｅｄｉｔｓ的數(shù)據(jù)放到Ｚｏｏｋｅｅｐｅｒ集群中，ｓｔａｎｄｂｙ節(jié)點(diǎn)通過Ｚｏｏｋｅｅｐｅｉ？不斷逡逑的將ｅｄｉｔｓ文件同步到自己的ｆｓｉｍａｇｅ中。在ＮａｍｅＮｏｄｅ節(jié)點(diǎn)上存在著一個(gè)監(jiān)控逡逑進(jìn)程來監(jiān)控ＮａｍｅＮｏｄｅ的狀態(tài)，，一旦發(fā)現(xiàn)ＮａｍｅＮｏｄｅ故障，即進(jìn)行主備切換，避逡逑免了邋ＮａｍｅＮｏｄｅ的單點(diǎn)故障。逡逑＞邋ＤａｔａＮｏｄｅ逡逑７逡逑

逡逑Ｓｐａｒｋ邋ＳＱＬ的架構(gòu)如圖２－４所示，Ｓｐａｒｋ邋ＳＱＬ基于多種執(zhí)行引擎（雖然目前逡逑僅支持Ｓｐａｒｋ執(zhí)行引擎，但設(shè)計(jì)上，Ｃａｔａｌｙｓｔ是支持多種執(zhí)行引擎的，比如逡逑ＭａｐＲｅｄｕｃｅ引擎等）、多種ＳＱＬ解析器，面向用戶提供了類似Ｈｉｖｅ的ＣＬＩ以及逡逑ＳＱＬ服務(wù)接口，向上提供ＪＤＢＣ服務(wù)等。面向開發(fā)人員提供了邋ＳＱＬ邋ＤＳＬ邋ＡＰＩ。逡逑２．３數(shù)據(jù)采集系統(tǒng)逡逑本文所使用的數(shù)據(jù)集是由筆者實(shí)驗(yàn)室參與研發(fā)的流量監(jiān)控與采集系統(tǒng)逡逑（Ｔｒａｆｆｉｃ邋Ｍｏｎｉｔｏｒ邋Ｓｙｓｔｅｍ，邋ＴＭＳ）在中國(guó)北方某省骨干網(wǎng)采集得到，采集系統(tǒng)的逡逑架構(gòu)如圖２－５所示，所采集的流量分為兩種：一種是手機(jī)、平板等通過基站連接逡逑互聯(lián)網(wǎng)產(chǎn)生的流量，一種是個(gè)人電腦等固定設(shè)備通過核心交換機(jī)連接到互聯(lián)網(wǎng)產(chǎn)逡逑生的流量。對(duì)于通過基站產(chǎn)生的流量，會(huì)先傳遞給ＳＧＳＮ邋（ＳｅｒｖｉｎｇＧＰＲＳ邋Ｓｕｐｐｏｒｔ逡逑Ｎｏｄｅ
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TN929.5

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫建順;;基于SPARK課程理念優(yōu)化足球教學(xué)的實(shí)踐探索——以小學(xué)足球正腳背運(yùn)球?yàn)槔齕J];教學(xué)月刊小學(xué)版(綜合);2017年09期

2 陳虹君;謝彩云;;基于Spark的大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)的研究與實(shí)施[J];教育現(xiàn)代化;2016年37期

3 余濤;劉澤q

本文編號(hào)：2666722