隨著3G、4G網(wǎng)絡(luò)的普及,移動(dòng)互聯(lián)網(wǎng)得到了快速發(fā)展,同時(shí)伴隨著移動(dòng)終端市場的成熟和智能終端的推陳出新,蜂窩網(wǎng)絡(luò)的用戶規(guī)模也不斷擴(kuò)大,蜂窩網(wǎng)絡(luò)數(shù)據(jù)業(yè)務(wù)成為了人們的重要研究對象。隨著蜂窩網(wǎng)絡(luò)數(shù)據(jù)流量的與日俱增,如何利用大數(shù)據(jù)技術(shù)分析研究海量蜂窩網(wǎng)絡(luò)數(shù)據(jù)已經(jīng)成為了當(dāng)今的研究熱點(diǎn)。對海量的蜂窩網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析與研究,一方面將有效地促進(jìn)現(xiàn)有蜂窩網(wǎng)絡(luò)建設(shè)的規(guī)劃,從業(yè)務(wù)角度來提升網(wǎng)絡(luò)的性能;另一方面,通過蜂窩網(wǎng)絡(luò)數(shù)據(jù)挖掘出隱含的、有用的信息,已經(jīng)成了商業(yè)、工程領(lǐng)域的迫切需求。本文通過搭建蜂窩網(wǎng)絡(luò)大數(shù)據(jù)平臺,對蜂窩網(wǎng)絡(luò)業(yè)務(wù)數(shù)據(jù)進(jìn)行研究。對大尺度下的城市快照時(shí)空模式進(jìn)行了分析,同時(shí)在小尺度上挖掘用戶的搜索興趣。論文主要工作包括:一、基于現(xiàn)有的Hadoop、Spark等大數(shù)據(jù)技術(shù),并結(jié)合蜂窩網(wǎng)絡(luò)數(shù)據(jù)業(yè)務(wù)的處理需求,搭建了一套用于蜂窩網(wǎng)絡(luò)數(shù)據(jù)分析的大數(shù)據(jù)分析處理平臺。然后詳細(xì)闡述了該平臺下的數(shù)據(jù)采集模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)展示模塊4個(gè)核心模塊和其中的關(guān)鍵技術(shù)。最后,描述了本文使用的大數(shù)據(jù)系統(tǒng)中遇到的關(guān)鍵問題以及解決方法。二、基于即時(shí)通信業(yè)務(wù)流量,提出了一種城市的業(yè)務(wù)快照模式的分析研究方法。首先... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：76 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１?Ｈａｄｏｏｐ?２．０平臺架構(gòu)??１．?ＨＤＦＳ??

才會運(yùn)行相應(yīng)的轉(zhuǎn)換操作。??ＲＤＤ數(shù)據(jù)集支持分區(qū)，即多個(gè)數(shù)據(jù)區(qū)塊可以存放在不同的區(qū)域，不同分區(qū)??之間可以相互依賴，形成的依賴關(guān)系包括窄依賴與寬依賴［２３１。如圖２－２所示，窄??依賴是一對一或者多對一的簡單映射關(guān)系，而寬依賴是多對多的復(fù)雜映射關(guān)系，??關(guān)系圖如圖２－２所示。ＲＤＤ的相應(yīng)操作會使ＲＤＤ間產(chǎn)生不同的依賴關(guān)系，例如??ｍａｐ和ｕｎｉｏｎ屬于窄依賴操作，而ｊｏｉｎ是寬依賴操作。??９??

均為ＣｅｎｔＯＳ?７．０；?ＪＤＫ環(huán)境為ＪＤＫ?８；?Ｈａｄｏｏｐ使用的版本為ＣＤＨ５．７．０，集群平??均數(shù)據(jù)處理能力為１０ＴＢ。??集群的部分服務(wù)器與節(jié)點(diǎn)關(guān)系結(jié)構(gòu)如圖２－３所示。??？：：丨Ｌ?Ｈａｄｏｏｐ集群環(huán)境??ｉ?Ｂｃｌｉｅｎｔ?ｌｌｓｗｉｔｃｈ?Ｉ??ｉｗ！?ｉ?：ｉ．?：?’??Ｌ：???圖２－３?Ｈａｄｏｏｐ集群環(huán)境圖??２．３．２平臺架構(gòu)??峰窩網(wǎng)絡(luò)大數(shù)椐平臺按照對數(shù)椐的處埋；石求來劃分，｜｜丨以劃分為數(shù)據(jù)采集模??塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)分析模塊和數(shù)據(jù)展小模塊這４部分，如閣２－４所示。每??一個(gè)模塊的具體組成與職責(zé)在卜＞而詳細(xì)介紹。??１．

【參考文獻(xiàn)】：
期刊論文
[1]聚類有效性評價(jià)新指標(biāo)[J]. 謝娟英,周穎,王明釗,姜煒亮.  智能系統(tǒng)學(xué)報(bào). 2017(06)
[2]函數(shù)型數(shù)據(jù)聚類分析研究綜述與展望[J]. 王德青,朱建平,劉曉葳,何凌云.  數(shù)理統(tǒng)計(jì)與管理. 2018(01)
[3]基于網(wǎng)頁快照的網(wǎng)頁預(yù)覽技術(shù)研究[J]. 李為民,李俊頡.  電子世界. 2017(06)
[4]蜂窩無線網(wǎng)絡(luò)大數(shù)據(jù)平臺設(shè)計(jì)與分析研究[J]. 張鵬,黃豪洲,張興.  郵電設(shè)計(jì)技術(shù). 2016(08)
[5]一種基于Sqoop的數(shù)據(jù)交換系統(tǒng)[J]. 于金良,朱志祥,梁小江.  物聯(lián)網(wǎng)技術(shù). 2016(03)
[6]一種基于視覺特性的PSNR圖像評價(jià)方法[J]. 豐明坤,趙生妹,邢超.  南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2015(04)
[7]基于向量皮爾森相關(guān)系數(shù)的組合賦權(quán)法[J]. 張峰,謝振華,程江濤,崔高侖,徐衡博.  火力與指揮控制. 2015(05)
[8]基于Spark+MLlib分布式學(xué)習(xí)算法的研究[J]. 李彥廣.  商洛學(xué)院學(xué)報(bào). 2015(02)
[9]基于Shark/Spark的分布式空間數(shù)據(jù)分析框架[J]. 溫馨,羅侃,陳榮國.  地球信息科學(xué)學(xué)報(bào). 2015(04)
[10]大數(shù)據(jù)處理模型Apache Spark研究[J]. 黎文陽.  現(xiàn)代計(jì)算機(jī)(專業(yè)版). 2015(08)

博士論文
[1]下一代移動(dòng)通信網(wǎng)絡(luò)中的業(yè)務(wù)特征認(rèn)知及服務(wù)機(jī)制研究[D]. 周軒.浙江大學(xué) 2015
[2]基于Hadoop的網(wǎng)絡(luò)流量分析系統(tǒng)的研究與應(yīng)用[D]. 喬媛媛.北京郵電大學(xué) 2014

碩士論文
[1]基于空間SSIM度量的ROI提取用于圖像優(yōu)化分類方法[D]. 楊賽舟.湘潭大學(xué) 2016
[2]基于代價(jià)模型的Spark SQL查詢優(yōu)化研究[D]. 劉春雷.電子科技大學(xué) 2016
[3]基于詞向量的搜索詞分類、聚類研究[D]. 楊河彬.華東師范大學(xué) 2015
[4]基于Hadoop的無線網(wǎng)絡(luò)業(yè)務(wù)和用戶挖掘平臺的實(shí)現(xiàn)與應(yīng)用[D]. 張士蒙.北京郵電大學(xué) 2015
[5]基于大數(shù)據(jù)的網(wǎng)絡(luò)用戶行為分析[D]. 任思穎.北京郵電大學(xué) 2015
[6]基于Hadoop技術(shù)的電信大數(shù)據(jù)分析平臺的設(shè)計(jì)和實(shí)現(xiàn)[D]. 張國棟.上海交通大學(xué) 2014
[7]中文短文本主題分類方法研究[D]. 李洪圖.西北大學(xué) 2014
[8]福建省城市競爭力評價(jià)研究[D]. 張蕾蕾.廈門大學(xué) 2014
[9]面向移動(dòng)互聯(lián)網(wǎng)的業(yè)務(wù)分析和資源優(yōu)化系統(tǒng)實(shí)現(xiàn)[D]. 劉宗超.北京郵電大學(xué) 2014
[10]基于蜂窩網(wǎng)絡(luò)業(yè)務(wù)空時(shí)分布規(guī)律的高能效服務(wù)機(jī)制研究[D]. 關(guān)磊.北京郵電大學(xué) 2014



本文編號：2914400