隨著移動(dòng)互聯(lián)網(wǎng)的興起,電信運(yùn)行商的用戶激增,所擁有的用戶數(shù)量達(dá)到了億級(jí)。電信運(yùn)營(yíng)商一個(gè)部門(mén)的月使用數(shù)據(jù)量就達(dá)到了 PB級(jí)別,并且運(yùn)營(yíng)商內(nèi)部越來(lái)越多的部門(mén)也發(fā)現(xiàn)了巨量數(shù)據(jù)所帶來(lái)的應(yīng)用價(jià)值。聯(lián)通原有的Spark大數(shù)據(jù)平臺(tái)僅為一項(xiàng)業(yè)務(wù)提供支撐,且各類操作必須通過(guò)命令行進(jìn)行交互,對(duì)新的用戶不是很友好,學(xué)習(xí)成本也相對(duì)較高,若使用人數(shù)增多還會(huì)帶來(lái)資源管理混亂問(wèn)題。為支持多個(gè)部門(mén)的大數(shù)據(jù)作業(yè),需要將原有的Spark平臺(tái)升級(jí)改造為多租戶資源共享平臺(tái),因此確立了 Spark大數(shù)據(jù)共享平臺(tái)項(xiàng)目的開(kāi)發(fā)。作者在項(xiàng)目開(kāi)發(fā)過(guò)程中首先參與了項(xiàng)目的可行性分析與需求分析,分析平臺(tái)的各項(xiàng)需求,確立項(xiàng)目總體目標(biāo)。根據(jù)平臺(tái)需求將平臺(tái)劃分為數(shù)據(jù)倉(cāng)庫(kù)管理模塊、計(jì)算任務(wù)管理模塊、內(nèi)存文件管理模塊、平臺(tái)監(jiān)控模塊以及用戶管理模塊。其次在概要設(shè)計(jì)中,作者依據(jù)平臺(tái)需求分析設(shè)計(jì)了平臺(tái)總體架構(gòu)、執(zhí)行流程及數(shù)據(jù)庫(kù)表,并畫(huà)出平臺(tái)架構(gòu)圖、模塊層次圖及數(shù)據(jù)庫(kù)實(shí)體聯(lián)系圖。在概要設(shè)計(jì)基礎(chǔ)上進(jìn)行平臺(tái)詳細(xì)設(shè)計(jì),作者采用Spark計(jì)算引擎、Hive數(shù)據(jù)倉(cāng)庫(kù)、MySQL數(shù)據(jù)庫(kù)、InfluxDB時(shí)序庫(kù)及Akka工具包等設(shè)計(jì)并開(kāi)發(fā)了平臺(tái)各模塊組件。針對(duì)數(shù)據(jù)倉(cāng)庫(kù)管理模... 

【文章來(lái)源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：84 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖３－１平臺(tái)數(shù)據(jù)流圖??Ｆｉｇｕｒｅ?３－１?Ｐｌａｔｆｏｒｍ?Ｄａｔａ?Ｆｌｏｗ?Ｄｉａｇｒａｍ??

圖３－３內(nèi)存文件管理用例圖??Ｆｉｇｕｒｅ?３－３?Ｍｅｍｏｒｙ?Ｆｉｌｅ?Ｍａｎａｇｅｍｅｎｔ?Ｕｓｅ?Ｃａｓｅ?Ｄｉａｇｒａｍ??數(shù)據(jù)管理功能具體包括數(shù)據(jù)掛載、數(shù)據(jù)錄入和數(shù)據(jù)刪除等

圖４－１平臺(tái)架構(gòu)圖??Ｆｉｇｕｒｅ?４＿１?Ｐｌａｔｆｏｒｍ?Ａｒｃｈｉｔｅｃｔｕｒｅ?Ｄｉａｇｒａｍ??系統(tǒng)總共有四層，分別為數(shù)據(jù)源、存儲(chǔ)層、計(jì)算層和應(yīng)用層

【參考文獻(xiàn)】：
期刊論文
[1]基于Alluxio的異步存儲(chǔ)優(yōu)化[J]. 溫東新,董文菁,曹瑞,張展.  東南大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[2]國(guó)外電信運(yùn)營(yíng)商大數(shù)據(jù)應(yīng)用模式的啟示[J]. 王強(qiáng).  世界電信. 2017(03)
[3]Big Data and Data Science:Opportunities and Challenges of iSchools[J]. Il-Yeol Song,Yongjun Zhu.  Journal of Data and Information Science. 2017(03)
[4]一個(gè)健強(qiáng)的AKKA和Spark支持的大數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)策略[J]. 嚴(yán)錕,蘭奎,鄒學(xué)利.  決策咨詢. 2017(01)
[5]國(guó)外電信運(yùn)營(yíng)商大數(shù)據(jù)應(yīng)用及啟示[J]. 鄭雪菲.  移動(dòng)通信. 2015(13)
[6]電信運(yùn)營(yíng)商大數(shù)據(jù)應(yīng)用模式探討[J]. 劉琳,何智平.  江蘇通信. 2015(01)
[7]電信行業(yè)大數(shù)據(jù)應(yīng)用淺析[J]. 盧云許.  信息系統(tǒng)工程. 2013(12)
[8]電信運(yùn)營(yíng)商急需玩轉(zhuǎn)大數(shù)據(jù)[J]. 張力平.  電信快報(bào). 2013(11)
[9]電信運(yùn)營(yíng)商的綠色數(shù)據(jù)路[J]. 阮曉東.  新經(jīng)濟(jì)導(dǎo)刊. 2013(06)

博士論文
[1]云數(shù)據(jù)中心流量調(diào)度機(jī)制研究[D]. 汪碩.北京郵電大學(xué) 2018

碩士論文
[1]互聯(lián)網(wǎng)金融數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 揭杰.北京交通大學(xué) 2018
[2]基于Spark平臺(tái)的電信運(yùn)行商收入分?jǐn)傁到y(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張策.北京交通大學(xué) 2018
[3]基于Akka的分布式集群運(yùn)維系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 李斐.東南大學(xué) 2017
[4]基于Alluxio的數(shù)據(jù)高可用管理技術(shù)的研究與優(yōu)化[D]. 董文菁.哈爾濱工業(yè)大學(xué) 2017
[5]基于Akka的分布式實(shí)時(shí)流程式計(jì)算框架的設(shè)計(jì)與應(yīng)用[D]. 陶運(yùn)坤.東南大學(xué) 2015
[6]Web服務(wù)器集群負(fù)載均衡技術(shù)研究[D]. 買京京.中北大學(xué) 2008



本文編號(hào)：3110138