隨著移動互聯網的興起,電信運行商的用戶激增,所擁有的用戶數量達到了億級。電信運營商一個部門的月使用數據量就達到了 PB級別,并且運營商內部越來越多的部門也發(fā)現了巨量數據所帶來的應用價值。聯通原有的Spark大數據平臺僅為一項業(yè)務提供支撐,且各類操作必須通過命令行進行交互,對新的用戶不是很友好,學習成本也相對較高,若使用人數增多還會帶來資源管理混亂問題。為支持多個部門的大數據作業(yè),需要將原有的Spark平臺升級改造為多租戶資源共享平臺,因此確立了 Spark大數據共享平臺項目的開發(fā)。作者在項目開發(fā)過程中首先參與了項目的可行性分析與需求分析,分析平臺的各項需求,確立項目總體目標。根據平臺需求將平臺劃分為數據倉庫管理模塊、計算任務管理模塊、內存文件管理模塊、平臺監(jiān)控模塊以及用戶管理模塊。其次在概要設計中,作者依據平臺需求分析設計了平臺總體架構、執(zhí)行流程及數據庫表,并畫出平臺架構圖、模塊層次圖及數據庫實體聯系圖。在概要設計基礎上進行平臺詳細設計,作者采用Spark計算引擎、Hive數據倉庫、MySQL數據庫、InfluxDB時序庫及Akka工具包等設計并開發(fā)了平臺各模塊組件。針對數據倉庫管理模... 

【文章來源】：北京交通大學北京市 211工程院校 教育部直屬院校

【文章頁數】：84 頁

【學位級別】：碩士

【部分圖文】：

圖３－１平臺數據流圖??Ｆｉｇｕｒｅ?３－１?Ｐｌａｔｆｏｒｍ?Ｄａｔａ?Ｆｌｏｗ?Ｄｉａｇｒａｍ??

圖３－３內存文件管理用例圖??Ｆｉｇｕｒｅ?３－３?Ｍｅｍｏｒｙ?Ｆｉｌｅ?Ｍａｎａｇｅｍｅｎｔ?Ｕｓｅ?Ｃａｓｅ?Ｄｉａｇｒａｍ??數據管理功能具體包括數據掛載、數據錄入和數據刪除等

圖４－１平臺架構圖??Ｆｉｇｕｒｅ?４＿１?Ｐｌａｔｆｏｒｍ?Ａｒｃｈｉｔｅｃｔｕｒｅ?Ｄｉａｇｒａｍ??系統總共有四層，分別為數據源、存儲層、計算層和應用層

【參考文獻】：
期刊論文
[1]基于Alluxio的異步存儲優(yōu)化[J]. 溫東新,董文菁,曹瑞,張展.  東南大學學報(自然科學版). 2018(02)
[2]國外電信運營商大數據應用模式的啟示[J]. 王強.  世界電信. 2017(03)
[3]Big Data and Data Science:Opportunities and Challenges of iSchools[J]. Il-Yeol Song,Yongjun Zhu.  Journal of Data and Information Science. 2017(03)
[4]一個健強的AKKA和Spark支持的大數據結構設計策略[J]. 嚴錕,蘭奎,鄒學利.  決策咨詢. 2017(01)
[5]國外電信運營商大數據應用及啟示[J]. 鄭雪菲.  移動通信. 2015(13)
[6]電信運營商大數據應用模式探討[J]. 劉琳,何智平.  江蘇通信. 2015(01)
[7]電信行業(yè)大數據應用淺析[J]. 盧云許.  信息系統工程. 2013(12)
[8]電信運營商急需玩轉大數據[J]. 張力平.  電信快報. 2013(11)
[9]電信運營商的綠色數據路[J]. 阮曉東.  新經濟導刊. 2013(06)

博士論文
[1]云數據中心流量調度機制研究[D]. 汪碩.北京郵電大學 2018

碩士論文
[1]互聯網金融數據平臺的設計與實現[D]. 揭杰.北京交通大學 2018
[2]基于Spark平臺的電信運行商收入分攤系統的設計與實現[D]. 張策.北京交通大學 2018
[3]基于Akka的分布式集群運維系統設計與實現[D]. 李斐.東南大學 2017
[4]基于Alluxio的數據高可用管理技術的研究與優(yōu)化[D]. 董文菁.哈爾濱工業(yè)大學 2017
[5]基于Akka的分布式實時流程式計算框架的設計與應用[D]. 陶運坤.東南大學 2015
[6]Web服務器集群負載均衡技術研究[D]. 買京京.中北大學 2008



本文編號：3110138