近年來,隨著通訊行業(yè)數(shù)據(jù)量的急劇膨脹,通訊運營商越來越重視數(shù)據(jù)的價值,對大數(shù)據(jù)技術(shù)的要求越來越高。很多公司都開始利用其資源優(yōu)勢,挖掘數(shù)據(jù)價值,開拓屬于自己的核心業(yè)務(wù)。因為通訊業(yè)務(wù)種類繁多,系統(tǒng)繁雜,從而大數(shù)據(jù)平臺的運維成本也日漸提高。由此可見一個高性能的,安全可拓展的,便于管理的大數(shù)據(jù)管理系統(tǒng)的運用將有助企業(yè)免受繁瑣的系統(tǒng)運維之苦,特別是在通訊業(yè)務(wù)系統(tǒng)中,能夠助力企業(yè)專注于自身業(yè)務(wù)的開發(fā)。本文首先對已有的數(shù)據(jù)管理系統(tǒng)進行調(diào)研,分析其優(yōu)點和短板。針對其不太輕量,數(shù)據(jù)遷移的時效性不足,數(shù)據(jù)分析不夠創(chuàng)新等問題,設(shè)計出一款比較高效的、方便易用的大數(shù)據(jù)管理平臺。首先對大數(shù)據(jù)管理系統(tǒng)進行設(shè)計,根據(jù)大數(shù)據(jù)處理的流程,依托于通訊大數(shù)據(jù)平臺架構(gòu),設(shè)計了接口采集、程序調(diào)度、數(shù)據(jù)聚合、平臺告警、營銷分析、可視化六個模塊。管理系統(tǒng)主要在于數(shù)據(jù)的接入和數(shù)據(jù)的挖掘分析,所以本文的主要模塊是程序調(diào)度、數(shù)據(jù)聚合和營銷分析模塊,而其他模塊是基于企業(yè)原有的大數(shù)據(jù)管理系統(tǒng)做了少量改進。本文主要圍繞程序調(diào)度、數(shù)據(jù)聚合存儲和營銷分析模塊這三個模塊做了相關(guān)研究工作。因為大數(shù)據(jù)平臺對于數(shù)據(jù)的處理主要有生產(chǎn)環(huán)境和測試環(huán)境,除了生產(chǎn)環(huán)境的大數(shù)據(jù)集群,本文基于云計算容器技術(shù)創(chuàng)建業(yè)務(wù)測試環(huán)境,包括搭建相應(yīng)的docker容器集群。接著設(shè)計并搭建了相應(yīng)的調(diào)度模塊架構(gòu)流程,設(shè)計了相應(yīng)的調(diào)度規(guī)則和相關(guān)調(diào)度信息字段表,并改進了數(shù)據(jù)聚合存儲。程序調(diào)度模塊設(shè)計得更加輕量化便于使用,數(shù)據(jù)遷移模塊使數(shù)據(jù)遷移的時效性增加。在系統(tǒng)的營銷分析模塊中,我們在傳統(tǒng)的通訊數(shù)據(jù)倉庫的基礎(chǔ)上進行TopN產(chǎn)品實時銷量推薦,用大數(shù)據(jù)flink構(gòu)建實時數(shù)據(jù)倉庫業(yè)務(wù)應(yīng)用情景進行銷量分析,用深度學(xué)習(xí)DNN預(yù)測算法進行客戶業(yè)務(wù)數(shù)據(jù)預(yù)測。并且利用相關(guān)通訊實驗數(shù)據(jù),對相應(yīng)模塊進行實驗和測試,一系列測試驗證了管理系統(tǒng)的有效性。
【學(xué)位單位】：湖北工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2020
【中圖分類】：TP311.13;F626
【部分圖文】：

湖北工業(yè)大學(xué)碩士學(xué)位論文5第2章相關(guān)知識系統(tǒng)介紹2.1云計算云計算一種利用互聯(lián)網(wǎng)實現(xiàn)隨時隨地、按需、便捷地訪問共享資源池（如計算設(shè)施、存儲設(shè)備、應(yīng)用程序等）的計算模式。云計算模式具有按需自助服務(wù)、廣泛的網(wǎng)絡(luò)訪問、共享的資源池、快速彈性能力、可度量的服務(wù)等五個特點。云計算有4種部署方式：私有云、社區(qū)云、公有云、混合云。云服務(wù)體系架構(gòu)總共包含三個層次，在與計算日益成熟的今天，其已經(jīng)形成了一套完整的架構(gòu)體系，其系統(tǒng)結(jié)構(gòu)模型可詳見圖2-1。圖2-1云服務(wù)架構(gòu)體系第一部分是IaaS，即InfrastructureasaService，Iaas模式能通過供應(yīng)商得到所需計算、存儲資源來滿足裝載需求，僅僅支付一定費用來租賃資源，供應(yīng)商能給予有效的管理，幫助用戶省去大量麻煩。第二部分是PaaS模式，平臺及服務(wù)。程序員在一個平臺，此平臺提供軟件開發(fā)工具包、文檔及運行環(huán)境以助于完成各項目的開發(fā)、調(diào)試及運行。第三部分是SoftwareasaService，簡稱為SaaS，軟件即服務(wù)。以web的形式將云上的程序和應(yīng)用讓用戶使用，是既已完成的軟件服務(wù)。

湖北工業(yè)大學(xué)碩士學(xué)位論文7圖2-2通訊數(shù)據(jù)倉庫架構(gòu)圖通過制定模型設(shè)計規(guī)范，幫助模型設(shè)計人員在模型設(shè)計過程能達到思想統(tǒng)一，設(shè)計出的模型更易理解，易用。不同的層數(shù)都有不同的作用和功能，每個層數(shù)的定義如下圖所示：ODS數(shù)據(jù)接口層：存放來自各個系統(tǒng)的原始數(shù)據(jù)，一般保留7天，不對數(shù)據(jù)做任何操作，ODS層的數(shù)據(jù)不會做壓縮操作。DWD數(shù)據(jù)整合層：對ODS層數(shù)據(jù)進行清洗、轉(zhuǎn)換，按主題域存儲數(shù)據(jù)，進行簡單的關(guān)聯(lián)。比如映射表的關(guān)聯(lián)，無法說明字段的意義，在這一層裁剪掉。DW業(yè)務(wù)匯總層：根據(jù)業(yè)務(wù)分析需求，并按二級主題域的數(shù)據(jù)進行匯總。應(yīng)用分析的話，原則上先使用DW，再訪問DWD層，最后訪問ODS層。DM信息子層：建立跨域的業(yè)務(wù)主題模型，比如中高端用戶、拍照用戶等，DM層不能進行同層引用。ST應(yīng)用層：針對前端進行設(shè)計，大部分的表都是匯總數(shù)據(jù)，沒有明細(xì)數(shù)據(jù)。2.2.2.基于Flink的數(shù)據(jù)流式計算為了解決日益增長的實時數(shù)據(jù)處理需求，一些公司正在將其部分大數(shù)據(jù)基礎(chǔ)架構(gòu)轉(zhuǎn)換為流式處理模型。基于流數(shù)據(jù)的基礎(chǔ)架構(gòu)不僅能夠更好地解決延遲敏感

湖北工業(yè)大學(xué)碩士學(xué)位論文9圖2-3計算窗口和會話窗口狀態(tài)大數(shù)據(jù)起源自批處理,Spark最初的定位就是改進Hadoop,更快速的進行批處理.Storm擅長的則是進行無狀態(tài)的流計算(在無狀態(tài)的流計算領(lǐng)域,它的延遲是最小的),而Flink則是Storm的下一代解決方案(當(dāng)然Flink的設(shè)計之初并不是改進storm),能夠進行高吞吐,低延遲(毫秒級)的有狀態(tài)流計算。我們知SparkStreaming也可以處理mini-batch的，但是卻要調(diào)度一個批處理作業(yè)，開銷大。Flink只需啟動一個流計算拓?fù)?處理持續(xù)不斷的數(shù)據(jù),Flink的處理延遲在毫秒級別.如果計算中涉及到多個網(wǎng)絡(luò)shuffle,Flink和spark之間的延遲差距會進一步拉大。2.3DNN網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)是基于感知機的擴展來的，DNN可以看作隱藏層多的神經(jīng)網(wǎng)絡(luò)模型，DNN也叫做多層感知機（Multi-Layerperceptron,MLP）。選擇DNN，是因為在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練層數(shù)較多時，容易出現(xiàn)計算資源不足和帶標(biāo)注的訓(xùn)練數(shù)據(jù)等問題，還會表現(xiàn)出梯度消失問題和梯度爆炸問題。DNN與NN主要的區(qū)別在于把sigmoid函數(shù)替換成了ReLU，maxout，克服了梯度消失的問題。根據(jù)不同層的位置來看，DNN內(nèi)部的神經(jīng)網(wǎng)絡(luò)層可以分為輸入層，隱藏層和輸出層三層。一般來說首層是輸入層，中間的層數(shù)全部是隱藏層，最后一層是輸出層（如下圖2-4）。
【參考文獻】

相關(guān)期刊論文 前10條

1 徐雅斌;孫曉晨;;位置社交網(wǎng)絡(luò)的個性化位置推薦[J];北京郵電大學(xué)學(xué)報;2015年05期

2 劉冬;;大數(shù)據(jù)時代企業(yè)管理的創(chuàng)新[J];中國商貿(mào);2014年32期

3 張會根;張博;趙煥芳;;基于大數(shù)據(jù)分析技術(shù)的智能運維體系探索[J];金融電子化;2014年12期

4 葉可江;吳朝暉;姜曉紅;何欽銘;;虛擬化云計算平臺的能耗管理[J];計算機學(xué)報;2012年06期

5 高文濤;郭明森;;Cloud Foundry:第一個開源Platform as a Service[J];科技傳播;2012年01期

6 吳勁松;陳孚;;云計算發(fā)展及應(yīng)用研究[J];廣西通信技術(shù);2011年02期

7 張建勛;古志民;鄭超;;云計算研究進展綜述[J];計算機應(yīng)用研究;2010年02期

8 蔡鍵;王樹梅;;基于Google的云計算實例分析[J];電腦知識與技術(shù);2009年25期

9 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學(xué)報;2009年05期

10 范昊;余婷;;一種新型的網(wǎng)絡(luò)分布式計算——云計算[J];高性能計算技術(shù);2008年06期

相關(guān)博士學(xué)位論文 前2條

1 許賀洋;云計算環(huán)境下的任務(wù)調(diào)度與虛擬機整合研究[D];電子科技大學(xué);2017年

2 徐昕;基于博弈論的云計算資源調(diào)度方法研究[D];華東理工大學(xué);2015年

相關(guān)碩士學(xué)位論文 前4條

1 陳大林;面向銀行應(yīng)用場景的大數(shù)據(jù)平臺管理系統(tǒng)設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2019年

2 王玲;云計算下任務(wù)調(diào)度算法的研究與實現(xiàn)[D];電子科技大學(xué);2016年

3 宋樂怡;海量出租車軌跡數(shù)據(jù)分析與位置推薦服務(wù)[D];華東師范大學(xué);2015年

4 楊小曄;IT運維管理平臺的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2011年

本文編號：2878602