基于Spark的電信客戶細分數(shù)據(jù)分析平臺實現(xiàn)和應用
發(fā)布時間:2021-07-08 12:57
伴隨著移動互聯(lián)網(wǎng)、智能終端、云計算、人工智能技術(shù)的發(fā)展,大數(shù)據(jù)時代已經(jīng)來臨。大數(shù)據(jù)技術(shù)正在快速發(fā)展,給很多傳統(tǒng)企業(yè)帶來了新的機遇和挑戰(zhàn)。電信運營商天然的具有海量數(shù)據(jù)資源,運用大數(shù)據(jù)技術(shù)構(gòu)建客戶細分數(shù)據(jù)分析平臺,挖掘用戶特征,提供精準營銷、客戶挽留等多種營銷服務,這些對于電信運營商而言是大數(shù)據(jù)時代的重大機遇和挑戰(zhàn)。電信市場競爭激烈,服務同質(zhì)化,以客戶為中心的經(jīng)營模式是電信運營商的必然選擇?蛻艏毞帜軌蛏钊敕治隹蛻籼卣骱托枨,為客戶提供差異化服務,提升產(chǎn)品和服務質(zhì)量。作為平臺設計實現(xiàn)的準備工作,本文首先介紹了大數(shù)據(jù)相關(guān)技術(shù),然后介紹了電信運營商大數(shù)據(jù)分析應用概況,最后描述了電信客戶細分研究現(xiàn)狀以及客戶細分對于電信運營商的重要意義。本文的研究重點是基于Spark的電信客戶細分數(shù)據(jù)分析平臺實現(xiàn)和應用。本文將電信客戶細分數(shù)據(jù)分析平臺劃分為數(shù)據(jù)采集及預處理模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)分析模塊和可視化模塊,創(chuàng)新性完成了每個模塊的設計和實現(xiàn)。本文通過客戶忠誠度細分、客戶價值細分和客戶興趣偏好細分三個不同維度的細分來進行客戶細分數(shù)據(jù)分析,實現(xiàn)客戶細分功能。最后,為了提高平臺的應用范圍,通過電信運營商大數(shù)據(jù)應...
【文章來源】:北京郵電大學北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】:78 頁
【學位級別】:碩士
【部分圖文】:
圖2-2?Logstash結(jié)構(gòu)圖??
應用等不同來源的數(shù)據(jù);Logstash的filter插件能夠試試的解析數(shù)據(jù)、處理數(shù)據(jù),??可以將數(shù)據(jù)按照用戶的要求構(gòu)建數(shù)據(jù)結(jié)構(gòu)、轉(zhuǎn)換格式,為后續(xù)的分析打下基礎;??output輸出插件可以通過用戶的設置實現(xiàn)不同存儲方式的輸出。如圖2-2所示,??是Logstash的工作流程圖,Logstash為了適配復雜的應用場景,提供了對接不同??數(shù)據(jù)源、數(shù)據(jù)管道、數(shù)據(jù)庫的插件的input、filters和output插件,能夠?qū)崿F(xiàn)強大??的功能[17]。??,居?3輸入插件H過濾插件^[輸出插件|?<jja^tics^h)???^??圖2-2?Logstash結(jié)構(gòu)圖??2.1.2數(shù)據(jù)存儲技術(shù)??大數(shù)據(jù)時代,傳統(tǒng)的文件存儲、數(shù)據(jù)庫存儲技術(shù)以及無法滿足日益增長的數(shù)??據(jù)存儲、系統(tǒng)容錯、并發(fā)性訪問等等需求。通過分布式的存儲架構(gòu)采用大量的廉??6??
設置Flume配置文件來組合不同的數(shù)據(jù)源、管道和目的地,從而適配具體的業(yè)務??場景,達到高可用的目的[15]。??圖2-1?Flume基礎結(jié)構(gòu)圖??2、Logstash??Logstash是一個用來進行日志收集管理的工具,從數(shù)據(jù)源采集數(shù)據(jù),按照使??用者的規(guī)定輸出到目的地[16]。Logstash主要和Elasticsearch、Kiabana構(gòu)成ELK??(Elasticsearch,Logstash,Kibana)系統(tǒng),用來進行日志分析,可以分布式收集數(shù)??據(jù)、處理數(shù)據(jù)和可視化展示數(shù)據(jù),功能強大,應用廣泛。下面主要介紹Logstash??的輸入(input?plugin)、過濾器(filter?plugin)和輸出(output?plugin)三個構(gòu)成??組件。??Logstash之所以功能強大,因為其構(gòu)成組件可以自由組合,應用場景豐富。??對于input插件而言,能夠采集各種數(shù)據(jù)樣式、不同數(shù)據(jù)量的數(shù)據(jù),并且支持不??同數(shù)據(jù)源,例如用戶日志、后臺服務器、Web(WorldWideWeb,即全球廣域網(wǎng))??應用等不同來源的數(shù)據(jù);Logstash的filter插件能夠試試的解析數(shù)據(jù)、處理數(shù)據(jù),??可以將數(shù)據(jù)按照用戶的要求構(gòu)建數(shù)據(jù)結(jié)構(gòu)、轉(zhuǎn)換格式
【參考文獻】:
期刊論文
[1]基于Hive的大數(shù)據(jù)在線分析處理[J]. 陳耀旺,朱寧,施揚朋. 計算機時代. 2018(01)
[2]電信運營商大數(shù)據(jù)平臺建設方案與典型應用探討[J]. 胡舉,賀治國,周鼎. 信息通信. 2017(10)
[3]基于大數(shù)據(jù)技術(shù)的服務器日志采集分析方法[J]. 彭騫,黨引,李斌. 電力大數(shù)據(jù). 2017(08)
[4]Hadoop架構(gòu)下原生Hbase、Hive、Lealone、Phoenix等各操作組件的比較[J]. 馬曉亮,田豐. 廣東通信技術(shù). 2017(03)
[5]我國大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢[J]. 潘文. 領(lǐng)導科學論壇. 2017(04)
[6]大數(shù)據(jù)流式計算系統(tǒng)研究綜述[J]. 李圣,黃永忠,陳海勇. 信息工程大學學報. 2016(01)
[7]電信運營商大數(shù)據(jù)系統(tǒng)建設初探[J]. 溫文波. 中國新通信. 2015(03)
[8]大數(shù)據(jù)及其在電信運營中的應用研究[J]. 胡舜耕,魏進武. 電信技術(shù). 2015(01)
[9]移動互聯(lián)網(wǎng)研究綜述[J]. 吳吉義,李文娟,黃劍平,章劍林,陳德人. 中國科學:信息科學. 2015(01)
[10]大數(shù)據(jù)系統(tǒng)綜述[J]. 李學龍,龔海剛. 中國科學:信息科學. 2015(01)
碩士論文
[1]鍵值數(shù)據(jù)庫在云計算中的應用與實現(xiàn)[D]. 趙鑫.電子科技大學 2015
[2]基于大數(shù)據(jù)的客戶細分模型及精確營銷策略研究[D]. 楊茜.南京郵電大學 2015
[3]國內(nèi)電信運營商集團客戶關(guān)系管理研究[D]. 朱云鶴.北京郵電大學 2014
[4]面向大規(guī)模批量日志數(shù)據(jù)存儲方法的研究[D]. 王兆永.電子科技大學 2011
本文編號:3271614
【文章來源】:北京郵電大學北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】:78 頁
【學位級別】:碩士
【部分圖文】:
圖2-2?Logstash結(jié)構(gòu)圖??
應用等不同來源的數(shù)據(jù);Logstash的filter插件能夠試試的解析數(shù)據(jù)、處理數(shù)據(jù),??可以將數(shù)據(jù)按照用戶的要求構(gòu)建數(shù)據(jù)結(jié)構(gòu)、轉(zhuǎn)換格式,為后續(xù)的分析打下基礎;??output輸出插件可以通過用戶的設置實現(xiàn)不同存儲方式的輸出。如圖2-2所示,??是Logstash的工作流程圖,Logstash為了適配復雜的應用場景,提供了對接不同??數(shù)據(jù)源、數(shù)據(jù)管道、數(shù)據(jù)庫的插件的input、filters和output插件,能夠?qū)崿F(xiàn)強大??的功能[17]。??,居?3輸入插件H過濾插件^[輸出插件|?<jja^tics^h)???^??圖2-2?Logstash結(jié)構(gòu)圖??2.1.2數(shù)據(jù)存儲技術(shù)??大數(shù)據(jù)時代,傳統(tǒng)的文件存儲、數(shù)據(jù)庫存儲技術(shù)以及無法滿足日益增長的數(shù)??據(jù)存儲、系統(tǒng)容錯、并發(fā)性訪問等等需求。通過分布式的存儲架構(gòu)采用大量的廉??6??
設置Flume配置文件來組合不同的數(shù)據(jù)源、管道和目的地,從而適配具體的業(yè)務??場景,達到高可用的目的[15]。??圖2-1?Flume基礎結(jié)構(gòu)圖??2、Logstash??Logstash是一個用來進行日志收集管理的工具,從數(shù)據(jù)源采集數(shù)據(jù),按照使??用者的規(guī)定輸出到目的地[16]。Logstash主要和Elasticsearch、Kiabana構(gòu)成ELK??(Elasticsearch,Logstash,Kibana)系統(tǒng),用來進行日志分析,可以分布式收集數(shù)??據(jù)、處理數(shù)據(jù)和可視化展示數(shù)據(jù),功能強大,應用廣泛。下面主要介紹Logstash??的輸入(input?plugin)、過濾器(filter?plugin)和輸出(output?plugin)三個構(gòu)成??組件。??Logstash之所以功能強大,因為其構(gòu)成組件可以自由組合,應用場景豐富。??對于input插件而言,能夠采集各種數(shù)據(jù)樣式、不同數(shù)據(jù)量的數(shù)據(jù),并且支持不??同數(shù)據(jù)源,例如用戶日志、后臺服務器、Web(WorldWideWeb,即全球廣域網(wǎng))??應用等不同來源的數(shù)據(jù);Logstash的filter插件能夠試試的解析數(shù)據(jù)、處理數(shù)據(jù),??可以將數(shù)據(jù)按照用戶的要求構(gòu)建數(shù)據(jù)結(jié)構(gòu)、轉(zhuǎn)換格式
【參考文獻】:
期刊論文
[1]基于Hive的大數(shù)據(jù)在線分析處理[J]. 陳耀旺,朱寧,施揚朋. 計算機時代. 2018(01)
[2]電信運營商大數(shù)據(jù)平臺建設方案與典型應用探討[J]. 胡舉,賀治國,周鼎. 信息通信. 2017(10)
[3]基于大數(shù)據(jù)技術(shù)的服務器日志采集分析方法[J]. 彭騫,黨引,李斌. 電力大數(shù)據(jù). 2017(08)
[4]Hadoop架構(gòu)下原生Hbase、Hive、Lealone、Phoenix等各操作組件的比較[J]. 馬曉亮,田豐. 廣東通信技術(shù). 2017(03)
[5]我國大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢[J]. 潘文. 領(lǐng)導科學論壇. 2017(04)
[6]大數(shù)據(jù)流式計算系統(tǒng)研究綜述[J]. 李圣,黃永忠,陳海勇. 信息工程大學學報. 2016(01)
[7]電信運營商大數(shù)據(jù)系統(tǒng)建設初探[J]. 溫文波. 中國新通信. 2015(03)
[8]大數(shù)據(jù)及其在電信運營中的應用研究[J]. 胡舜耕,魏進武. 電信技術(shù). 2015(01)
[9]移動互聯(lián)網(wǎng)研究綜述[J]. 吳吉義,李文娟,黃劍平,章劍林,陳德人. 中國科學:信息科學. 2015(01)
[10]大數(shù)據(jù)系統(tǒng)綜述[J]. 李學龍,龔海剛. 中國科學:信息科學. 2015(01)
碩士論文
[1]鍵值數(shù)據(jù)庫在云計算中的應用與實現(xiàn)[D]. 趙鑫.電子科技大學 2015
[2]基于大數(shù)據(jù)的客戶細分模型及精確營銷策略研究[D]. 楊茜.南京郵電大學 2015
[3]國內(nèi)電信運營商集團客戶關(guān)系管理研究[D]. 朱云鶴.北京郵電大學 2014
[4]面向大規(guī)模批量日志數(shù)據(jù)存儲方法的研究[D]. 王兆永.電子科技大學 2011
本文編號:3271614
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3271614.html
最近更新
教材專著