基于Spark的電信客戶細分數據分析平臺實現(xiàn)和應用
發(fā)布時間:2021-07-08 12:57
伴隨著移動互聯(lián)網、智能終端、云計算、人工智能技術的發(fā)展,大數據時代已經來臨。大數據技術正在快速發(fā)展,給很多傳統(tǒng)企業(yè)帶來了新的機遇和挑戰(zhàn)。電信運營商天然的具有海量數據資源,運用大數據技術構建客戶細分數據分析平臺,挖掘用戶特征,提供精準營銷、客戶挽留等多種營銷服務,這些對于電信運營商而言是大數據時代的重大機遇和挑戰(zhàn)。電信市場競爭激烈,服務同質化,以客戶為中心的經營模式是電信運營商的必然選擇。客戶細分能夠深入分析客戶特征和需求,為客戶提供差異化服務,提升產品和服務質量。作為平臺設計實現(xiàn)的準備工作,本文首先介紹了大數據相關技術,然后介紹了電信運營商大數據分析應用概況,最后描述了電信客戶細分研究現(xiàn)狀以及客戶細分對于電信運營商的重要意義。本文的研究重點是基于Spark的電信客戶細分數據分析平臺實現(xiàn)和應用。本文將電信客戶細分數據分析平臺劃分為數據采集及預處理模塊、數據存儲模塊、數據分析模塊和可視化模塊,創(chuàng)新性完成了每個模塊的設計和實現(xiàn)。本文通過客戶忠誠度細分、客戶價值細分和客戶興趣偏好細分三個不同維度的細分來進行客戶細分數據分析,實現(xiàn)客戶細分功能。最后,為了提高平臺的應用范圍,通過電信運營商大數據應...
【文章來源】:北京郵電大學北京市 211工程院校 教育部直屬院校
【文章頁數】:78 頁
【學位級別】:碩士
【部分圖文】:
圖2-2?Logstash結構圖??
應用等不同來源的數據;Logstash的filter插件能夠試試的解析數據、處理數據,??可以將數據按照用戶的要求構建數據結構、轉換格式,為后續(xù)的分析打下基礎;??output輸出插件可以通過用戶的設置實現(xiàn)不同存儲方式的輸出。如圖2-2所示,??是Logstash的工作流程圖,Logstash為了適配復雜的應用場景,提供了對接不同??數據源、數據管道、數據庫的插件的input、filters和output插件,能夠實現(xiàn)強大??的功能[17]。??,居?3輸入插件H過濾插件^[輸出插件|?<jja^tics^h)???^??圖2-2?Logstash結構圖??2.1.2數據存儲技術??大數據時代,傳統(tǒng)的文件存儲、數據庫存儲技術以及無法滿足日益增長的數??據存儲、系統(tǒng)容錯、并發(fā)性訪問等等需求。通過分布式的存儲架構采用大量的廉??6??
設置Flume配置文件來組合不同的數據源、管道和目的地,從而適配具體的業(yè)務??場景,達到高可用的目的[15]。??圖2-1?Flume基礎結構圖??2、Logstash??Logstash是一個用來進行日志收集管理的工具,從數據源采集數據,按照使??用者的規(guī)定輸出到目的地[16]。Logstash主要和Elasticsearch、Kiabana構成ELK??(Elasticsearch,Logstash,Kibana)系統(tǒng),用來進行日志分析,可以分布式收集數??據、處理數據和可視化展示數據,功能強大,應用廣泛。下面主要介紹Logstash??的輸入(input?plugin)、過濾器(filter?plugin)和輸出(output?plugin)三個構成??組件。??Logstash之所以功能強大,因為其構成組件可以自由組合,應用場景豐富。??對于input插件而言,能夠采集各種數據樣式、不同數據量的數據,并且支持不??同數據源,例如用戶日志、后臺服務器、Web(WorldWideWeb,即全球廣域網)??應用等不同來源的數據;Logstash的filter插件能夠試試的解析數據、處理數據,??可以將數據按照用戶的要求構建數據結構、轉換格式
【參考文獻】:
期刊論文
[1]基于Hive的大數據在線分析處理[J]. 陳耀旺,朱寧,施揚朋. 計算機時代. 2018(01)
[2]電信運營商大數據平臺建設方案與典型應用探討[J]. 胡舉,賀治國,周鼎. 信息通信. 2017(10)
[3]基于大數據技術的服務器日志采集分析方法[J]. 彭騫,黨引,李斌. 電力大數據. 2017(08)
[4]Hadoop架構下原生Hbase、Hive、Lealone、Phoenix等各操作組件的比較[J]. 馬曉亮,田豐. 廣東通信技術. 2017(03)
[5]我國大數據發(fā)展現(xiàn)狀與趨勢[J]. 潘文. 領導科學論壇. 2017(04)
[6]大數據流式計算系統(tǒng)研究綜述[J]. 李圣,黃永忠,陳海勇. 信息工程大學學報. 2016(01)
[7]電信運營商大數據系統(tǒng)建設初探[J]. 溫文波. 中國新通信. 2015(03)
[8]大數據及其在電信運營中的應用研究[J]. 胡舜耕,魏進武. 電信技術. 2015(01)
[9]移動互聯(lián)網研究綜述[J]. 吳吉義,李文娟,黃劍平,章劍林,陳德人. 中國科學:信息科學. 2015(01)
[10]大數據系統(tǒng)綜述[J]. 李學龍,龔海剛. 中國科學:信息科學. 2015(01)
碩士論文
[1]鍵值數據庫在云計算中的應用與實現(xiàn)[D]. 趙鑫.電子科技大學 2015
[2]基于大數據的客戶細分模型及精確營銷策略研究[D]. 楊茜.南京郵電大學 2015
[3]國內電信運營商集團客戶關系管理研究[D]. 朱云鶴.北京郵電大學 2014
[4]面向大規(guī)模批量日志數據存儲方法的研究[D]. 王兆永.電子科技大學 2011
本文編號:3271614
【文章來源】:北京郵電大學北京市 211工程院校 教育部直屬院校
【文章頁數】:78 頁
【學位級別】:碩士
【部分圖文】:
圖2-2?Logstash結構圖??
應用等不同來源的數據;Logstash的filter插件能夠試試的解析數據、處理數據,??可以將數據按照用戶的要求構建數據結構、轉換格式,為后續(xù)的分析打下基礎;??output輸出插件可以通過用戶的設置實現(xiàn)不同存儲方式的輸出。如圖2-2所示,??是Logstash的工作流程圖,Logstash為了適配復雜的應用場景,提供了對接不同??數據源、數據管道、數據庫的插件的input、filters和output插件,能夠實現(xiàn)強大??的功能[17]。??,居?3輸入插件H過濾插件^[輸出插件|?<jja^tics^h)???^??圖2-2?Logstash結構圖??2.1.2數據存儲技術??大數據時代,傳統(tǒng)的文件存儲、數據庫存儲技術以及無法滿足日益增長的數??據存儲、系統(tǒng)容錯、并發(fā)性訪問等等需求。通過分布式的存儲架構采用大量的廉??6??
設置Flume配置文件來組合不同的數據源、管道和目的地,從而適配具體的業(yè)務??場景,達到高可用的目的[15]。??圖2-1?Flume基礎結構圖??2、Logstash??Logstash是一個用來進行日志收集管理的工具,從數據源采集數據,按照使??用者的規(guī)定輸出到目的地[16]。Logstash主要和Elasticsearch、Kiabana構成ELK??(Elasticsearch,Logstash,Kibana)系統(tǒng),用來進行日志分析,可以分布式收集數??據、處理數據和可視化展示數據,功能強大,應用廣泛。下面主要介紹Logstash??的輸入(input?plugin)、過濾器(filter?plugin)和輸出(output?plugin)三個構成??組件。??Logstash之所以功能強大,因為其構成組件可以自由組合,應用場景豐富。??對于input插件而言,能夠采集各種數據樣式、不同數據量的數據,并且支持不??同數據源,例如用戶日志、后臺服務器、Web(WorldWideWeb,即全球廣域網)??應用等不同來源的數據;Logstash的filter插件能夠試試的解析數據、處理數據,??可以將數據按照用戶的要求構建數據結構、轉換格式
【參考文獻】:
期刊論文
[1]基于Hive的大數據在線分析處理[J]. 陳耀旺,朱寧,施揚朋. 計算機時代. 2018(01)
[2]電信運營商大數據平臺建設方案與典型應用探討[J]. 胡舉,賀治國,周鼎. 信息通信. 2017(10)
[3]基于大數據技術的服務器日志采集分析方法[J]. 彭騫,黨引,李斌. 電力大數據. 2017(08)
[4]Hadoop架構下原生Hbase、Hive、Lealone、Phoenix等各操作組件的比較[J]. 馬曉亮,田豐. 廣東通信技術. 2017(03)
[5]我國大數據發(fā)展現(xiàn)狀與趨勢[J]. 潘文. 領導科學論壇. 2017(04)
[6]大數據流式計算系統(tǒng)研究綜述[J]. 李圣,黃永忠,陳海勇. 信息工程大學學報. 2016(01)
[7]電信運營商大數據系統(tǒng)建設初探[J]. 溫文波. 中國新通信. 2015(03)
[8]大數據及其在電信運營中的應用研究[J]. 胡舜耕,魏進武. 電信技術. 2015(01)
[9]移動互聯(lián)網研究綜述[J]. 吳吉義,李文娟,黃劍平,章劍林,陳德人. 中國科學:信息科學. 2015(01)
[10]大數據系統(tǒng)綜述[J]. 李學龍,龔海剛. 中國科學:信息科學. 2015(01)
碩士論文
[1]鍵值數據庫在云計算中的應用與實現(xiàn)[D]. 趙鑫.電子科技大學 2015
[2]基于大數據的客戶細分模型及精確營銷策略研究[D]. 楊茜.南京郵電大學 2015
[3]國內電信運營商集團客戶關系管理研究[D]. 朱云鶴.北京郵電大學 2014
[4]面向大規(guī)模批量日志數據存儲方法的研究[D]. 王兆永.電子科技大學 2011
本文編號:3271614
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3271614.html
最近更新
教材專著