基于大數(shù)據(jù)的全業(yè)務(wù)積分系統(tǒng)及精準(zhǔn)營銷技術(shù)研發(fā)
發(fā)布時間:2020-05-30 14:01
【摘要】:在國家實施國企改革“不斷增強(qiáng)國有經(jīng)濟(jì)活力、控制力、影響力”的總體目標(biāo)下,電信運(yùn)營商積極探索市場化改革,進(jìn)行“劃小承包”,增強(qiáng)對一線員工的激勵,激發(fā)一線員工為客戶提供更好更優(yōu)質(zhì)的服務(wù),實現(xiàn)員工、企業(yè)和社會共贏的局面。目前管理上唯KPI化,導(dǎo)致一線員工為了完成KPI而被動工作,而存量客戶維系和新用戶的發(fā)展不能很好的協(xié)同。同時在員工激勵上不透明不及時,員工的積極性不能得到及時的激勵。在營銷工具和手段上,一線客戶經(jīng)理缺少精準(zhǔn)營銷的工具,采取人海戰(zhàn)術(shù)對客戶進(jìn)行輪番營銷,費(fèi)時費(fèi)力,形成目前營銷高成本低效率的局面。為解決目前運(yùn)營商存在的上述問題,運(yùn)營商啟動積分系統(tǒng)的建設(shè)。建設(shè)的主要內(nèi)容和功能包括四個子系統(tǒng):系統(tǒng)管理子系統(tǒng)、數(shù)據(jù)ETL子系統(tǒng)、積分子系統(tǒng)和精準(zhǔn)營銷子系統(tǒng)。其中系統(tǒng)管理子系統(tǒng)主要提供系統(tǒng)的基礎(chǔ)功能,為系統(tǒng)提供分權(quán)分域的權(quán)限控制,確保系統(tǒng)和數(shù)據(jù)的安全;數(shù)據(jù)ETL子系統(tǒng)主要基于Kettle實現(xiàn)數(shù)據(jù)采集、轉(zhuǎn)換和加載,實現(xiàn)多個異構(gòu)系統(tǒng)數(shù)據(jù)的接入和集成,并對數(shù)據(jù)采集的過程進(jìn)行監(jiān)測,確保數(shù)據(jù)采集的及時性、完整性和穩(wěn)定性;積分子系統(tǒng)采用數(shù)據(jù)倉庫技術(shù),建立積分規(guī)則模型,支撐積分計算規(guī)則靈活可配置,快速響應(yīng)市場營銷政策的調(diào)整,實現(xiàn)和支撐了對運(yùn)營商在公司層面全業(yè)務(wù)積分、收入和發(fā)展情況的多維度的可視化分析和探索;精準(zhǔn)營銷子系統(tǒng)采用大數(shù)據(jù)技術(shù),在原始特征的基礎(chǔ)上進(jìn)行客戶特征的豐富和拓展,為一線銷售人員提供一個完整鮮活的客戶畫像,采用本論文提煉的基于客戶細(xì)分的協(xié)同過濾計算模式,實現(xiàn)個性化的商機(jī)推薦,并且通過對營銷單的閉環(huán)管控,實現(xiàn)人機(jī)協(xié)作一體化的信息反饋和計算模型的不斷優(yōu)化。本論文采用大數(shù)據(jù)、數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)和可視化技術(shù)等技術(shù),設(shè)計了積分規(guī)則模型、數(shù)據(jù)倉庫三層模型和客戶畫像特征體系,并實現(xiàn)了全業(yè)務(wù)積分計算和責(zé)任田計算。同時本論文提出了基于客戶細(xì)分的隨機(jī)森林-協(xié)同推薦算法。該算法經(jīng)實驗驗證比普通協(xié)同過濾算法效率更高,以更小的K值達(dá)到最高的準(zhǔn)確率,從而減少運(yùn)算量和提升計算性能。論文的主要貢獻(xiàn)包括:1)以責(zé)任田為基礎(chǔ),將積分應(yīng)用于運(yùn)營商內(nèi)部的客戶經(jīng)理業(yè)績考核,統(tǒng)籌協(xié)同業(yè)務(wù)發(fā)展和存量經(jīng)營,有效支撐運(yùn)營商的市場運(yùn)營管理;2)在計算模式方面,充分結(jié)合客戶畫像特征和客戶訂購行為各自優(yōu)勢,“動”“靜”結(jié)合,提煉出基于客戶細(xì)分的協(xié)同過濾的計算模式;3)在客戶畫像上采用機(jī)器學(xué)習(xí)、統(tǒng)計和邏輯推理多種手段,進(jìn)行客戶特征的衍生;4)在系統(tǒng)工程方面,充分利用運(yùn)營商線下營銷能力,商機(jī)計算作為精準(zhǔn)營銷閉環(huán)管控的一環(huán),實現(xiàn)了外部信號的及時反饋和輸入,有利于及時調(diào)整和完善學(xué)習(xí)模型的特征信息。
【圖文】:
圖 2-1 MapReduce 洗牌和排序示意圖[26]同時 Hadoop 支持多種文件壓縮格式,以便節(jié)省存儲空間和網(wǎng)絡(luò)傳輸流量,,加快數(shù)據(jù)的讀取、寫入和網(wǎng)絡(luò)傳輸。總之,Hadoop 在處理大數(shù)據(jù)方面具有以下非常優(yōu)越的優(yōu)勢:1. 成本低:Hadoop 軟件是開源的,不需要支付購買軟件的成本。同時也可以運(yùn)行在 x86 的普通 PC 服務(wù)器集群上。2. 可靠性高:Hadoop 對數(shù)據(jù)存儲多份副本,可以確保數(shù)據(jù)存儲的可靠性。同時系統(tǒng)會自動監(jiān)測異常任務(wù),當(dāng)數(shù)據(jù)處理失敗后,會自動重新分配計算任務(wù)。3. 擴(kuò)展性好:Hadoop 可以存儲和分發(fā)橫跨成百上千的并行操作的廉價的服務(wù)器數(shù)據(jù)集群,同時在生產(chǎn)環(huán)境中,可以隨時添加節(jié)點進(jìn)入集群,操作方便簡單。2.4.2 HiveHive 是一個開源數(shù)據(jù)倉庫基于 Hadoop 構(gòu)建的解決方案。 Hive 支持用類似 SQL 的聲明性語言表達(dá)的查詢HiveQL,它們被編譯成在Hadoop上執(zhí)行的map-reduce作業(yè)。Hive
圖 2-2 Hive 模塊結(jié)構(gòu)圖[28]Hive 主要充當(dāng)數(shù)據(jù)倉庫建模層,管理數(shù)據(jù)倉庫的元數(shù)據(jù)。它一方面可以作為日報、周報、月報等統(tǒng)計分析報表的引擎;另一方面作為 Spark 和 HDFS 之間的一個中間層,為 Spark 提供數(shù)據(jù)服務(wù)。但由于 Hive 是基于 MapReduce 運(yùn)算,整個運(yùn)算過程非常耗時,在目前硬件資源價格相對容易獲取的情況下,且經(jīng)常會面臨客戶緊急需求而臨時跑數(shù)據(jù);或因系統(tǒng)故障需要重跑數(shù)據(jù),所以實際生產(chǎn)中一般都會選擇基于 Spark 進(jìn)行快速計算。2.4.3 SparkSpark 是一個用來實現(xiàn)快速而通用的集群計算的平臺[29]。最初是由加州大學(xué)柏克萊分校 AMPLab 所開發(fā)。相對于 MapReduce 會在運(yùn)行完工作后將中間結(jié)果數(shù)據(jù)存放到磁盤中,Spark 則直接基于內(nèi)存的計算技術(shù),能在數(shù)據(jù)尚未寫入硬盤時即在存儲器內(nèi)分析運(yùn)算,所以 Spark 相對于 MapReduce 會更高效。
【學(xué)位授予單位】:華南理工大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:F274;F626;TP311.13
本文編號:2688233
【圖文】:
圖 2-1 MapReduce 洗牌和排序示意圖[26]同時 Hadoop 支持多種文件壓縮格式,以便節(jié)省存儲空間和網(wǎng)絡(luò)傳輸流量,,加快數(shù)據(jù)的讀取、寫入和網(wǎng)絡(luò)傳輸。總之,Hadoop 在處理大數(shù)據(jù)方面具有以下非常優(yōu)越的優(yōu)勢:1. 成本低:Hadoop 軟件是開源的,不需要支付購買軟件的成本。同時也可以運(yùn)行在 x86 的普通 PC 服務(wù)器集群上。2. 可靠性高:Hadoop 對數(shù)據(jù)存儲多份副本,可以確保數(shù)據(jù)存儲的可靠性。同時系統(tǒng)會自動監(jiān)測異常任務(wù),當(dāng)數(shù)據(jù)處理失敗后,會自動重新分配計算任務(wù)。3. 擴(kuò)展性好:Hadoop 可以存儲和分發(fā)橫跨成百上千的并行操作的廉價的服務(wù)器數(shù)據(jù)集群,同時在生產(chǎn)環(huán)境中,可以隨時添加節(jié)點進(jìn)入集群,操作方便簡單。2.4.2 HiveHive 是一個開源數(shù)據(jù)倉庫基于 Hadoop 構(gòu)建的解決方案。 Hive 支持用類似 SQL 的聲明性語言表達(dá)的查詢HiveQL,它們被編譯成在Hadoop上執(zhí)行的map-reduce作業(yè)。Hive
圖 2-2 Hive 模塊結(jié)構(gòu)圖[28]Hive 主要充當(dāng)數(shù)據(jù)倉庫建模層,管理數(shù)據(jù)倉庫的元數(shù)據(jù)。它一方面可以作為日報、周報、月報等統(tǒng)計分析報表的引擎;另一方面作為 Spark 和 HDFS 之間的一個中間層,為 Spark 提供數(shù)據(jù)服務(wù)。但由于 Hive 是基于 MapReduce 運(yùn)算,整個運(yùn)算過程非常耗時,在目前硬件資源價格相對容易獲取的情況下,且經(jīng)常會面臨客戶緊急需求而臨時跑數(shù)據(jù);或因系統(tǒng)故障需要重跑數(shù)據(jù),所以實際生產(chǎn)中一般都會選擇基于 Spark 進(jìn)行快速計算。2.4.3 SparkSpark 是一個用來實現(xiàn)快速而通用的集群計算的平臺[29]。最初是由加州大學(xué)柏克萊分校 AMPLab 所開發(fā)。相對于 MapReduce 會在運(yùn)行完工作后將中間結(jié)果數(shù)據(jù)存放到磁盤中,Spark 則直接基于內(nèi)存的計算技術(shù),能在數(shù)據(jù)尚未寫入硬盤時即在存儲器內(nèi)分析運(yùn)算,所以 Spark 相對于 MapReduce 會更高效。
【學(xué)位授予單位】:華南理工大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:F274;F626;TP311.13
【參考文獻(xiàn)】
相關(guān)期刊論文 前1條
1 朱揚(yáng)勇;孫婧;;推薦系統(tǒng)研究進(jìn)展[J];計算機(jī)科學(xué)與探索;2015年05期
相關(guān)碩士學(xué)位論文 前2條
1 楊宇;基于深度學(xué)習(xí)特征的圖像推薦系統(tǒng)[D];電子科技大學(xué);2015年
2 陳達(dá);基于深度學(xué)習(xí)的推薦系統(tǒng)研究[D];北京郵電大學(xué);2014年
本文編號:2688233
本文鏈接:http://sikaile.net/guanlilunwen/yingxiaoguanlilunwen/2688233.html
最近更新
教材專著