【摘要】：隨著互聯(lián)網(wǎng)時(shí)代的發(fā)展,交互式網(wǎng)絡(luò)電視(IPTV)被運(yùn)營(yíng)商、互聯(lián)網(wǎng)企業(yè)等迅速推出,但由于IPTV業(yè)務(wù)目前處于推廣階段,存在不少應(yīng)用問(wèn)題,尤其是用戶體驗(yàn)不佳。為了提高用戶體驗(yàn)質(zhì)量并適應(yīng)大數(shù)據(jù)時(shí)代的到來(lái),運(yùn)營(yíng)商希望利用IPTV機(jī)頂盒采集到的關(guān)鍵績(jī)效指標(biāo)(KPI)數(shù)據(jù)建立用戶投訴預(yù)測(cè)系統(tǒng),即通過(guò)對(duì)KPI數(shù)據(jù)進(jìn)行數(shù)據(jù)分析并建立投訴預(yù)測(cè)模型,實(shí)時(shí)預(yù)測(cè)出潛在的投訴用戶,方便運(yùn)營(yíng)商的運(yùn)維人員及時(shí)聯(lián)系相關(guān)用戶并及時(shí)維修,從而提高用戶的體驗(yàn)質(zhì)量。本文從IPTV應(yīng)用背景出發(fā),結(jié)合報(bào)障指標(biāo)數(shù)據(jù)篩選、用戶投訴數(shù)據(jù)建模、投訴預(yù)測(cè)系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)三個(gè)部分,展開(kāi)一系列的研究。具體研究?jī)?nèi)容如下:(1)首先,針對(duì)IPTV的KPI數(shù)據(jù)進(jìn)行初步的數(shù)據(jù)預(yù)處理與指標(biāo)的初步篩選,然后基于PCA降維法提出相關(guān)性指標(biāo)計(jì)量值分析法—RePCA,對(duì)降維得到的指標(biāo)數(shù)據(jù)進(jìn)行反向分析,從而挑選出對(duì)投訴預(yù)測(cè)結(jié)果影響最大的指標(biāo)。其目的主要是在初步指標(biāo)篩選的基礎(chǔ)上進(jìn)一步減少數(shù)據(jù)的指標(biāo)數(shù)量,從而能夠減少預(yù)測(cè)分類處理時(shí)的計(jì)算量,使投訴預(yù)測(cè)系統(tǒng)具有實(shí)時(shí)性。(2)其次,針對(duì)IPTV機(jī)頂盒KPI數(shù)據(jù)的非均衡性特點(diǎn),論文從算法層面分別提出EMCNE方法和SVM-KNN方法進(jìn)行數(shù)據(jù)建模。在EMCNE方法中,著重解決了未報(bào)障(投訴)數(shù)據(jù)類內(nèi)不均衡問(wèn)題,并把測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)之間的空間特性考慮到了集成規(guī)則之中;在SVM-KNN方法中,使用了數(shù)據(jù)的空間距離的特性和報(bào)障數(shù)據(jù)權(quán)重相結(jié)合的方法來(lái)解決KPI數(shù)據(jù)的非均衡問(wèn)題。實(shí)驗(yàn)結(jié)果表明,上述兩種方法與傳統(tǒng)的集成規(guī)則相比,在性能評(píng)判指標(biāo)使用AUC的情況下均提高了40%,且SVM-KNN效果稍好。(3)最后,將建模部分得到的投訴預(yù)測(cè)模型應(yīng)用到Spark平臺(tái)并和前端頁(yè)面相結(jié)合,構(gòu)成IPTV用戶投訴預(yù)測(cè)系統(tǒng),方便運(yùn)維人員及時(shí)發(fā)現(xiàn)預(yù)報(bào)障用戶并及時(shí)聯(lián)系或者維修,從而促進(jìn)IPTV的市場(chǎng)推廣和提高用戶體驗(yàn)。
【圖文】：

大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文 第二章 相關(guān)背景知識(shí)介用 SparkSQL時(shí)會(huì)創(chuàng)建 SQLContext，使用 SparkStreaming 時(shí)會(huì)創(chuàng)建 StreamingConteontext 在使用時(shí)可以通過(guò) SparkConf 配置相關(guān)的使用參數(shù)。SparkContext 的組建主rkConf、SparkEnv、LiveListenerBus、JobProgressListener、SparkUI、TaskScheduheduler 、 ExecutorAllocationManager 、 ContextClearner 、 SparkStatusTrackeConfiguration。

圖 2.2 Spark MLlib 系統(tǒng)圖 Spark Streaming由于在原始數(shù)據(jù)產(chǎn)生之后立即進(jìn)行分析處理后所產(chǎn)生的使用價(jià)值是最大的，數(shù)據(jù)產(chǎn)生置的越久其可利用信息的價(jià)值就越低。在實(shí)際的業(yè)務(wù)場(chǎng)景之中，有一種流式計(jì)算的應(yīng)用要實(shí)時(shí)對(duì)大量的數(shù)據(jù)進(jìn)行快速處理，它最大的特點(diǎn)就是處理周期短，，一般是分鐘級(jí)別是秒級(jí)或者毫秒級(jí)別，并且是 24 小時(shí)不停進(jìn)行計(jì)算[33]。通常稱這種計(jì)算為流式計(jì)算。對(duì)于實(shí)時(shí)流式計(jì)算，Spark 通過(guò) Spark Streaming 組建提供了相關(guān)的功能支持。Spming 是基于 Spark Core 的，具有高吞吐量、可擴(kuò)展性、自動(dòng)容錯(cuò)、實(shí)時(shí)性等特性，它來(lái)源支持 Twitter、Tcp socket、Kafka、Flume 等數(shù)據(jù)源，可以實(shí)現(xiàn) map、reduce、join操作來(lái)實(shí)現(xiàn)復(fù)雜的邏輯關(guān)系，其運(yùn)算結(jié)果可以寫(xiě)入文件系統(tǒng)、數(shù)據(jù)庫(kù)或者其他的展示同時(shí)也可以同時(shí)使用 Spark SQL、DataFrame、Spark MLlib 等一系列的 Spark 插件。
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TN949.292

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳小燕;;機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[J];現(xiàn)代電子技術(shù);2015年20期

2 董微;劉學(xué);倪宏;;基于信息增益的自適應(yīng)特征選擇方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年08期

3 何清;李寧;羅文娟;史忠植;;大數(shù)據(jù)下的機(jī)器學(xué)習(xí)算法綜述[J];模式識(shí)別與人工智能;2014年04期

4 宋小敏;張國(guó)防;邢淑蘭;汪鎖田;;基于數(shù)據(jù)挖掘的課程相關(guān)性分析方法[J];山西財(cái)經(jīng)大學(xué)學(xué)報(bào);2012年S3期

5 李卓然;張永;;基于集成的非均衡數(shù)據(jù)分類主動(dòng)學(xué)習(xí)算法[J];計(jì)算機(jī)應(yīng)用與軟件;2012年06期

6 谷瓊;袁磊;熊啟軍;寧彬;李文新;;基于非均衡數(shù)據(jù)集的代價(jià)敏感學(xué)習(xí)算法比較研究[J];微電子學(xué)與計(jì)算機(jī);2011年08期

7 劉婷婷;;IPTV常用故障判斷分析[J];科協(xié)論壇(下半月);2011年07期

8 靳燕;;基于權(quán)值控制的誤分類算法研究[J];山西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年02期

9 林海明;;對(duì)主成分分析法運(yùn)用中十個(gè)問(wèn)題的解析[J];統(tǒng)計(jì)與決策;2007年16期

10 王玨,石純一;機(jī)器學(xué)習(xí)研究[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年02期

相關(guān)博士學(xué)位論文 前1條

1 錢(qián)云;非均衡數(shù)據(jù)分類算法若干應(yīng)用研究[D];吉林大學(xué);2014年

相關(guān)碩士學(xué)位論文 前1條

1 翟永東;Hadoop分布式文件系統(tǒng)（HDFS）可靠性的研究與優(yōu)化[D];華中科技大學(xué);2011年

本文編號(hào)：2671669