近年來,隨著移動通信技術(shù)的發(fā)展和移動終端的普及,移動用戶數(shù)量激增,數(shù)以億計的用戶每天產(chǎn)生海量的移動流量記錄。如何對如此大量的數(shù)據(jù)進行高效和準(zhǔn)確的分析,從而充分理解移動互聯(lián)網(wǎng)流量特性,掌握移動用戶的上網(wǎng)行為,為用戶提供更加優(yōu)質(zhì)的移動網(wǎng)絡(luò)服務(wù),成為了移動運營商和互聯(lián)網(wǎng)內(nèi)容提供商都非常關(guān)心的研究課題。本文研究通過分布式大數(shù)據(jù)處理技術(shù)和機器學(xué)習(xí)方法相結(jié)合的方式來對海量移動互聯(lián)網(wǎng)流量數(shù)據(jù)進行分析和預(yù)測。重點研究了其中的兩個問題,一個是移動用戶和服務(wù)器的交互行為預(yù)測,另一個是移動視頻流量識別。通過分析發(fā)現(xiàn),這兩個問題都有著相同的特性:都可以當(dāng)做二分類問題來處理,以及數(shù)據(jù)都只有少量正例樣本和大量無標(biāo)記樣本。因此,本課題嘗試?yán)迷谖谋痉诸悊栴}中使用較多的PU學(xué)習(xí)算法來解決。本文的主要創(chuàng)新點如下:(1)針對移動用戶和服務(wù)器交互預(yù)測問題,設(shè)計了 194維的特征來表征每一條用戶和服務(wù)器連接記錄,并提出了改進的基于Spy的PU學(xué)習(xí)算法。在Spark平臺上,基于MLlib機器學(xué)習(xí)庫設(shè)計并實現(xiàn)了基于K-means的PU學(xué)習(xí)算法、基于Biased-SVM的PU學(xué)習(xí)算法以及改進的基于Spy的PU學(xué)習(xí)算法。通過在真實移動流量數(shù)據(jù)上的實驗,驗證了基于PU學(xué)習(xí)算法來預(yù)測用戶的服務(wù)器交互行為具有良好的性能。(2)針對移動視頻流量識別問題,設(shè)計了 105維的特征向量來表示每一條移動流量記錄,并從真實的移動流量數(shù)據(jù)中過濾了部分移動視頻相關(guān)的數(shù)據(jù)作為該任務(wù)的實驗數(shù)據(jù)集。通過實驗分析了 Spark平臺上設(shè)計并實現(xiàn)的三種PU學(xué)習(xí)算法的性能,驗證了基于PU學(xué)習(xí)算法進行移動視頻流量識別具有較好的準(zhǔn)確性。這對于更加高效準(zhǔn)確地對移動互聯(lián)網(wǎng)流量進行分析,提升網(wǎng)絡(luò)服務(wù)質(zhì)量具有很大幫助。
【學(xué)位單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TN929.5;TP393.06
【部分圖文】：

為了提供一體化的大數(shù)據(jù)處理平臺，Ｓｐａｒｋ不僅向用戶提供了類ＭａｐＲｅｄｕｃｅ??編程模型，還向用戶提供了一組工具集，以滿足不同場景下的大數(shù)據(jù)處理需求。??Ｓｐａｒｋ的總體結(jié)構(gòu)圖如圖２－１所示［３］。??Ｓｐａｒｋ?ＳＱＬ?ｃ?Ｓｐａｒｋ?ＭＬｌｉｂ?ＧｒａｐｈＸ??Ｓｔｒｅａｍｉｎｇ??Ａｐａｃｈｅ?Ｓｐａｒｋ??Ｓｔａｎｄａｌｏｎｅ?ＹＡＲＮ?Ｍｅｓｏｓ??圖２－１?Ｓｐａｒｋ平臺總體結(jié)構(gòu)圖??１．?Ｓｐａｒｋ?ＳＱＬ是Ｓｐａｒｋ中用來處理結(jié)構(gòu)化數(shù)據(jù)的一個模塊，主要用于結(jié)構(gòu)化??數(shù)據(jù)的處理和對Ｓｐａｒｋ數(shù)據(jù)執(zhí)行類ＳＱＬ的查詢。通過ＳｐａｒｋＳＱＬ，可以針對不同??格式的數(shù)據(jù)執(zhí)行ＥＴＬ操作（如ＪＳＯＮ，?Ｐａｒｑｕｅｔ，數(shù)據(jù)庫）然后完成特定的查詢操??８??

圖２－２移動互聯(lián)網(wǎng)流量采集??本文所使用的移動互聯(lián)網(wǎng)流量記錄數(shù)據(jù)采集自中國南方某省會城市連續(xù)７??天的移動上網(wǎng)流量，平均每天有近１０億條流量記錄，其中每一條流量記錄都包??含了時間，加密的用戶手機號，服務(wù)器ＩＰ地址，服務(wù)類型，連接時長，上下行??報文數(shù)等八十多個字段。其中主要的一些字段信息如表２－２所示，本文將基于這??些數(shù)據(jù)進行后續(xù)的研宄。??表２－２?—些重要的信息字段說明??字段名?字段含義或格式?ｔ?舉例??手機號碼?用戶上網(wǎng)的手機號碼，加密處理?８６１３８＊＊＊＊００００??流開始時間?連接開始時間，ＵＴＣ格式?｜?１３８８１７０５６５．４４６０００??流結(jié)束時間?連接結(jié)束時間，ＵＴＣ格式?１３８８１７０５７８．２４１０００??服務(wù)器ＩＰ地址?點分十進制ＩＰ?１１１．３０．１２３．１１??業(yè)務(wù)類型?ｗｅｂ／ｗａｐｌ／ｗａｐ２／ｍｍｓ／ｔｘｔ?等?ｗｅｂ??ＷＥＢ／ＷＡＰ?請求．?士??Ｈ〇ＳＴ?子?Ｗ?串?ｉｓｄｓｐｅｅｄ．ｑｑ．ｃｏｍ??

?對有間諜的無標(biāo)記數(shù)據(jù)進行分類，選取被分類為負(fù)例的概率大于某個閾值的樣??本作為可靠的負(fù)例樣本。具體的流程如圖３－４所示。??Ｐｏｓｉｔｉｖｅ?Ｐｏｓｉｔｉｖｅ?Ｌｉｋｅｌｙ?Ｐｏｓｉｔｉｖｅ??ｙ７ｐｙ＼?ｆ?ＶｏｙＡ?Ｖ７７７－??織?ｐ＊ｐ〇Ｓｉｔ叫赫滅??關(guān)?ｆａｄ??Ｕｎｌａｂｅｌｅｄ?Ｎｅｇａｔｉｖｅ?＾＾＾＾Ｌｉｋｅｌｙ?Ｎｅｇａｔｉｖｅ??Ｓｐｙ＝（ｌ－Ｐ）＊Ｐｏｓｉｔｉｖｅ／??Ｉ?ｉｚｚ＾??ｉ?ａ＊Ｕｎｌａｂｅｌｅｄ＾?：．：父：??、、Ｕｎ??＞〇〇－？Ｓ＾??／？ｖ＾ｖ＾ｓ／Ｖ?：?？??ｂ＾ｊｊ??Ｖ?ＶＶ＇??ｖ＞－＇Ｗ??ｃｘ＇：＇：．??ｆ．ｖＶ＇ｖ．．：：??圖３－４改進的基于Ｓｐｙ的ＰＵ學(xué)習(xí)算法提取可靠負(fù)例的過程??假設(shè)我們的正例樣本數(shù)據(jù)集為Ｐ，抽樣ａ后的無標(biāo)記樣本數(shù)據(jù)集為Ｕ，從正例??樣本中抽�。樱穑谋壤秊椋校槿『蟮模樱穑蠟椋�，由于無標(biāo)記樣本數(shù)據(jù)集遠(yuǎn)??大于有標(biāo)記的正例樣本數(shù)據(jù)集，我們選擇從無標(biāo)記樣本中隨機抽取一部分來進行??下一步的操作，抽取比例為ａ。整個改進的基于Ｓｐｙ的ＰＵ學(xué)習(xí)算法可以描述為：??首先，從正例樣本集合中抽取比例為Ｐ的Ｓｐｙ樣本集合Ｓ，將Ｓ加入到無標(biāo)記樣本??集Ｕ中，構(gòu)成集合Ｕ?＋?Ｓ，利用Ｐ－Ｓ和Ｕ?＋?Ｓ訓(xùn)練二分類器ｑ，這里的分類器可以??采用多種分類算法，比如ＳＶＭ，樸素貝葉斯，邏輯回歸，隨機森林等等，然后??利用分類器（：１對１］?＋?５進行分類
【參考文獻】

相關(guān)博士學(xué)位論文 前2條

1 任亞峰;基于標(biāo)注和未標(biāo)注數(shù)椐的虛假評論識別研究[D];武漢大學(xué);2015年

2 可婷;部分監(jiān)督分類問題的研究[D];中國農(nóng)業(yè)大學(xué);2014年

相關(guān)碩士學(xué)位論文 前4條

1 高鵬;大規(guī)模PU學(xué)習(xí)[D];南京大學(xué);2017年

2 張荷;基于PU學(xué)習(xí)的軟件故障檢測方法研究[D];西北農(nóng)林科技大學(xué);2015年

3 孫科;基于Spark的機器學(xué)習(xí)應(yīng)用框架研究與實現(xiàn)[D];上海交通大學(xué);2015年

4 李晨;PU數(shù)據(jù)流挖掘研究[D];西北農(nóng)林科技大學(xué);2011年

本文編號：2838469