基于海量網絡數據的視頻業(yè)務流量分析與應用
本文選題:網絡視頻業(yè)務 + 視頻分發(fā)服務器 ; 參考:《北京郵電大學》2017年博士論文
【摘要】:隨著網絡及通信技術的發(fā)展、大屏幕終端設備與專用APP的普及,網絡視頻業(yè)務已成為當今互聯網中最為重要的組成部分。其吸引大規(guī)模用戶使用,產生了大量的網絡流量并占據了大比例的網絡帶寬。同時,網絡視頻業(yè)務正在不斷的展現出一些新的特性,例如綜合性業(yè)務類型和移動網絡接入方式等。因此,對當前網絡視頻業(yè)務的深入理解,將有助于優(yōu)化網絡資源部署、設計業(yè)務功能算法、調整廣告投放策略等一系列任務,以獲取潛在商業(yè)利益并進一步提升用戶體驗。在此背景下,本文基于從現實環(huán)境中采集的海量網絡數據,運用大數據處理、數據挖掘、機器學習等技術,從多個角度對網絡視頻業(yè)務進行了深入詳細的分析,并直接解決了若干現實問題。本文的主要研究內容和創(chuàng)新點如下:(1)對視頻分發(fā)階段用戶與服務器之間的通信流程與通信特點進行分析,并提出了 一個通用的網絡視頻業(yè)務分發(fā)服務器檢測方法。網絡視頻業(yè)務提供商使用分發(fā)服務器向其地理上廣泛分布的用戶進行視頻交付。這些分發(fā)服務器持續(xù)傳輸大容量視頻文件,因而在網絡的管控與優(yōu)化任務中是極為重要的。然而,分發(fā)服務器往往具有無域名、無固定IP地址、動態(tài)增減的特性,網絡運營商對其難以精準識別。為此,本文首次提出了對網絡視頻業(yè)務分發(fā)服務器的檢測問題;谥鲃硬y實驗,本文揭示了網絡視頻分發(fā)的通用流程;诖笠(guī)模網絡流量數據,本文深入分析了用戶與分發(fā)服務器之間的通信特性,包括:HTTP交互間隔、傳輸文件類型、HTTP重定向行為、HTTP報文的URI及頭部字段內容。根據分析結果,本文定義了多維度特征,并結合高效機器學習算法,最終提出了一個通用的網絡視頻業(yè)務分發(fā)服務器檢測方法。本文進一步使用現實網絡環(huán)境的數據對檢測方法進行了驗證。實驗結果顯示該方法性能優(yōu)秀:準確率接近100%,同時召回率在85%以上。(2)基于從我國東北某省的移動通信網中采集的超過170億條網絡流量話單數據,從數據消耗、位置移動、業(yè)務使用三個方面,對新興的移動網絡環(huán)境中視頻用戶的行為特性進行了深入的分析。本文的三個分析角度,分別對應著用戶在核心網、無線接入網以及業(yè)務提供商處的資源使用情況。在數據消耗方面,本文分析了用戶的流量字節(jié)數與活躍時長分布。并且,本文發(fā)現了重度用戶的存在,并提出了一個無參數的檢測方法。在位置移動方面,本文分析了用戶訪問小區(qū)的數量分布及位置變化情況;诖,本文首次從空間維度上定義了用戶觀看網絡視頻時的移動模式,并對各模式的移動軌跡和停留時間進行了詳細研究。而在業(yè)務使用方面,本文則分析了用戶觀看視頻的數量分布,并揭示了觀看時刻的整體特性。此外,本文還發(fā)現并衡量了用戶的重復播放行為。最后,本文將不同分析角度的重度用戶進行了關聯分析,并跨角度比較了重度用戶與非重度用戶的行為特性差異。(3)基于從網絡運營商處采集的超過120億條大規(guī)模流量數據和從視頻網站處爬取的連續(xù)30天的長時期視頻元信息,從用戶活躍度、視頻屬性、用戶關系三個方面,對新興的綜合性網絡視頻業(yè)務中兩種關鍵類型用戶的喜好特性進行了深入的分析。對于網絡視頻業(yè)務用戶喜好的研究,本文首次同時考慮了上傳者和播放者兩種不同類型的用戶,并進行了對比性的分析工作。在用戶活躍度方面,本文研究了用戶在不同粒度的時間維度上的分布特性,并對比了兩種用戶的整體業(yè)務使用情況。在視頻屬性方面,本文分別分析了被上傳視頻和被播放視頻的靜態(tài)、動態(tài)屬性特點,包括視頻類型、視頻時長和視頻播放量等內容。最后,在用戶關系方面,對于上傳者,本文研究了粉絲數的整體分布特性及對播放量的影響;而對于播放者,本文構建了基于視頻偏好的用戶關系網絡,并揭示了該網絡的小世界特性。(4)基于超過20萬條新上傳視頻的一個月播放量追蹤數據,從群體和單體的角度對網絡視頻的流行度特性進行了深入分析。從視頻群體的角度,本文首先分析了視頻長期播放量的整體分布特性,并使用Pareto Type 2分布進行擬合。然后,根據視頻的長期播放量,定義了不同的流行度級別。最后,本文探尋了視頻類型與視頻內容標簽對于視頻長期播放量的影響。從視頻單體的角度,本文首先分析了視頻的每日播放量獲取情況,并定義了活躍天的概念;诨钴S天出現的位置,進一步探尋了各視頻的活躍期長度。接下來,本文衡量了視頻在各天內獲取播放量的均勻程度,并提出了播放量激增的概念;诓シ帕考ぴ龅臄盗亢臀恢,本文定義了一系列的播放量增長模式,以描述視頻單體間不同的流行度演化趨勢。在此基礎上,本文進一步對流行度級別與播放量增長模式的對應關系進行了研究。(5)基于網絡視頻流行度特性的分析結果,面向不同預測對象,提出了多種高效的網絡視頻未來流行度預測方法。鑒于網絡視頻龐大的數量和極不均勻的用戶關注度,對其流行度的深入理解并進一步預測,具有十分重要的現實意義。本文分別研究了對網絡視頻未來流行度的級別預測問題和數值預測問題。對于未來流行度的級別預測,本文從視頻屬性、上傳者屬性、內容話題、文本語言和歷史動態(tài)五個角度提取多維度特征,并結合多種高效的機器學習分類算法,在不同情形下進行了實驗分析。我們發(fā)現在視頻發(fā)布時,對其未來流行度級別進行立即預測是可行的,平均精度和平均召回率分別可達為74%和60%。而如果引入初始觀察期,我們能夠大幅度提升預測性能,平均精度和平均召回率分別可達95%和91%。而對于未來流行度的數值預測,本文首先對視頻的早期-長期播放量關系進行了研究。然后,基于播放量增長模式和基于流行度級別轉換,本文分別提出了兩種預測方法。實驗結果顯示,在相對誤差指標上,本文提出方法可優(yōu)于目前先進的基線方法超過30%。
[Abstract]:......
【學位授予單位】:北京郵電大學
【學位級別】:博士
【學位授予年份】:2017
【分類號】:TP393.0
【相似文獻】
相關期刊論文 前10條
1 張炎濱;全球典型固網視頻業(yè)務分析[J];通信世界;2004年36期
2 袁小明;薛玉林;;3G視頻業(yè)務需求調查及發(fā)展對策分析[J];通信世界;2006年23期
3 徐超;;3G視頻業(yè)務關注度調查[J];通信世界;2007年36期
4 徐超;;3G視頻業(yè)務關注度調查[J];通信世界;2007年37期
5 嵇正鵬;趙新寧;汪敏娟;余明;;全業(yè)務運營下視頻業(yè)務綜合服務模型的研究[J];電信科學;2007年09期
6 紀文;趙興玉;;香港電信提供即時視頻業(yè)務[J];廣播與電視技術;1998年10期
7 王俊潔;商建輝;;網絡視頻業(yè)務競合的模式選擇[J];現代視聽;2010年09期
8 馬源;;完善監(jiān)管政策 推動視頻業(yè)務大發(fā)展[J];電信技術;2010年10期
9 齊少安;孫記明;李濤;;三屏互動視頻業(yè)務及其實現方案[J];郵電設計技術;2010年11期
10 姚良;奚溪;;三網融合下視頻業(yè)務質量評估體系的研究[J];電信科學;2011年03期
相關會議論文 前6條
1 鄭大永;;如何實現網絡視頻業(yè)務的和諧發(fā)展[A];節(jié)能環(huán)保 和諧發(fā)展——2007中國科協年會論文集(一)[C];2007年
2 鄭大永;;如何實現網絡視頻業(yè)務的和諧發(fā)展[A];四川省通信學會2007年學術年會論文集[C];2007年
3 張家樹;李恒超;;變比特率視頻業(yè)務的混沌局域零階預測[A];現代通信理論與信號處理進展——2003年通信理論與信號處理年會論文集[C];2003年
4 顧曉琳;胡培亮;宋文濤;;多媒體DS-CDMA系統(tǒng)話音視頻業(yè)務性能分析[A];2002海峽兩岸三地無線科技研討會論文集[C];2002年
5 陳美;汪清清;;視頻業(yè)務質量感知提升之FEC、FCC技術在運營商網絡中的應用研究[A];中國通信學會信息通信網絡技術委員會2011年年會論文集(下冊)[C];2011年
6 余慶;張明;林華;;一種基于單向有線電視網絡的融合型視頻業(yè)務的設計與實現[A];中國新聞技術工作者聯合會2012年學術年會、五屆四次理事會暨第六屆“王選新聞科學技術獎”的“人才獎”和“優(yōu)秀論文獎”頒獎大會論文集[C];2012年
相關重要報紙文章 前10條
1 鐘凌江;推進網絡視頻業(yè)務和諧發(fā)展[N];人民郵電;2007年
2 鄭濤;視頻業(yè)務還須深度挖掘[N];通信產業(yè)報;2007年
3 本報記者 林敏;視頻業(yè)務能否成為電信業(yè)的新增點?[N];通信信息報;2003年
4 ;交互式視頻業(yè)務將成3G主力業(yè)務[N];人民郵電;2007年
5 本報記者 余峧;全球眼助力世博會大型巡展 視頻業(yè)務推進電信服務轉型[N];通信信息報;2007年
6 ■ 電信研究院企業(yè)管理研究所 郭順義 ■ 北京郵電大學 楊樺;視頻業(yè)務 路在何方?[N];計算機世界;2005年
7 中國網通集團系統(tǒng)集成公司 胡皓;ADSL2+救場視頻業(yè)務[N];通信產業(yè)報;2005年
8 ;奧運將視頻業(yè)務推向新高度[N];人民郵電;2008年
9 記者 謝莎;廣東移動攜新華社共推3G視頻業(yè)務[N];人民郵電;2010年
10 本報記者 張敏;把命運交給視頻業(yè)務[N];網絡世界;2001年
相關博士學位論文 前3條
1 李辰宇;基于海量網絡數據的視頻業(yè)務流量分析與應用[D];北京郵電大學;2017年
2 宋佳潤;網絡視頻業(yè)務中用戶QoE評估研究[D];西安電子科技大學;2015年
3 洪飛;基于小波的網絡業(yè)務研究[D];中國科學院研究生院(軟件研究所);2004年
相關碩士學位論文 前10條
1 姚利濤;網絡視頻業(yè)務非監(jiān)督分類方法研究[D];南京郵電大學;2015年
2 李賀;網絡視頻業(yè)務流的特征選擇與識別研究[D];南京郵電大學;2016年
3 易小華;網絡視頻業(yè)務平均意見分統(tǒng)計研究及在流分類中的應用[D];南京郵電大學;2017年
4 王維濤;基于QoE評級的視頻業(yè)務性能評估方法的研究與分析[D];北京郵電大學;2013年
5 陳悅驍;真實實驗環(huán)境下的視頻業(yè)務QoE評估[D];西安電子科技大學;2013年
6 李恒超;混沌預測理論及其在VBR視頻業(yè)務中的應用[D];西南交通大學;2004年
7 黃超;無線網絡信道建模和視頻業(yè)務QoE提升方法研究[D];南京郵電大學;2013年
8 巨穎;LTE系統(tǒng)中視頻業(yè)務跨層資源調度技術研究[D];北京郵電大學;2013年
9 平國棟;統(tǒng)一音視頻業(yè)務門戶系統(tǒng)的設計與實現[D];鄭州大學;2013年
10 尹小然;LTE/EPS下視頻業(yè)務實現技術研究[D];南京郵電大學;2014年
,本文編號:1767045
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/1767045.html