中國的移動互聯(lián)網(wǎng)經(jīng)歷了從無到有、從慢到快、從人工到智能、從單一到多元的發(fā)展階段,移動互聯(lián)網(wǎng)正不斷地在向人們的生活中注入新鮮的血液,日益成為人們追求美好生活的不竭動力。但是,網(wǎng)絡每天的用戶流量數(shù)據(jù)動輒達到數(shù)百TB甚至PB、ZB級別,這對數(shù)據(jù)的采集、存儲及分析和應用都帶來了巨大的挑戰(zhàn)。此外,各大運營商、服務器提供商、企業(yè)等都希望從這些海量的用戶數(shù)據(jù)中,利用一定的技術(shù)分析手段精準定位用戶、分析用戶需求。他們需要大量的用戶撥測數(shù)據(jù)以便能快速而有效地獲取網(wǎng)頁中有價值的信息,如網(wǎng)絡質(zhì)量、網(wǎng)頁結(jié)構(gòu)等,這大大促進了用戶撥測技術(shù)的發(fā)展,也對用戶撥測技術(shù)以及數(shù)據(jù)的分析業(yè)務提出了新的挑戰(zhàn)。本文首先闡述了用戶撥測技術(shù)出現(xiàn)和發(fā)展的必然性,同時對當前基于撥測系統(tǒng)的研究現(xiàn)狀進行了介紹。然后,本文對用戶撥測系統(tǒng)總體原理框架以及本文所使用的相關(guān)技術(shù)進行了詳細的介紹。同時,論文也對大數(shù)據(jù)背景下的撥測業(yè)務進行了研究。在本文研究過程中,主要使用HDFS、Spark等大數(shù)據(jù)技術(shù)進行數(shù)據(jù)的存儲與分析。本文所研究的用戶撥測系統(tǒng)是基于推送系統(tǒng)而設計的,從而提出了基于推送的用戶撥測系統(tǒng)的設計方案。此外,本文對用戶撥測系統(tǒng)相關(guān)的關(guān)鍵技術(shù)...

【文章頁數(shù)】：75 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 論文研究背景
    1.2 國內(nèi)外研究現(xiàn)狀及意義
    1.3 論文結(jié)構(gòu)
第二章 用戶撥測系統(tǒng)相關(guān)技術(shù)研究
    2.1 網(wǎng)絡測量
        2.1.1 網(wǎng)絡測量分類
        2.1.2 主動測量和被動測量
        2.1.3 網(wǎng)絡測量系統(tǒng)架構(gòu)
    2.2 用戶撥測技術(shù)
        2.2.1 人工撥測技術(shù)
        2.2.2 自動撥測技術(shù)流程
    2.3 大數(shù)據(jù)背景下的撥測指標
        2.3.1 大數(shù)據(jù)環(huán)境下?lián)軠y思想概述
        2.3.2 大數(shù)據(jù)環(huán)境下用戶分析
    2.4 大數(shù)據(jù)技術(shù)
        2.4.1 Hadoop分布式文件存儲系統(tǒng)HDFS
        2.4.2 分布式計算架構(gòu)Sprk
    2.5 本章小結(jié)
第三章 基于推送的用戶撥測系統(tǒng)關(guān)鍵技術(shù)
    3.1 用戶撥測系統(tǒng)架構(gòu)
        3.1.1 用戶撥測系統(tǒng)整體架構(gòu)
        3.1.2 數(shù)據(jù)采集系統(tǒng)
        3.1.3 系統(tǒng)工作原理
    3.2 模塊介紹
        3.2.1 推送系統(tǒng)
        3.2.2 策略模塊(撥測模塊)
        3.2.3 數(shù)據(jù)分析模塊
    3.3 系統(tǒng)執(zhí)行流程
    3.4 本章小結(jié)
第四章 網(wǎng)頁的時延特征分析
    4.1 數(shù)據(jù)描述與預處理
    4.2 網(wǎng)頁性能分析
        4.2.1 白屏時間
        4.2.2 可操作時延
        4.2.3 總時延
        4.2.4 總體分析
    4.3 基于網(wǎng)絡的階段分析
        4.3.1 網(wǎng)絡階段劃分
        4.3.2 網(wǎng)絡時延
        4.3.3 服務端時延
        4.3.4 前端呈現(xiàn)時延
        4.3.5 總體分析
    4.4 本章小結(jié)
第五章 網(wǎng)絡質(zhì)量分析
    5.1 網(wǎng)絡質(zhì)量分析指標
        5.1.1 時延類指標
        5.1.2 速率類指標
        5.1.3 完成性指標
    5.2 網(wǎng)絡質(zhì)量指標的選取及歸一化
        5.2.1 指標相關(guān)性分析
        5.2.2 網(wǎng)絡質(zhì)量指標的選取
        5.2.3 質(zhì)量指標的歸一化
    5.3 網(wǎng)絡質(zhì)量綜合評估模型
        5.3.1 權(quán)重確定
        5.3.2 綜合評估模型
    5.4 本章小結(jié)
第六章 網(wǎng)頁結(jié)構(gòu)分析
    6.1 網(wǎng)頁結(jié)構(gòu)概述
    6.2 網(wǎng)頁結(jié)構(gòu)二部圖
        6.2.1 網(wǎng)頁二部圖介紹
        6.2.2 構(gòu)建網(wǎng)頁依賴二部圖
    6.3 網(wǎng)頁結(jié)構(gòu)分析
        6.3.1 網(wǎng)頁的對象數(shù)和邊數(shù)
        6.3.2 出度和入度
        6.3.3 網(wǎng)頁的連接強度
        6.3.4 網(wǎng)頁社區(qū)
        6.3.5 網(wǎng)頁結(jié)構(gòu)矩陣
    6.4 本章小結(jié)
第七章 總結(jié)與展望
參考文獻
致謝



本文編號：3781276