中國的移動互聯(lián)網經歷了從無到有、從慢到快、從人工到智能、從單一到多元的發(fā)展階段,移動互聯(lián)網正不斷地在向人們的生活中注入新鮮的血液,日益成為人們追求美好生活的不竭動力。但是,網絡每天的用戶流量數(shù)據動輒達到數(shù)百TB甚至PB、ZB級別,這對數(shù)據的采集、存儲及分析和應用都帶來了巨大的挑戰(zhàn)。此外,各大運營商、服務器提供商、企業(yè)等都希望從這些海量的用戶數(shù)據中,利用一定的技術分析手段精準定位用戶、分析用戶需求。他們需要大量的用戶撥測數(shù)據以便能快速而有效地獲取網頁中有價值的信息,如網絡質量、網頁結構等,這大大促進了用戶撥測技術的發(fā)展,也對用戶撥測技術以及數(shù)據的分析業(yè)務提出了新的挑戰(zhàn)。本文首先闡述了用戶撥測技術出現(xiàn)和發(fā)展的必然性,同時對當前基于撥測系統(tǒng)的研究現(xiàn)狀進行了介紹。然后,本文對用戶撥測系統(tǒng)總體原理框架以及本文所使用的相關技術進行了詳細的介紹。同時,論文也對大數(shù)據背景下的撥測業(yè)務進行了研究。在本文研究過程中,主要使用HDFS、Spark等大數(shù)據技術進行數(shù)據的存儲與分析。本文所研究的用戶撥測系統(tǒng)是基于推送系統(tǒng)而設計的,從而提出了基于推送的用戶撥測系統(tǒng)的設計方案。此外,本文對用戶撥測系統(tǒng)相關的關鍵技術...

【文章頁數(shù)】：75 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 論文研究背景
    1.2 國內外研究現(xiàn)狀及意義
    1.3 論文結構
第二章 用戶撥測系統(tǒng)相關技術研究
    2.1 網絡測量
        2.1.1 網絡測量分類
        2.1.2 主動測量和被動測量
        2.1.3 網絡測量系統(tǒng)架構
    2.2 用戶撥測技術
        2.2.1 人工撥測技術
        2.2.2 自動撥測技術流程
    2.3 大數(shù)據背景下的撥測指標
        2.3.1 大數(shù)據環(huán)境下?lián)軠y思想概述
        2.3.2 大數(shù)據環(huán)境下用戶分析
    2.4 大數(shù)據技術
        2.4.1 Hadoop分布式文件存儲系統(tǒng)HDFS
        2.4.2 分布式計算架構Sprk
    2.5 本章小結
第三章 基于推送的用戶撥測系統(tǒng)關鍵技術
    3.1 用戶撥測系統(tǒng)架構
        3.1.1 用戶撥測系統(tǒng)整體架構
        3.1.2 數(shù)據采集系統(tǒng)
        3.1.3 系統(tǒng)工作原理
    3.2 模塊介紹
        3.2.1 推送系統(tǒng)
        3.2.2 策略模塊(撥測模塊)
        3.2.3 數(shù)據分析模塊
    3.3 系統(tǒng)執(zhí)行流程
    3.4 本章小結
第四章 網頁的時延特征分析
    4.1 數(shù)據描述與預處理
    4.2 網頁性能分析
        4.2.1 白屏時間
        4.2.2 可操作時延
        4.2.3 總時延
        4.2.4 總體分析
    4.3 基于網絡的階段分析
        4.3.1 網絡階段劃分
        4.3.2 網絡時延
        4.3.3 服務端時延
        4.3.4 前端呈現(xiàn)時延
        4.3.5 總體分析
    4.4 本章小結
第五章 網絡質量分析
    5.1 網絡質量分析指標
        5.1.1 時延類指標
        5.1.2 速率類指標
        5.1.3 完成性指標
    5.2 網絡質量指標的選取及歸一化
        5.2.1 指標相關性分析
        5.2.2 網絡質量指標的選取
        5.2.3 質量指標的歸一化
    5.3 網絡質量綜合評估模型
        5.3.1 權重確定
        5.3.2 綜合評估模型
    5.4 本章小結
第六章 網頁結構分析
    6.1 網頁結構概述
    6.2 網頁結構二部圖
        6.2.1 網頁二部圖介紹
        6.2.2 構建網頁依賴二部圖
    6.3 網頁結構分析
        6.3.1 網頁的對象數(shù)和邊數(shù)
        6.3.2 出度和入度
        6.3.3 網頁的連接強度
        6.3.4 網頁社區(qū)
        6.3.5 網頁結構矩陣
    6.4 本章小結
第七章 總結與展望
參考文獻
致謝



本文編號：3781276