本文關鍵詞：Web視頻發(fā)現(xiàn)與源地址解析技術研究及實現(xiàn)

  更多相關文章： Web視頻 頁面識別 聚焦爬蟲 地址解析

【摘要】：隨著Web技術和通訊技術的發(fā)展,目前的互聯(lián)網(wǎng)不再局限于傳統(tǒng)意義的Internet,還包括WAP網(wǎng)絡,3G網(wǎng)絡等基于各種協(xié)議以及各種互聯(lián)設備的網(wǎng)絡。這些網(wǎng)絡已經(jīng)成為網(wǎng)絡視頻發(fā)布和傳播的一個重要途徑。這種動態(tài)復雜的網(wǎng)絡環(huán)境具有通訊協(xié)議多樣、網(wǎng)絡數(shù)據(jù)動態(tài)變化、包含大量的冗余和噪音數(shù)據(jù)等特點。Web視頻服務提供商從自身利益出發(fā),只允許用戶在線觀看其視頻節(jié)目,下載后離線瀏覽這種方式目前被大多數(shù)視頻網(wǎng)站所排斥,給視頻監(jiān)管帶來困難。因此,如何在復雜的網(wǎng)絡環(huán)境下,避免大量的冗余和噪音數(shù)據(jù),快速有效地對視頻數(shù)據(jù)進行采集成為在線視頻監(jiān)管亟待解決的首要問題。 Web視頻發(fā)現(xiàn)與源地址解析技術研究及實現(xiàn)主要著眼于三個方面。第一,Web視頻頁面識別。通過大量調(diào)研和實驗,歸納確定一組Web視頻頁面普遍存在的特征,并根據(jù)其在Web視頻頁面識別中的重要程度為其設置相應的權重,實現(xiàn)一種以Web視頻頁面組合特征為線索,以特征綜合權重為評判標準的Web視頻頁面識別方法,即通過將待識別頁面與特征庫逐一匹配,計算綜合權重,根據(jù)綜合權重梯次劃分,達到視頻頁面相關度評估的目的。這種方法可以有效的對Web視頻頁面進行識別,篩選出主題目標。第二,視頻源地址解析。研究并實現(xiàn)基于網(wǎng)絡數(shù)據(jù)包捕獲與分析的通用解析與面向大規(guī)模網(wǎng)站的定制解析的聯(lián)合解析方案�；诰W(wǎng)絡數(shù)據(jù)包捕獲與分析的解析方案普適性高,實現(xiàn)簡單,但是對瀏覽器和專有工具依賴性強,解析速度慢；面向視頻源站和私有協(xié)議的定制解析方案,速度快,無需播放視頻或調(diào)用其他工具,但是各個網(wǎng)站的解析流程和方法差異較大,實現(xiàn)困難。聯(lián)合方案可兼顧解析的效率和全面性。第三,基于Web視頻發(fā)現(xiàn)與源地址解析技術實現(xiàn)了Web視頻發(fā)現(xiàn)子系統(tǒng)和視頻源地址解析中間件,為Web視頻下載層提供有效的數(shù)據(jù)和業(yè)務支撐。
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.092

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 白玉昭;梁久禎;;基于概率模型的主題爬蟲的研究和實現(xiàn)[J];計算機工程與科學;2013年01期

2 黃仁;王良偉;;基于主題相關概念和網(wǎng)頁分塊的主題爬蟲研究[J];計算機應用研究;2013年08期

，

本文編號：1147331