發(fā)布時間：2019-11-06 08:51

【摘要】：到目前為止,我國的網(wǎng)絡用戶數(shù)已經(jīng)接近我國總人口的50%,這充分地表明了互聯(lián)網(wǎng)已經(jīng)在人們的日�；顒又械玫搅藦V泛的使用,并且極大地改變了人們的生活工作方式。因此,研究和分析互聯(lián)網(wǎng)流量和網(wǎng)絡用戶行為已經(jīng)成為網(wǎng)絡研究工作的重要內(nèi)容。與此同時,海量數(shù)據(jù)的不斷產(chǎn)生也為互聯(lián)網(wǎng)流量與用戶行為的研究帶來了挑戰(zhàn)。本文的主要工作是運用數(shù)據(jù)挖掘算法和工具實現(xiàn)對大規(guī)模的網(wǎng)絡流量和用戶行為的研究與分析。具體來說,本文首先基于用戶點擊識別構建出對象級互聯(lián)網(wǎng)流量分析模型——網(wǎng)頁對象依賴圖。該圖模型描述了網(wǎng)頁對象之間的依賴關系,具有維度高、稀疏、復雜,但局部稠密的特點。因此,為了深入研究該圖模型的內(nèi)部結構特征,本文設計并實現(xiàn)了一種協(xié)同聚類算法——非負矩陣分解算法,用于對大規(guī)模網(wǎng)頁對象依賴圖的分解,提取出四類典型的網(wǎng)頁結構模式。最后,本文對這四類網(wǎng)頁結構的特點和形成原因進行了深入研究與分析。本文的主要貢獻包括以下三點:第一,本文創(chuàng)新性地提出了基于用戶點擊識別的對象級互聯(lián)網(wǎng)流量分析模型——網(wǎng)頁對象依賴圖。該圖模型描述了網(wǎng)絡中用戶請求的主對象和內(nèi)嵌對象的依賴關系,為進一步研究和挖掘網(wǎng)頁結構模式提供了有效的數(shù)學模型。第二,本文基于Spark分布式架構實現(xiàn)并優(yōu)化了并行正交非負矩陣分解(ONMTF)算法。該算法可以實現(xiàn)對高維、稀疏的非負矩陣的降維,同時分解結果的非負性和近似正交性使其具有更強的解釋能力�；赟VD的矩陣初始化方法使ONMTF算法可以得到較好的局部最優(yōu)解。第三,本文利用并行的ONMTF算法實現(xiàn)了對大規(guī)模網(wǎng)頁對象依賴圖的分解,提取出四類典型的網(wǎng)頁結構,從而挖掘出網(wǎng)絡中存在的網(wǎng)頁結構模式。
【圖文】：

＝：：：二逡逑圖３－１網(wǎng)頁訪問通信流程逡逑圖３－１表示了典型的網(wǎng)頁訪問流程，具體過程如下：逡逑１）邐Ｗｅｂ客戶端向首選ＤＮＳ服務器查詢目標網(wǎng)站的ＩＰ。若響應超時，則根據(jù)本逡逑地網(wǎng)絡中配置的ＤＮＳ服務器列表順序依次進行查詢。逡逑２）邐Ｗｅｂ客戶端通過三次握手與目標網(wǎng)站的Ｗｅｂ服務器建立ＴＣＰ連接。若響應逡逑９逡逑

要做一些假設，例如一個頁面點擊只取決于最后一次點擊。然而，普遍使用多標逡逑簽瀏覽器的并行瀏覽行為打破了這些假設，使得這些識別方法無效。逡逑隨著現(xiàn)代瀏覽器技術和Ｗｅｂ技術的迅速發(fā)展，用戶在訪問網(wǎng)頁時的點擊行逡逑為也變得復雜多變。針對以上研究中存在的問題和不足，我們提出了基于請求依逡逑賴關系圖的用戶點擊識別算法。在網(wǎng)絡中，用戶的點擊行為會產(chǎn)生大量請求。首逡逑先，我們建立起這些請求之間的依賴關系并抽象成請求依賴關系圖模型［２６】。然后，逡逑我們在該圖模型上應用了一種可擴展的點擊識別算法。通過實驗對比分析，該點逡逑擊識別算法的準確率明顯高于己有的算法，并且可擴展以滿足大規(guī)模的分析需求。逡逑３．１．３邐基于圖模型的用戶點擊識別逡逑圖３－２描述了用戶網(wǎng)頁訪問的兩種方式，圖中的用戶１和用戶２在同一時段逡逑內(nèi)訪問了同一網(wǎng)站的３個網(wǎng)頁ｐｐｐ２，ｐ３，其中用戶１采用了順序訪問網(wǎng)頁的方式，逡逑每個網(wǎng)頁的所有請求響應完畢后再去訪問新的網(wǎng)頁，所以網(wǎng)頁Ｐｌ，ｐ２，，ｐ３＆請求之逡逑間保持了一定時間間隔；用戶２采用的是并行訪問網(wǎng)頁的方式，在網(wǎng)頁？１的請求逡逑沒有完全響應之前就訪問了新的網(wǎng)頁廠２，所以Ｐｌ的請求ｒ和ｐ２的請求ｒ之間產(chǎn)生逡逑了重疊。逡逑
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13;TP393.06

【參考文獻】

相關期刊論文 前1條

1 田暢,王海,鄭少仁;基于用戶行為的網(wǎng)絡流量模型及自相似性分析[J];通信學報;2000年09期

本文編號：2556633