隨著移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展,越來(lái)越多的人們選擇使用手機(jī)上網(wǎng)瀏覽信息,這也導(dǎo)致了網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)爆發(fā)式的增長(zhǎng)。在人工智能迅速崛起的年代,利用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)從這些數(shù)據(jù)中挖掘信息對(duì)用戶進(jìn)行畫像,可以使得互聯(lián)網(wǎng)更好的服務(wù)用戶。社交網(wǎng)絡(luò)是一種理論結(jié)構(gòu),可用于研究人們之間的關(guān)系。通過(guò)挖掘人們之間的社交關(guān)系有助于對(duì)用戶進(jìn)行畫像,從而實(shí)現(xiàn)更加精準(zhǔn)的推薦,給用戶帶來(lái)更好的上網(wǎng)體驗(yàn)。本文首先介紹了研究的背景意義以及組織結(jié)構(gòu)。接著介紹了分析的總體架構(gòu)圖,數(shù)據(jù)處理平臺(tái)Spark,數(shù)據(jù)集以及數(shù)據(jù)預(yù)處理。后面主要從線上以及線下這兩個(gè)角度對(duì)社交網(wǎng)絡(luò)進(jìn)行詳細(xì)的構(gòu)建與分析。一是基于瀏覽過(guò)京東、天貓、淘寶這三個(gè)電商網(wǎng)站的用戶數(shù)據(jù)構(gòu)建線上社交網(wǎng)絡(luò),計(jì)算網(wǎng)絡(luò)的相關(guān)指標(biāo)并與傳統(tǒng)網(wǎng)絡(luò)指標(biāo)進(jìn)行對(duì)比,從商品角度展開多維度的分析,從而豐富商品特性。二是基于瀏覽過(guò)京東這個(gè)電商網(wǎng)站的用戶數(shù)據(jù)構(gòu)建線下社交網(wǎng)絡(luò),分析用戶在線下的移動(dòng)特性,并結(jié)合線上社交網(wǎng)絡(luò)探究線上與線下社交網(wǎng)絡(luò)的重疊性。最后,在重疊性的基礎(chǔ)上進(jìn)一步探索線上與線下社交網(wǎng)絡(luò)的相互拓展性,通過(guò)用戶線下行為特征以及線下社交網(wǎng)絡(luò)特征預(yù)測(cè)用戶之間在線上是否存在好友關(guān)系來(lái)展開分析�；谟脩魹g... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

線上與線下社交網(wǎng)絡(luò)分析總體架構(gòu)圖

２．３．１數(shù)據(jù)采集??本文所采用的數(shù)據(jù)是從所在科研團(tuán)隊(duì)所擁有的網(wǎng)絡(luò)流量采集系統(tǒng)ＴＭＳ??（Ｔｒａｆｆｉｃ?Ｍｏｎｉｔｏｒｉｎｇ?Ｓｙｓｔｅｍ）收集到的，圖２－２是流量采集系統(tǒng)的部署圖。該系??統(tǒng)部署在運(yùn)營(yíng)商的接入網(wǎng)和骨干網(wǎng)上，可以全天實(shí)時(shí)的采集用戶上網(wǎng)流量數(shù)據(jù)，??采集后的數(shù)據(jù)存儲(chǔ)在Ｈａｄｏｏｐ分布式文件系統(tǒng)（ＨＤＦＳ）中，供我們實(shí)時(shí)的對(duì)數(shù)據(jù)??進(jìn)行分析和處理。這些采集的數(shù)據(jù)是真實(shí)的互聯(lián)網(wǎng)流量數(shù)據(jù)，更加有助于我們從??現(xiàn)實(shí)世界的數(shù)據(jù)中發(fā)現(xiàn)潛在的規(guī)律。??６??Ｉ??

??線上社交網(wǎng)絡(luò)的構(gòu)建不僅僅基于用戶訪問(wèn)了相同的商品ＩＤ，還基于用戶訪??問(wèn)了相Ｍ的商品類別，并在此基礎(chǔ)上展開了與線下社交網(wǎng)絡(luò)的重疊性和相互拓展??性分析。另外，在構(gòu)建線上社交網(wǎng)絡(luò)的同時(shí)，還甚丁？商品構(gòu)建了線上商品網(wǎng)絡(luò)，??并從商品的角度展開了多維的分析，如商品的流行度以及商品衡量用戶相似性。??因此，僅僅知道了用戶瀏覽過(guò)的商品ＩＤ是不夠的，還需要知道這些商品的類別??是什么，所以需要通過(guò)網(wǎng)頁(yè)爬取的方式獲取商品的具體含義。網(wǎng)頁(yè)爬取是一個(gè)自??動(dòng)提取Ｎ頁(yè)的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問(wèn)萬(wàn)維網(wǎng)上的網(wǎng)頁(yè)與相??關(guān)的鏈接，獲取所耑要的信息。這ＩＲ的網(wǎng)頁(yè)爬取只楚每次去抓取起始頁(yè)面的相應(yīng)??借息，不需要通過(guò)Ｎ貞的鏈接去獲取更多的頁(yè)面信息。即針對(duì)每一個(gè)商品ＩＤ，??都給它構(gòu)造對(duì)應(yīng)的商品鏈接，通過(guò)循環(huán)的方式不斷的去爬取每個(gè)商品的信息。??如圖２－３所示，展示的是京東某個(gè)商品的頁(yè)面信息，需要從圖中提取的是商??品的具體類別。在網(wǎng)頁(yè)的左上角的藍(lán)色方框中可以發(fā)現(xiàn)，網(wǎng)站對(duì)商品自動(dòng)分成了??多個(gè)類別，類別的大小從左到右依次減小。所以通過(guò)網(wǎng)頁(yè)爬取的方式，可以將一??串?dāng)?shù)字表示的商品轉(zhuǎn)換成有具體含義的商品信息。??＂「Ｚ－Ｔｐｙｔｈｏｎ??


本文編號(hào)：3511109