隨著互聯(lián)網的持續(xù)發(fā)展,在社交平臺上進行交友聊天逐漸成為人們日常生活的一部分。用戶每天都會產生海量數據,對這些數據信息進行爬取、分析,也是各社交平臺中常見的商業(yè)行為。在社交應用平臺中,由于用戶產生的數據信息量大、復雜多變,導致商戶無法有效、合理利用。因此,如何利用用戶信息進行分析處理,優(yōu)化平臺的好友推薦策略是課題研究的主要內容。論文通過對微博用戶群研究發(fā)現(xiàn):對用戶而言,考慮的推薦因素往往在發(fā)表的微博中,而圖片能傳達出的信息不亞于文字,并且興趣愛好會隨著時間而消逝。結合以上特點,通過使用目標檢測技術提取圖中信息,結合時序模型對提取結果做進一步時間處理,設計并實現(xiàn)了一個基于用戶個人信息和圖片信息的微博好友推薦系統(tǒng)。論文的主要工作如下:(1)微博用戶數據集的獲取:針對新浪微博這一社交平臺,本文完成了基于Scrapy框架爬蟲系統(tǒng)的實現(xiàn)。該系統(tǒng)采取了模擬登錄手段解決微博用戶身份認證的問題,使用代理池、Cookies池解決反爬蟲的困擾,通過對微博中各頁面的Ajax鏈接進行剖析,組建待爬URL,基于Scrapy框架設計爬蟲代碼以進行遞歸爬取,實現(xiàn)對用戶個人資料、好友信息、微博數據的收集。(2)提出基于...

【文章頁數】：71 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 國內外研究現(xiàn)狀
        1.2.1 推薦系統(tǒng)國內外研究現(xiàn)狀
        1.2.2 好友推薦國內外研究現(xiàn)狀
    1.3 論文主要研究內容
    1.4 論文組織結構
第二章 相關技術研究
    2.1 爬蟲技術概述
        2.1.1 網絡爬蟲分類
        2.1.2 網頁搜索策略
        2.1.3 網絡爬蟲架構與運行流程
        2.1.4 分布式網絡爬蟲的工作原理
    2.2 推薦系統(tǒng)相關算法
        2.2.1 基于人口統(tǒng)計學的推薦
        2.2.2 基于內容的推薦
        2.2.3 基于協(xié)同過濾的推薦
        2.2.4 基于混合模型的推薦
    2.3 常用目標檢測算法
        2.3.1 R-CNN目標檢測算法
        2.3.2 Yolo目標檢測算法
        2.3.3 SSD目標檢測算法
    2.4 本章小結
第三章 基于Scrapy的微博用戶數據爬取
    3.1 概述
    3.2 微博數據獲取方法
    3.3 網絡爬蟲的實現(xiàn)
        3.3.1 模擬登錄
        3.3.2 源代碼獲取
        3.3.3 好友信息爬取
        3.3.4 用戶信息爬取
        3.3.5 微博信息爬取
    3.4 數據處理
        3.4.1 用戶數據清洗
        3.4.2 用戶數據持久化
    3.5 本章小結
第四章 基于SSD和時序模型的好友推薦算法
    4.1 基于SSD和時序模型的好友推薦算法概述
    4.2 目標檢測SSD算法
        4.2.1 目標檢測SSD的設計理念
        4.2.2 目標檢測SSD的模型訓練
    4.3 訓練數據集概述
    4.4 基于人口統(tǒng)計學的好友推薦模塊的設計
    4.5 BSBT-FR模塊的設計
        4.5.1 構建用戶興趣向量
        4.5.2 時序處理
        4.5.3 構建用戶-興趣評分矩陣
    4.6 實驗與測評
        4.6.1 實驗環(huán)境與實驗數據
        4.6.2 實驗評價標準
        4.6.3 實驗結果與分析
    4.7 本章小結
第五章 基于SSD和時序模型算法的推薦系統(tǒng)的設計與實現(xiàn)
    5.1 好友推薦系統(tǒng)需求分析
    5.2 好友推薦系統(tǒng)設計
        5.2.1 系統(tǒng)架構設計
        5.2.2 系統(tǒng)運行模型設計
        5.2.3 系統(tǒng)功能模塊設計
        5.2.4 數據庫設計
    5.3 核心功能模塊的實現(xiàn)
        5.3.1 圖片文件預處理模塊實現(xiàn)
        5.3.2 好友推薦模塊實現(xiàn)
    5.4 好友推薦系統(tǒng)的應用案例
    5.5 本章小結
第六章 總結與展望
    6.1 總結
    6.2 存在的問題與不足
    6.3 未來研究展望
參考文獻
致謝
攻讀碩士期間發(fā)表的學術論文和科研情況



本文編號：3844357