如今,信息科技高速發(fā)展,信息量呈現(xiàn)出爆炸式的增長(zhǎng),在面對(duì)琳瑯滿目的各種數(shù)據(jù)信息時(shí),人們?nèi)绾螐娜绱硕鄻踊男畔⒅袡z索真正有用的信息,提高多信息使用的效率已成為一項(xiàng)巨大的挑戰(zhàn)。這是人們經(jīng)常對(duì)信息過(guò)載的看法。推薦系統(tǒng)便是為了解決這一問(wèn)題而應(yīng)運(yùn)而生的一項(xiàng)互聯(lián)網(wǎng)技術(shù),通過(guò)研究用戶的興趣與愛(ài)好,根據(jù)用戶的不同,個(gè)性化地給他們進(jìn)行信息的推薦。但是,由于技術(shù)的缺乏,推薦系統(tǒng)的計(jì)算結(jié)果無(wú)法實(shí)時(shí)反饋給用戶,推薦的數(shù)據(jù)不能實(shí)時(shí)更新,使得推薦有滯遲,這即是推薦系統(tǒng)中的實(shí)時(shí)問(wèn)題。另外,在網(wǎng)站的初始階段,由于數(shù)據(jù)的缺乏,無(wú)法進(jìn)行有效的推薦,這即是推薦算法的冷啟動(dòng)問(wèn)題。因此,本文的寫作目的就是為了解決上面提到的兩個(gè)難題。本文的主要工作包括:(1)對(duì)于實(shí)時(shí)性問(wèn)題,使用Spark Streaming流處理框架對(duì)推薦系統(tǒng)進(jìn)行設(shè)計(jì)并實(shí)現(xiàn),并將推薦系統(tǒng)分為在線實(shí)時(shí)計(jì)算模塊和離線延時(shí)計(jì)算模塊兩部分,這樣可以充分的兩種計(jì)算模式的優(yōu)勢(shì)。(2)對(duì)于算法的冷啟動(dòng)問(wèn)題,我們?cè)诒疚闹刑岢隽艘环N混合協(xié)同過(guò)濾推薦算法。該算法混合了聚類與矩陣分解兩種常見(jiàn)的方法,通過(guò)對(duì)目標(biāo)用戶使用關(guān)聯(lián)聚類和特征值分解,有效的克服了冷啟動(dòng)問(wèn)題。通過(guò)實(shí)驗(yàn)數(shù)據(jù)的比較,...

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 研究現(xiàn)狀
    1.3 本文的主要工作
    1.4 論文體系結(jié)構(gòu)
第二章 相關(guān)技術(shù)介紹
    2.1 大數(shù)據(jù)處理框架Hadoop及其組件
        2.1.1 Hadoop概述
        2.1.2 HDFS分布式文件系統(tǒng)
        2.1.3 YARN分布式資源管理系統(tǒng)概述
        2.1.4 YARN多計(jì)算框架支持
        2.1.5 MapReduce并行計(jì)算框架
    2.2 Spark內(nèi)存計(jì)算框架
        2.2.1 Spark簡(jiǎn)介
        2.2.2 Spark的設(shè)計(jì)思想
        2.2.3 Spark的運(yùn)行架構(gòu)
        2.2.4 Spark和 MapReduce的對(duì)比
    2.3 推薦系統(tǒng)概述
        2.3.1 推薦系統(tǒng)簡(jiǎn)介
        2.3.2 推薦算法
        2.3.3 推薦系統(tǒng)冷啟動(dòng)問(wèn)題
        2.3.4 推薦系統(tǒng)實(shí)時(shí)性問(wèn)題
    2.4 本章小結(jié)
第三章 推薦系統(tǒng)的冷啟動(dòng)問(wèn)題的研究及改進(jìn)算法驗(yàn)證
    3.1 問(wèn)題的提出
    3.2 相關(guān)工作
        3.2.1 K-means聚類算法
        3.2.2 特征映射算法
        3.2.3 基于矩陣分解的最小二乘算法
    3.3 混合協(xié)同過(guò)濾算法
        3.3.1 算法的基本思想
        3.3.2 算法
        3.3.3 算法分析
    3.4 實(shí)驗(yàn)及分析
        3.4.1 實(shí)驗(yàn)環(huán)境配置
        3.4.2 實(shí)驗(yàn)采用的數(shù)據(jù)集
        3.4.3 實(shí)驗(yàn)結(jié)果分析
    3.5 本章小結(jié)
第四章 推薦系統(tǒng)的分析與設(shè)計(jì)
    4.1 推薦系統(tǒng)的實(shí)時(shí)流計(jì)算
        4.1.1 實(shí)時(shí)性問(wèn)題的提出
        4.1.2 流計(jì)算處理框架
    4.2 需求分析與總體架構(gòu)
        4.2.1 功能需求
        4.2.2 性能需求
        4.2.3 實(shí)時(shí)推薦系統(tǒng)的整體流程及架構(gòu)
    4.3 推薦系統(tǒng)關(guān)鍵模塊的設(shè)計(jì)
        4.3.1 模擬用戶評(píng)分模塊設(shè)計(jì)
        4.3.2 實(shí)時(shí)流計(jì)算模塊設(shè)計(jì)
        4.3.3 推薦引擎模塊設(shè)計(jì)
    4.4 本章小結(jié)
第五章 推薦系統(tǒng)的實(shí)現(xiàn)
    5.1 測(cè)試平臺(tái)搭建
        5.1.1 測(cè)試平臺(tái)環(huán)境說(shuō)明
        5.1.2 Hadoop集群部署
        5.1.3 Spark集群部署
    5.2 實(shí)時(shí)流計(jì)算的實(shí)現(xiàn)
        5.2.1 輸入模塊的實(shí)現(xiàn)
        5.2.2 處理模塊的實(shí)現(xiàn)
        5.2.3 Dstream輸出模塊的實(shí)現(xiàn)
    5.3 推薦引擎的實(shí)現(xiàn)
        5.3.1 加載數(shù)據(jù)模塊的實(shí)現(xiàn)
        5.3.2 模型訓(xùn)練模塊的實(shí)現(xiàn)
        5.3.3 推薦模塊的實(shí)現(xiàn)
    5.4 系統(tǒng)測(cè)試
        5.4.1 模擬用戶評(píng)分
        5.4.2 測(cè)試用例
        5.4.3 測(cè)試結(jié)果
    5.5 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文工作總結(jié)
    6.2 未來(lái)展望
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間撰寫的論文
致謝



本文編號(hào)：3756274