隨著科技的不斷進(jìn)步,人們的生活質(zhì)量有了明顯的提高,當(dāng)今社會已經(jīng)步入大數(shù)據(jù)與智能化快速發(fā)展的階段,信息爆炸是互聯(lián)網(wǎng)賦予現(xiàn)代社會的特征,人工智能和大數(shù)據(jù)技術(shù)的普及,促進(jìn)了推薦系統(tǒng)的快速發(fā)展。通過對海量信息的挖掘與分析,可以使推薦更符合人們的選擇,打破了傳統(tǒng)推薦系統(tǒng)挖掘分析不充分的壁壘。本文在仔細(xì)研究國內(nèi)外關(guān)于推薦系統(tǒng)相關(guān)算法的基礎(chǔ)上,結(jié)合當(dāng)前最新的大數(shù)據(jù)技術(shù),成功設(shè)計出基于分布式,層疊模式,B/S架構(gòu),高并發(fā),響應(yīng)快,精度高的推薦系統(tǒng)。本文利用基于Hadoop生態(tài)系統(tǒng)組件,包括HBase,Spark框架,結(jié)合Web后端技術(shù),通過層疊架構(gòu)的混合推薦算法,部署了整個基于海量數(shù)據(jù)的推薦系統(tǒng)算法與軟件工程協(xié)同設(shè)計方案。設(shè)計了基于層疊架構(gòu)的混合推薦算法工程,整個算法流程分為三個階段,首先在Spark平臺下將基于記憶的物品協(xié)同相似度算法和基于TF-IDF的內(nèi)容相似度算法通過RDD方式構(gòu)建DAG有向無環(huán)圖形成第一階段的相似度模型進(jìn)行物品的關(guān)聯(lián)獲取。接著采用特征編碼方式構(gòu)建用戶畫像模型和物品畫像模型引入分類樣本,最后構(gòu)建DNN深度神經(jīng)網(wǎng)絡(luò)分類器,該網(wǎng)絡(luò)將Embedding作為輸入層,多個隱藏層,Softm... 

【文章來源】：廣西師范大學(xué)廣西壯族自治區(qū)

【文章頁數(shù)】：62 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 課題研究背景及意義
    1.2 推薦系統(tǒng)研究現(xiàn)狀
    1.3 本文的主要研究內(nèi)容及工作安排
第2章 層疊式推薦系統(tǒng)整體架構(gòu)
    2.1 系統(tǒng)的整體架構(gòu)
    2.2 系統(tǒng)的元數(shù)據(jù)信息
        2.2.1 數(shù)據(jù)獲取
        2.2.2 數(shù)據(jù)預(yù)處理
    2.3 推薦混合算法設(shè)計流程
    2.4 推薦系統(tǒng)協(xié)同設(shè)計流程
    2.5 本章小結(jié)
第3章 層疊式混合算法建模設(shè)計
    3.1 算法建�？偭鞒�
    3.2 相似度模型設(shè)計
        3.2.1 基于記憶的物品協(xié)同相似度算法
        3.2.2 基于TF-IDF的內(nèi)容相似度算法
        3.2.3 基于Spark框架的算法實現(xiàn)
    3.3 用戶畫像和物品畫像模型設(shè)計
        3.3.1 用戶畫像和物品畫像的簡介
        3.3.2 用戶畫像和物品畫像建模
    3.4 推薦分類器的設(shè)計
        3.4.1 詞嵌入和DNN的簡介
        3.4.2 推薦分類模型結(jié)構(gòu)
        3.4.3 推薦分類模型優(yōu)化
    3.5 本章小結(jié)
第4章 層疊式推薦系統(tǒng)協(xié)同設(shè)計
    4.1 系統(tǒng)服務(wù)總流程
    4.2 推薦系統(tǒng)平臺的環(huán)境部署設(shè)計
        4.2.1 Web引擎層的配置設(shè)計
        4.2.2 大數(shù)據(jù)平臺的框架配置設(shè)計
    4.3 模型文件表設(shè)計
        4.3.1 HBase簡介
        4.3.2 HBase表設(shè)計
    4.4 模型存儲設(shè)計
    4.5 模型查詢設(shè)計
    4.6 上游服務(wù)器推薦流程軟件工程設(shè)計
    4.7 本章小結(jié)
第5章 實驗結(jié)果和系統(tǒng)測試分析
    5.1 推薦系統(tǒng)性能測試
        5.1.1 相似度模型算法性能測試
        5.1.2 分類模型算法性能測試
    5.2 推薦系統(tǒng)服務(wù)測試
        5.2.1 AB壓力性能測試
        5.2.2 前端推薦展示
    5.3 本章小結(jié)
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間的科研成果
致謝


【參考文獻(xiàn)】：
期刊論文
[1]基于混合maxout單元的卷積神經(jīng)網(wǎng)絡(luò)性能優(yōu)化[J]. 趙慧珍,劉付顯,李龍躍,羅暢.  通信學(xué)報. 2017(07)
[2]面向用戶興趣與社區(qū)關(guān)系的微博話題檢測方法[J]. 劉志雄,賈彩燕.  智能系統(tǒng)學(xué)報. 2016(03)
[3]基于Hadoop平臺協(xié)同過濾推薦算法[J]. 楊志文,劉波.  計算機(jī)系統(tǒng)應(yīng)用. 2013(07)
[4]一種基于Hadoop的個性化推薦系統(tǒng)架構(gòu)[J]. 張永霞,王洪波,程時端.  新型工業(yè)化. 2012(08)
[5]基于Hadoop的Web日志挖掘[J]. 程苗,陳華平.  計算機(jī)工程. 2011(11)
[6]協(xié)同過濾系統(tǒng)項目冷啟動的混合推薦算法[J]. 郭艷紅,鄧貴仕.  計算機(jī)工程. 2008(23)
[7]基于BSP模型的大規(guī)模線性規(guī)劃并行算法研究[J]. 田媛,彭勤科.  微機(jī)發(fā)展. 2005(12)

碩士論文
[1]基于深度學(xué)習(xí)的Web社區(qū)推薦算法研究與應(yīng)用[D]. 劉宇寧.西南交通大學(xué) 2018
[2]基于HBase的車輛軌跡數(shù)據(jù)管理與分析[D]. 雷云鵬.西南交通大學(xué) 2017
[3]基于稀疏自動編碼器和邊緣降噪自動編碼器的深度學(xué)習(xí)算法研究[D]. 鄧俊鋒.武漢科技大學(xué) 2016
[4]基于MapReduce的熱點(diǎn)話題發(fā)現(xiàn)及演化分析方法研究[D]. 譚真.國防科學(xué)技術(shù)大學(xué) 2014
[5]基于混合模式的個性化推薦系統(tǒng)的應(yīng)用研究[D]. 石靜.武漢理工大學(xué) 2010
[6]分布式并行文件系統(tǒng)DPFS的SSI技術(shù)[D]. 嚴(yán)功軍.電子科技大學(xué) 2004



本文編號：3542768