基于Mahout的個(gè)性化圖書推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-01-23 06:24
推薦系統(tǒng)作為輔助用戶選擇、發(fā)掘用戶需求迅速得到了相關(guān)研究者和互聯(lián)網(wǎng)市場(chǎng)的關(guān)注,同時(shí)個(gè)性化推薦服務(wù)也被廣泛應(yīng)用到各個(gè)領(lǐng)域。本論文以分布式存儲(chǔ)和計(jì)算平臺(tái)Hadoop為系統(tǒng)基礎(chǔ)運(yùn)行環(huán)境,使用Mahout的協(xié)同過濾算法和Top-10算法為推薦算法核心。實(shí)現(xiàn)了基于Mahout的個(gè)性化圖書推薦系統(tǒng)。本論文的主要工作如下:1.對(duì)目前主流的推薦算法如基于協(xié)同過濾推薦、基于內(nèi)容的推薦和混合型推薦相關(guān)原理和應(yīng)用場(chǎng)景進(jìn)行了分析和研究。結(jié)合本系統(tǒng)的特點(diǎn)和算法應(yīng)用的廣泛性。選出了適合本系統(tǒng)的推薦算法。2.使用JavaWeb技術(shù)搭建個(gè)性化圖書推薦平臺(tái)網(wǎng)站。本系統(tǒng)采用的是Java開發(fā)中常用的SSH框架和MySQL開發(fā),實(shí)現(xiàn)后臺(tái)、前臺(tái)和數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)交互。3.依據(jù)系統(tǒng)的特性推薦算法選擇了基于協(xié)同過濾推薦和基于Top-10的推薦。這兩種分別用于對(duì)的單個(gè)用戶的個(gè)性化推薦和大眾用戶的Top-10熱門推薦,后者也用于新用戶的冷啟動(dòng)問題。4.設(shè)計(jì)并實(shí)現(xiàn)了以Hadoop為底層的基于Mahout框架的個(gè)性化圖書推薦系統(tǒng)。
【文章來源】:西北民族大學(xué)甘肅省
【文章頁(yè)數(shù)】:56 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
HDFS架構(gòu)圖
圖 2-3 Taste 工作原理組件圖。2.3 推薦算法介紹隨著互聯(lián)網(wǎng)的迅速發(fā)展帶動(dòng)著如淘寶、今日頭條、當(dāng)當(dāng)網(wǎng)等非常依賴于數(shù)據(jù)來提供服務(wù)的公司飛速發(fā)展。擁有龐大的用戶基數(shù)的他們?nèi)绾芜\(yùn)用這些數(shù)據(jù)為用戶提供個(gè)性化推薦是他們的業(yè)務(wù)重點(diǎn)。而運(yùn)用推薦算法對(duì)數(shù)據(jù)進(jìn)行處理正是解決他們業(yè)務(wù)問題的有效方式之一。目前常用的推薦算可以分為以下 3 類:基于協(xié)同過濾的推薦、基于內(nèi)容的推薦和混合型推薦[21]。其中基于協(xié)同過濾的推薦是應(yīng)用最廣泛的。下面我們將對(duì)這 3 類推薦算法進(jìn)行分析。2.3.1 基于協(xié)同過濾的推薦基于協(xié)同過濾的推薦算法是推薦系統(tǒng)中應(yīng)用最成熟的算法之一。基于協(xié)同過濾的推薦核心思想:利用用戶行為數(shù)據(jù)信息對(duì)用戶進(jìn)行特征抽取,其通過計(jì)算用戶與物品相關(guān)性來尋找新的用戶與物品間的相關(guān)性來為當(dāng)前用戶進(jìn)行推薦[22]。
圖 3-1 Mahout 中各組件間關(guān)系圖taModel 實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)功能并為計(jì)算提供其所需的偏好、用戶和們需要將原始數(shù)據(jù)映射成 Mahout 兼容格式這個(gè)過程中我們需要對(duì)預(yù)處理。UserSimilarity(計(jì)算用戶間的相似度)、ItemSimilarity(相似度)、UserNeighborhood(計(jì)算用戶或物品間的“近鄰”關(guān)ender 通過上述組件得出計(jì)算結(jié)果作為參數(shù)得到最終的用戶推薦 的中也提供了推薦評(píng)測(cè)的組件。這方便了對(duì)推薦結(jié)果的評(píng)估。完步驟如下:1)收集用戶或物品特征等相關(guān)數(shù)據(jù),把收集到的特征數(shù)據(jù)進(jìn)行數(shù)數(shù)據(jù)中的冗余和空值(即降低稀疏)。減少數(shù)據(jù)本身之外的信息對(duì)響。2)調(diào)優(yōu)推薦組件相似度計(jì)算組件、鄰近關(guān)系組件。用戶或物品之算。對(duì)于相似度的度量,其中有很多種方法如對(duì)數(shù)似然比相似度似度、歐幾里得相似度等。再通過近鄰算法組件選擇最近鄰居集
【參考文獻(xiàn)】:
期刊論文
[1]基于Hadoop和Mahout的大數(shù)據(jù)管理分析系統(tǒng)[J]. 劉文峰,顧君忠,林欣,陳鵬. 計(jì)算機(jī)應(yīng)用與軟件. 2015(01)
[2]協(xié)同過濾推薦技術(shù)綜述[J]. 冷亞軍,陸青,梁昌勇. 模式識(shí)別與人工智能. 2014(08)
[3]基于Mahout的推薦系統(tǒng)的分析與設(shè)計(jì)[J]. 朱倩,錢立. 科技通報(bào). 2013(06)
[4]Hadoop HDFS和MapReduce架構(gòu)淺析[J]. 郝樹魁. 郵電設(shè)計(jì)技術(shù). 2012(07)
[5]基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開發(fā)[J]. 崔杰,李陶深,蘭紅星. 計(jì)算機(jī)研究與發(fā)展. 2012(S1)
[6]推薦算法綜述[J]. 楊博,趙鵬飛. 山西大學(xué)學(xué)報(bào)(自然科學(xué)版). 2011(03)
[7]MapReduce:新型的分布式并行計(jì)算編程模型[J]. 李成華,張新訪,金海,向文. 計(jì)算機(jī)工程與科學(xué). 2011(03)
[8]基于Hadoop MapReduce模型的應(yīng)用研究[J]. 謝桂蘭,羅省賢. 微型機(jī)與應(yīng)用. 2010(08)
[9]個(gè)性化推薦系統(tǒng)評(píng)價(jià)方法綜述[J]. 劉建國(guó),周濤,郭強(qiáng),汪秉宏. 復(fù)雜系統(tǒng)與復(fù)雜性科學(xué). 2009(03)
[10]協(xié)同過濾推薦算法綜述[J]. 馬宏偉,張光衛(wèi),李鵬. 小型微型計(jì)算機(jī)系統(tǒng). 2009(07)
博士論文
[1]基于協(xié)同過濾的推薦算法研究[D]. 劉青文.中國(guó)科學(xué)技術(shù)大學(xué) 2013
碩士論文
[1]Mahout音樂推薦引擎關(guān)鍵技術(shù)研究[D]. 李媛媛.蘭州理工大學(xué) 2018
[2]基于Mahout的電子商務(wù)個(gè)性化推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉媛媛.中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院) 2017
[3]基于Storm的實(shí)時(shí)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 朱群.西安電子科技大學(xué) 2017
[4]基于Mahout的電影推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李松.華中科技大學(xué) 2016
[5]基于Hadoop的協(xié)同過濾推薦算法的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李狀.南京郵電大學(xué) 2016
[6]面向移動(dòng)終端的新聞推薦系統(tǒng)的研究與實(shí)現(xiàn)[D]. 馮晨.華北電力大學(xué)(北京) 2016
[7]基于MapReduce的軟件網(wǎng)絡(luò)模體查找算法研究[D]. 李俊.東北大學(xué) 2014
[8]基于Apache Mahout的推薦算法的研究與實(shí)現(xiàn)[D]. 常江.電子科技大學(xué) 2013
[9]基于Mahout的推薦系統(tǒng)的研究與實(shí)現(xiàn)[D]. 馬寧.蘭州大學(xué) 2013
[10]基于MapReduce的模體發(fā)現(xiàn)問題算法研究[D]. 林帥.西安電子科技大學(xué) 2012
本文編號(hào):2994726
【文章來源】:西北民族大學(xué)甘肅省
【文章頁(yè)數(shù)】:56 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
HDFS架構(gòu)圖
圖 2-3 Taste 工作原理組件圖。2.3 推薦算法介紹隨著互聯(lián)網(wǎng)的迅速發(fā)展帶動(dòng)著如淘寶、今日頭條、當(dāng)當(dāng)網(wǎng)等非常依賴于數(shù)據(jù)來提供服務(wù)的公司飛速發(fā)展。擁有龐大的用戶基數(shù)的他們?nèi)绾芜\(yùn)用這些數(shù)據(jù)為用戶提供個(gè)性化推薦是他們的業(yè)務(wù)重點(diǎn)。而運(yùn)用推薦算法對(duì)數(shù)據(jù)進(jìn)行處理正是解決他們業(yè)務(wù)問題的有效方式之一。目前常用的推薦算可以分為以下 3 類:基于協(xié)同過濾的推薦、基于內(nèi)容的推薦和混合型推薦[21]。其中基于協(xié)同過濾的推薦是應(yīng)用最廣泛的。下面我們將對(duì)這 3 類推薦算法進(jìn)行分析。2.3.1 基于協(xié)同過濾的推薦基于協(xié)同過濾的推薦算法是推薦系統(tǒng)中應(yīng)用最成熟的算法之一。基于協(xié)同過濾的推薦核心思想:利用用戶行為數(shù)據(jù)信息對(duì)用戶進(jìn)行特征抽取,其通過計(jì)算用戶與物品相關(guān)性來尋找新的用戶與物品間的相關(guān)性來為當(dāng)前用戶進(jìn)行推薦[22]。
圖 3-1 Mahout 中各組件間關(guān)系圖taModel 實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)功能并為計(jì)算提供其所需的偏好、用戶和們需要將原始數(shù)據(jù)映射成 Mahout 兼容格式這個(gè)過程中我們需要對(duì)預(yù)處理。UserSimilarity(計(jì)算用戶間的相似度)、ItemSimilarity(相似度)、UserNeighborhood(計(jì)算用戶或物品間的“近鄰”關(guān)ender 通過上述組件得出計(jì)算結(jié)果作為參數(shù)得到最終的用戶推薦 的中也提供了推薦評(píng)測(cè)的組件。這方便了對(duì)推薦結(jié)果的評(píng)估。完步驟如下:1)收集用戶或物品特征等相關(guān)數(shù)據(jù),把收集到的特征數(shù)據(jù)進(jìn)行數(shù)數(shù)據(jù)中的冗余和空值(即降低稀疏)。減少數(shù)據(jù)本身之外的信息對(duì)響。2)調(diào)優(yōu)推薦組件相似度計(jì)算組件、鄰近關(guān)系組件。用戶或物品之算。對(duì)于相似度的度量,其中有很多種方法如對(duì)數(shù)似然比相似度似度、歐幾里得相似度等。再通過近鄰算法組件選擇最近鄰居集
【參考文獻(xiàn)】:
期刊論文
[1]基于Hadoop和Mahout的大數(shù)據(jù)管理分析系統(tǒng)[J]. 劉文峰,顧君忠,林欣,陳鵬. 計(jì)算機(jī)應(yīng)用與軟件. 2015(01)
[2]協(xié)同過濾推薦技術(shù)綜述[J]. 冷亞軍,陸青,梁昌勇. 模式識(shí)別與人工智能. 2014(08)
[3]基于Mahout的推薦系統(tǒng)的分析與設(shè)計(jì)[J]. 朱倩,錢立. 科技通報(bào). 2013(06)
[4]Hadoop HDFS和MapReduce架構(gòu)淺析[J]. 郝樹魁. 郵電設(shè)計(jì)技術(shù). 2012(07)
[5]基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開發(fā)[J]. 崔杰,李陶深,蘭紅星. 計(jì)算機(jī)研究與發(fā)展. 2012(S1)
[6]推薦算法綜述[J]. 楊博,趙鵬飛. 山西大學(xué)學(xué)報(bào)(自然科學(xué)版). 2011(03)
[7]MapReduce:新型的分布式并行計(jì)算編程模型[J]. 李成華,張新訪,金海,向文. 計(jì)算機(jī)工程與科學(xué). 2011(03)
[8]基于Hadoop MapReduce模型的應(yīng)用研究[J]. 謝桂蘭,羅省賢. 微型機(jī)與應(yīng)用. 2010(08)
[9]個(gè)性化推薦系統(tǒng)評(píng)價(jià)方法綜述[J]. 劉建國(guó),周濤,郭強(qiáng),汪秉宏. 復(fù)雜系統(tǒng)與復(fù)雜性科學(xué). 2009(03)
[10]協(xié)同過濾推薦算法綜述[J]. 馬宏偉,張光衛(wèi),李鵬. 小型微型計(jì)算機(jī)系統(tǒng). 2009(07)
博士論文
[1]基于協(xié)同過濾的推薦算法研究[D]. 劉青文.中國(guó)科學(xué)技術(shù)大學(xué) 2013
碩士論文
[1]Mahout音樂推薦引擎關(guān)鍵技術(shù)研究[D]. 李媛媛.蘭州理工大學(xué) 2018
[2]基于Mahout的電子商務(wù)個(gè)性化推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉媛媛.中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院) 2017
[3]基于Storm的實(shí)時(shí)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 朱群.西安電子科技大學(xué) 2017
[4]基于Mahout的電影推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李松.華中科技大學(xué) 2016
[5]基于Hadoop的協(xié)同過濾推薦算法的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李狀.南京郵電大學(xué) 2016
[6]面向移動(dòng)終端的新聞推薦系統(tǒng)的研究與實(shí)現(xiàn)[D]. 馮晨.華北電力大學(xué)(北京) 2016
[7]基于MapReduce的軟件網(wǎng)絡(luò)模體查找算法研究[D]. 李俊.東北大學(xué) 2014
[8]基于Apache Mahout的推薦算法的研究與實(shí)現(xiàn)[D]. 常江.電子科技大學(xué) 2013
[9]基于Mahout的推薦系統(tǒng)的研究與實(shí)現(xiàn)[D]. 馬寧.蘭州大學(xué) 2013
[10]基于MapReduce的模體發(fā)現(xiàn)問題算法研究[D]. 林帥.西安電子科技大學(xué) 2012
本文編號(hào):2994726
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/2994726.html
最近更新
教材專著