用戶行為分析算法及其在Spark上的應(yīng)用研究
發(fā)布時(shí)間:2021-09-09 09:34
隨著互聯(lián)網(wǎng)的飛速發(fā)展,大數(shù)據(jù)已經(jīng)成為時(shí)代的熱點(diǎn)之一。在此背景下,網(wǎng)絡(luò)用戶行為數(shù)據(jù)量急速增長,而商家迫切需要通過對(duì)這些數(shù)據(jù)分析來了解用戶的興趣愛好,以便于向用戶做精準(zhǔn)的廣告投放和適合用戶需求的個(gè)性化推薦來達(dá)到利潤最大化的目的,而用戶也需要商家對(duì)自己的行為數(shù)據(jù)分析之后,有針對(duì)性的提供用戶自身感興趣的信息,從而享受更加便利快捷的服務(wù)。目前,已經(jīng)有許多學(xué)者對(duì)用戶行為分析做了相關(guān)研究。然而在數(shù)據(jù)量日益增大的情況下,傳統(tǒng)的數(shù)據(jù)庫技術(shù)已經(jīng)難以滿足需求,近年來,各種大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生,Hadoop、Spark等平臺(tái)為處理海量的用戶行為數(shù)據(jù)提供了技術(shù)支撐。本文在研究了神經(jīng)網(wǎng)絡(luò)的多種學(xué)習(xí)方法后,針對(duì)基于梯度下降算法的神經(jīng)網(wǎng)絡(luò)收斂速度慢,易陷入局部最優(yōu)問題與基于進(jìn)化算法的神經(jīng)網(wǎng)絡(luò)計(jì)算量過大的缺點(diǎn),提出了一種使用BSA算法改進(jìn)神經(jīng)網(wǎng)絡(luò)的算法——BSANN算法。BSANN算法利用群智能算法計(jì)算簡單的特點(diǎn)來加快神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度,全局搜索能力強(qiáng)的特點(diǎn)提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率,同時(shí)利用BSA算法中的遷移概念避免了陷入局部最優(yōu)解的問題。在此基礎(chǔ)上,本文對(duì)電商網(wǎng)站的用戶行為數(shù)據(jù)進(jìn)行了分析,建立了相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型并從其中提...
【文章來源】:浙江工業(yè)大學(xué)浙江省
【文章頁數(shù)】:58 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
Spark生態(tài)圈
浙江工業(yè)大學(xué)碩士學(xué)位論文 Spark 架構(gòu)Spark 集群的架構(gòu)為主從式(Master-Slave)架構(gòu),如圖 2-2。主節(jié)點(diǎn)被ter 節(jié)點(diǎn)或 Driver 節(jié)點(diǎn),它只負(fù)責(zé)調(diào)度各個(gè)工作節(jié)點(diǎn),并不會(huì)參與集群主節(jié)點(diǎn)負(fù)責(zé)管控各個(gè)從節(jié)點(diǎn)的運(yùn)行狀態(tài)和資源分配。而從節(jié)點(diǎn)被稱為 W,負(fù)責(zé)接收主節(jié)點(diǎn)的命令與向主節(jié)點(diǎn)匯報(bào)狀態(tài)。執(zhí)行器(Executor)負(fù)Task)的調(diào)度和執(zhí)行;Driver 負(fù)責(zé)控制一個(gè)應(yīng)用(Application)的執(zhí)行 Spark 應(yīng)用的執(zhí)行過程中,Driver 是 Application 的邏輯執(zhí)行起點(diǎn),它lication 的 main 函數(shù)并創(chuàng)建 SparkContext,SparkContext 把 Task 分發(fā)給 W Executor;Worker 啟動(dòng) Executor,Executor 啟動(dòng)線程池用于執(zhí)行 Task。
否則返回第三步。于蟻群算法中每個(gè)個(gè)體都是一個(gè)單獨(dú)計(jì)算的單元,故而有著很好的并行性。同時(shí)每個(gè)個(gè)體之間是通過信息素進(jìn)行交流的,所以在信息傳遞方面小。蟻群算法的特點(diǎn)有分布式計(jì)算,正反饋機(jī)制與貪婪式搜索,它具有搜索最優(yōu)解的能力,但同時(shí),它也有著收斂速度慢,容易陷入局部最優(yōu)神經(jīng)網(wǎng)絡(luò)物學(xué)中,構(gòu)成神經(jīng)系統(tǒng)的基本單元是神經(jīng)細(xì)胞,亦稱為生物神經(jīng)元。人是由 1000 多億神經(jīng)元組成的。單個(gè)神經(jīng)元主要由細(xì)胞體,軸突和樹突圖 2-3 所示。
【參考文獻(xiàn)】:
期刊論文
[1]基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測[J]. 趙懷柏,王逸凡,宋曉鵬. 交通與運(yùn)輸(學(xué)術(shù)版). 2017(02)
[2]基于遺傳算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的IAQ評(píng)價(jià)[J]. 馮浩棟,韓旭,羅華山. 微型機(jī)與應(yīng)用. 2017(23)
[3]改進(jìn)鳥群算法用于SVM參數(shù)選擇[J]. 張偉偉,劉勇進(jìn),彭君君. 計(jì)算機(jī)工程與設(shè)計(jì). 2017(12)
[4]基于遺傳神經(jīng)網(wǎng)絡(luò)的機(jī)器人視覺控制方法[J]. 郭文靜,鄭來芳. 電子測量技術(shù). 2017(12)
[5]基于灰狼群智能最優(yōu)化的神經(jīng)網(wǎng)絡(luò)PM2.5濃度預(yù)測[J]. 石峰,樓文高,張博. 計(jì)算機(jī)應(yīng)用. 2017(10)
[6]基于群智能算法的神經(jīng)網(wǎng)絡(luò)建模研究[J]. 王閃閃. 電子科技. 2017(04)
[7]改進(jìn)鳥群算法及其在梯級(jí)水庫優(yōu)化調(diào)度中的應(yīng)用[J]. 崔東文,金波. 三峽大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(06)
[8]基于嵌入式向量和循環(huán)神經(jīng)網(wǎng)絡(luò)的用戶行為預(yù)測方法[J]. 劉楊濤,南書坡,楊新鋒. 現(xiàn)代電子技術(shù). 2016(23)
[9]大數(shù)據(jù)技術(shù)的發(fā)展及其研究綜述[J]. 陳俊宇. 中國管理信息化. 2016(20)
[10]群智能算法優(yōu)化神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)安全的應(yīng)用[J]. 何歡. 現(xiàn)代電子技術(shù). 2016(20)
博士論文
[1]基于矩陣分解的個(gè)性化推薦系統(tǒng)[D]. 王科強(qiáng).華東師范大學(xué) 2017
[2]PSO優(yōu)化神經(jīng)網(wǎng)絡(luò)算法的研究及其應(yīng)用[D]. 涂娟娟.江蘇大學(xué) 2013
碩士論文
[1]基于深度神經(jīng)網(wǎng)絡(luò)的視頻個(gè)性化推薦系統(tǒng)研究[D]. 高睿.深圳大學(xué) 2017
[2]個(gè)性化推薦系統(tǒng)中基于用戶的協(xié)同過濾算法與系統(tǒng)架構(gòu)的研究與優(yōu)化[D]. 許征征.山東大學(xué) 2017
[3]基于Hadoop的電子商務(wù)推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 王東.西安工業(yè)大學(xué) 2017
[4]基于SVD與SVM混合推薦的電影推薦系統(tǒng)的研究[D]. 薄慧麗.太原理工大學(xué) 2017
[5]基于特征選擇和模型融合的網(wǎng)絡(luò)購買行為預(yù)測研究[D]. 劉瀟蔓.北京交通大學(xué) 2017
[6]基于Hadoop的新聞推薦系統(tǒng)關(guān)鍵技術(shù)的研究[D]. 王均賢.天津理工大學(xué) 2017
[7]基于Spark的推薦系統(tǒng)的研究[D]. 李現(xiàn)偉.浙江理工大學(xué) 2017
[8]針對(duì)大規(guī)模網(wǎng)絡(luò)訪問數(shù)據(jù)的相關(guān)性及用戶行為預(yù)測分析[D]. 李淑婷.北京郵電大學(xué) 2017
[9]基于Spark的網(wǎng)絡(luò)用戶行為分析方法的研究[D]. 阮得寶.湖南工業(yè)大學(xué) 2016
[10]基于大規(guī)模電商數(shù)據(jù)的用戶消費(fèi)行為分析方法研究[D]. 顧海斌.吉林大學(xué) 2016
本文編號(hào):3391857
【文章來源】:浙江工業(yè)大學(xué)浙江省
【文章頁數(shù)】:58 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
Spark生態(tài)圈
浙江工業(yè)大學(xué)碩士學(xué)位論文 Spark 架構(gòu)Spark 集群的架構(gòu)為主從式(Master-Slave)架構(gòu),如圖 2-2。主節(jié)點(diǎn)被ter 節(jié)點(diǎn)或 Driver 節(jié)點(diǎn),它只負(fù)責(zé)調(diào)度各個(gè)工作節(jié)點(diǎn),并不會(huì)參與集群主節(jié)點(diǎn)負(fù)責(zé)管控各個(gè)從節(jié)點(diǎn)的運(yùn)行狀態(tài)和資源分配。而從節(jié)點(diǎn)被稱為 W,負(fù)責(zé)接收主節(jié)點(diǎn)的命令與向主節(jié)點(diǎn)匯報(bào)狀態(tài)。執(zhí)行器(Executor)負(fù)Task)的調(diào)度和執(zhí)行;Driver 負(fù)責(zé)控制一個(gè)應(yīng)用(Application)的執(zhí)行 Spark 應(yīng)用的執(zhí)行過程中,Driver 是 Application 的邏輯執(zhí)行起點(diǎn),它lication 的 main 函數(shù)并創(chuàng)建 SparkContext,SparkContext 把 Task 分發(fā)給 W Executor;Worker 啟動(dòng) Executor,Executor 啟動(dòng)線程池用于執(zhí)行 Task。
否則返回第三步。于蟻群算法中每個(gè)個(gè)體都是一個(gè)單獨(dú)計(jì)算的單元,故而有著很好的并行性。同時(shí)每個(gè)個(gè)體之間是通過信息素進(jìn)行交流的,所以在信息傳遞方面小。蟻群算法的特點(diǎn)有分布式計(jì)算,正反饋機(jī)制與貪婪式搜索,它具有搜索最優(yōu)解的能力,但同時(shí),它也有著收斂速度慢,容易陷入局部最優(yōu)神經(jīng)網(wǎng)絡(luò)物學(xué)中,構(gòu)成神經(jīng)系統(tǒng)的基本單元是神經(jīng)細(xì)胞,亦稱為生物神經(jīng)元。人是由 1000 多億神經(jīng)元組成的。單個(gè)神經(jīng)元主要由細(xì)胞體,軸突和樹突圖 2-3 所示。
【參考文獻(xiàn)】:
期刊論文
[1]基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測[J]. 趙懷柏,王逸凡,宋曉鵬. 交通與運(yùn)輸(學(xué)術(shù)版). 2017(02)
[2]基于遺傳算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的IAQ評(píng)價(jià)[J]. 馮浩棟,韓旭,羅華山. 微型機(jī)與應(yīng)用. 2017(23)
[3]改進(jìn)鳥群算法用于SVM參數(shù)選擇[J]. 張偉偉,劉勇進(jìn),彭君君. 計(jì)算機(jī)工程與設(shè)計(jì). 2017(12)
[4]基于遺傳神經(jīng)網(wǎng)絡(luò)的機(jī)器人視覺控制方法[J]. 郭文靜,鄭來芳. 電子測量技術(shù). 2017(12)
[5]基于灰狼群智能最優(yōu)化的神經(jīng)網(wǎng)絡(luò)PM2.5濃度預(yù)測[J]. 石峰,樓文高,張博. 計(jì)算機(jī)應(yīng)用. 2017(10)
[6]基于群智能算法的神經(jīng)網(wǎng)絡(luò)建模研究[J]. 王閃閃. 電子科技. 2017(04)
[7]改進(jìn)鳥群算法及其在梯級(jí)水庫優(yōu)化調(diào)度中的應(yīng)用[J]. 崔東文,金波. 三峽大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(06)
[8]基于嵌入式向量和循環(huán)神經(jīng)網(wǎng)絡(luò)的用戶行為預(yù)測方法[J]. 劉楊濤,南書坡,楊新鋒. 現(xiàn)代電子技術(shù). 2016(23)
[9]大數(shù)據(jù)技術(shù)的發(fā)展及其研究綜述[J]. 陳俊宇. 中國管理信息化. 2016(20)
[10]群智能算法優(yōu)化神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)安全的應(yīng)用[J]. 何歡. 現(xiàn)代電子技術(shù). 2016(20)
博士論文
[1]基于矩陣分解的個(gè)性化推薦系統(tǒng)[D]. 王科強(qiáng).華東師范大學(xué) 2017
[2]PSO優(yōu)化神經(jīng)網(wǎng)絡(luò)算法的研究及其應(yīng)用[D]. 涂娟娟.江蘇大學(xué) 2013
碩士論文
[1]基于深度神經(jīng)網(wǎng)絡(luò)的視頻個(gè)性化推薦系統(tǒng)研究[D]. 高睿.深圳大學(xué) 2017
[2]個(gè)性化推薦系統(tǒng)中基于用戶的協(xié)同過濾算法與系統(tǒng)架構(gòu)的研究與優(yōu)化[D]. 許征征.山東大學(xué) 2017
[3]基于Hadoop的電子商務(wù)推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 王東.西安工業(yè)大學(xué) 2017
[4]基于SVD與SVM混合推薦的電影推薦系統(tǒng)的研究[D]. 薄慧麗.太原理工大學(xué) 2017
[5]基于特征選擇和模型融合的網(wǎng)絡(luò)購買行為預(yù)測研究[D]. 劉瀟蔓.北京交通大學(xué) 2017
[6]基于Hadoop的新聞推薦系統(tǒng)關(guān)鍵技術(shù)的研究[D]. 王均賢.天津理工大學(xué) 2017
[7]基于Spark的推薦系統(tǒng)的研究[D]. 李現(xiàn)偉.浙江理工大學(xué) 2017
[8]針對(duì)大規(guī)模網(wǎng)絡(luò)訪問數(shù)據(jù)的相關(guān)性及用戶行為預(yù)測分析[D]. 李淑婷.北京郵電大學(xué) 2017
[9]基于Spark的網(wǎng)絡(luò)用戶行為分析方法的研究[D]. 阮得寶.湖南工業(yè)大學(xué) 2016
[10]基于大規(guī)模電商數(shù)據(jù)的用戶消費(fèi)行為分析方法研究[D]. 顧海斌.吉林大學(xué) 2016
本文編號(hào):3391857
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3391857.html
最近更新
教材專著