發(fā)布時(shí)間：2021-09-08 08:05

　　隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡(luò)用戶規(guī)模不斷擴(kuò)大,網(wǎng)絡(luò)用戶比例不斷增加,網(wǎng)絡(luò)用戶行為也變得越來(lái)越復(fù)雜。盡管許多學(xué)者對(duì)Web挖掘技術(shù)和用戶行為挖掘進(jìn)行了深入研究,但仍存在一些問(wèn)題。傳統(tǒng)的數(shù)據(jù)挖掘算法在大數(shù)據(jù)處理效率方面并不令人滿意。與此同時(shí),對(duì)于電子商務(wù)領(lǐng)域,隨著網(wǎng)購(gòu)越來(lái)越流行,網(wǎng)民的不斷增加以及新的商品出現(xiàn),大量的商品和用戶沒(méi)有發(fā)生交互數(shù)據(jù),系統(tǒng)更傾向于給用戶推薦熱門(mén)商品,導(dǎo)致大多數(shù)電子商務(wù)平臺(tái)中都存在重復(fù)推薦的情況,無(wú)法提供更精準(zhǔn)的個(gè)性化服務(wù),以及長(zhǎng)尾物品的發(fā)現(xiàn)和物品的權(quán)重調(diào)整。同時(shí)大量的中小型企業(yè)想完成數(shù)據(jù)驅(qū)動(dòng)服務(wù)的升級(jí),包括用戶行為挖掘、個(gè)性化推薦等。這些問(wèn)題迫切需要解決。因此,本文選擇電子商務(wù)領(lǐng)域,基于電子商務(wù)后臺(tái)日志的數(shù)據(jù)特征,重點(diǎn)分析和研究電子商務(wù)用戶行為,構(gòu)建用戶行為挖掘的基本模式。本文研究?jī)?nèi)容主要包括以下幾點(diǎn):首先,在深入了解Web用戶行為理論的基礎(chǔ)上,基于交互的內(nèi)容對(duì)用戶的行為進(jìn)行分類,同時(shí)基于大數(shù)據(jù)背景,在介紹了傳統(tǒng)的一些數(shù)據(jù)挖掘算法的基礎(chǔ)上,做了進(jìn)一步的優(yōu)化,以符合現(xiàn)實(shí)的商業(yè)化需求,對(duì)于Web日志來(lái)說(shuō),在大數(shù)據(jù)環(huán)境以及多樣的用戶行為的影響下,其采集方法與處理方法變得更加... 

【文章來(lái)源】：云南財(cái)經(jīng)大學(xué)云南省

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

MapReduce體系架構(gòu)

在 HDFS 文件系統(tǒng)中，存在最為合適的文件大小，約為 64MB，這樣可以使調(diào)度數(shù)據(jù)文件變得更加高效，同時(shí)在多個(gè)機(jī)器之間進(jìn)行數(shù)據(jù)備份，使整個(gè)系統(tǒng)更加可靠。通常，默認(rèn)副本數(shù)為 3 份，使用此策略是在最小化讀寫(xiě)開(kāi)銷(xiāo)和數(shù)據(jù)可靠性之間進(jìn)行了一些權(quán)衡。數(shù)據(jù)文件分散在不同的機(jī)架中，并且一個(gè)數(shù)據(jù)存在多個(gè)副本。這樣可以最大程度地減少 Hadoop 集群在通信期間所需的網(wǎng)絡(luò)帶寬開(kāi)銷(xiāo)和讀寫(xiě)延遲，HDFS 在讀取數(shù)據(jù)時(shí)判斷讀取數(shù)據(jù)請(qǐng)求與哪個(gè)機(jī)架最近，進(jìn)而去請(qǐng)求相對(duì)應(yīng)的機(jī)架獲取數(shù)據(jù)，如果 HDFS 集群是存在多個(gè)不同地域的數(shù)據(jù)中心，這時(shí)候本地?cái)?shù)據(jù)中心的副本會(huì)被優(yōu)先訪問(wèn)。第五節(jié) Hadoop 平臺(tái)日志數(shù)據(jù)處理優(yōu)勢(shì)在互聯(lián)網(wǎng)技術(shù)飛速發(fā)展的今天，網(wǎng)站、用戶和服務(wù)提供商也在不斷的增長(zhǎng)，也使得 Web 日志的數(shù)量爆炸式的增長(zhǎng)，同時(shí)用戶體驗(yàn)也變得越來(lái)越重要，

第四章 基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘算法改進(jìn)重復(fù)迭代 Map 任務(wù)，即以長(zhǎng)度為 1 的序列模式生成的每個(gè)節(jié)點(diǎn)作為根節(jié)點(diǎn)，不斷的擴(kuò)充投影數(shù)據(jù)集，當(dāng)數(shù)據(jù)集為空時(shí)則停止。對(duì)于生成的投影數(shù)據(jù)庫(kù)會(huì)遞歸調(diào)用 Map 函數(shù)，進(jìn)行進(jìn)一步的處理。在 Map 函數(shù)處理過(guò)后，需要用 Reduce 函數(shù)接受 Map 輸出的中間結(jié)果，并對(duì)該結(jié)果做進(jìn)一步的約束，得到最終的序列模式，此時(shí)完成 MR-PS 算法。

【參考文獻(xiàn)】：
期刊論文
[1]基于模糊理論的入侵檢測(cè)[J]. 汪濤.  信息記錄材料. 2018(09)
[2]基于高斯模型和概率矩陣分解的混合推薦算法[J]. 何慧.  統(tǒng)計(jì)與決策. 2018(03)
[3]基于GLSLIM模型的混合推薦算法研究[J]. 楊海龍,李松林,李衛(wèi)軍.  信息與電腦(理論版). 2017(20)
[4]看點(diǎn)!第38次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》[J].   科學(xué)家. 2016(09)
[5]一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用[J]. 何清,敖翔,莊福振,羅平.  信息通信技術(shù). 2015(06)
[6]基于MapReduce的序列模式挖掘算法[J]. 余嘯,馬傳香,李偉亮,金聰.  計(jì)算機(jī)應(yīng)用研究. 2015(11)
[7]基于Kmeans算法的模糊時(shí)間序列預(yù)測(cè)模型[J]. 王國(guó)徽,姚儉.  應(yīng)用泛函分析學(xué)報(bào). 2015(01)
[8]基于Hadoop平臺(tái)的XML Twig查詢處理方法[J]. 何志學(xué),莊連英,斯慶巴拉.  北華航天工業(yè)學(xué)院學(xué)報(bào). 2015(01)
[9]Web日志挖掘中的數(shù)據(jù)預(yù)處理研究[J]. 黃宏濤.  黑龍江科技信息. 2014(31)
[10]基于用戶行為分析的圖書(shū)館數(shù)據(jù)庫(kù)資源的整合與利用[J]. 陳浩.  計(jì)算機(jī)應(yīng)用與軟件. 2014(07)

博士論文
[1]基于樣本和特征的遷移學(xué)習(xí)方法及應(yīng)用[D]. 楊士準(zhǔn).國(guó)防科學(xué)技術(shù)大學(xué) 2013
[2]網(wǎng)絡(luò)用戶行為分析的若干問(wèn)題研究[D]. 劉鵬.北京郵電大學(xué) 2010

碩士論文
[1]大數(shù)據(jù)集序列模式挖掘算法研究[D]. 梁棟.山東師范大學(xué) 2015
[2]Web日志挖掘系統(tǒng)的研究與實(shí)現(xiàn)[D]. 王賦聰.北京郵電大學(xué) 2015
[3]基于協(xié)同過(guò)濾算法的個(gè)性化推薦研究[D]. 姚婷.北京理工大學(xué) 2015
[4]基于序列模式的Web日志挖掘及其應(yīng)用[D]. 王合清.華南理工大學(xué) 2014
[5]Web推薦系統(tǒng)中協(xié)同過(guò)濾算法的研究和應(yīng)用[D]. 吳忠伙.華東師范大學(xué) 2014
[6]基于Hadoop平臺(tái)的日志分析系統(tǒng)[D]. 李榮榮.復(fù)旦大學(xué) 2013
[7]公開(kāi)信息搜集方法研究與實(shí)現(xiàn)[D]. 徐志成.電子科技大學(xué) 2011
[8]基于用戶行為分析的數(shù)據(jù)挖掘系統(tǒng)研究與設(shè)計(jì)[D]. 李曉輝.北京郵電大學(xué) 2011
[9]政府網(wǎng)站日志挖掘的研究與實(shí)踐[D]. 郭東東.鄭州大學(xué) 2011



本文編號(hào)：3390435