本文關(guān)鍵詞：基于MapReduce的電子商務(wù)個(gè)性化推薦研究，由筆耕文化傳播整理發(fā)布。

文／丁然

　　 摘要： 目前文獻(xiàn)中對(duì)于電子商務(wù)個(gè)性化研究多集中在傳統(tǒng)理論層面，且大多探討基于內(nèi)容推薦方法和基于協(xié)同推薦方法，而對(duì)大數(shù)據(jù)時(shí)代下的個(gè)性化推薦的研究相對(duì)很少。本文通過研究大數(shù)據(jù)的數(shù)據(jù)挖掘方法及電子商務(wù)的發(fā)展，試圖探討個(gè)性化推薦的方法，最后探討了大數(shù)據(jù)背景下電子商務(wù)個(gè)性化推薦服務(wù)的發(fā)展方向。

　　 關(guān)鍵字： 大數(shù)據(jù)；個(gè)性化推薦；精準(zhǔn)化營(yíng)銷引言

　　隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)信息不斷涌現(xiàn)，信息量呈指數(shù)形式增長(zhǎng)，然而用戶無法在如此多的信息中快速準(zhǔn)確地找到自己所需的信息。信息超載的問題日益嚴(yán)重，針對(duì)這種問題，研究學(xué)者提出個(gè)性化推薦，即電商根據(jù)消費(fèi)者的興趣愛好和購買記錄，向消費(fèi)者推薦其感興趣的商品信息。

1、大數(shù)據(jù)時(shí)代

　　大數(shù)據(jù)既是數(shù)據(jù)量的一個(gè)激增（從最開始企業(yè)的ERP/CRM數(shù)據(jù)，逐步擴(kuò)大到增加互聯(lián)網(wǎng)數(shù)據(jù)，再到物聯(lián)網(wǎng)的傳感器等相關(guān)數(shù)據(jù)），同時(shí)也是數(shù)據(jù)復(fù)雜性的提升。大數(shù)據(jù)時(shí)代下的數(shù)據(jù)類型各式各樣，有非結(jié)構(gòu)化信息又有結(jié)構(gòu)化信息，例如文本、視頻等，而且數(shù)據(jù)的搜索和分析速度要求也越來越高。

　　1.1 大數(shù)據(jù)時(shí)代的電子商務(wù)發(fā)展趨勢(shì)

　　電子商務(wù)是指利用計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，從事各種商業(yè)經(jīng)濟(jì)活動(dòng)，以期實(shí)現(xiàn)商務(wù)的網(wǎng)絡(luò)化�？v觀可知，電子商務(wù)的發(fā)展分為三個(gè)層次：建立易于實(shí)施的可操作系統(tǒng)（初級(jí)層次）；維系牢固的商業(yè)鏈（中級(jí)層次）；實(shí)現(xiàn)全方位的數(shù)字自動(dòng)化（高級(jí)層次）。隨著Internet的迅速發(fā)展，電子商務(wù)的發(fā)展已經(jīng)進(jìn)入了一個(gè)精細(xì)化、隱形化的階段，透過數(shù)據(jù)挖掘消費(fèi)者的偏好，，進(jìn)而進(jìn)行精準(zhǔn)化營(yíng)銷。

　　隨著互聯(lián)網(wǎng)的出現(xiàn)，以及與大數(shù)據(jù)有關(guān)的技術(shù)的研發(fā)，讓大量數(shù)據(jù)的搜索和分析逐步可行，同時(shí)互聯(lián)網(wǎng)的特征又導(dǎo)致這些數(shù)據(jù)能夠被高速度和大容量的傳播，由此互聯(lián)網(wǎng)引入了由用戶產(chǎn)生數(shù)據(jù)的模式，這種模式的特征是多源頭，低成本，更及時(shí)。目前的電子商務(wù)發(fā)展迅速，主要原因是能獲得數(shù)據(jù)進(jìn)行分析，實(shí)時(shí)通過互聯(lián)網(wǎng)獲得用戶的需求，從而電商才能進(jìn)行精準(zhǔn)化營(yíng)銷。同時(shí)人工智能、信息系統(tǒng)和決策科學(xué)的發(fā)展促進(jìn)了多種分析方法及工具的推動(dòng)，包括數(shù)據(jù)挖掘，顧客行為模型，決策支持等等。

　　1.2 大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)

　　大數(shù)據(jù)時(shí)代的數(shù)據(jù)（Data）是零散的和復(fù)雜的，通過過濾和分析后才能成為有用的信息，然后所需的信息整合成資源則成為知識(shí)，對(duì)知識(shí)的深層分析領(lǐng)悟則升華為智慧。數(shù)據(jù)是源頭，是分析和價(jià)值增值的基石；技術(shù)是手段，是精準(zhǔn)化營(yíng)銷的關(guān)鍵。

　　數(shù)據(jù)挖掘的目標(biāo)是從數(shù)據(jù)庫中大量復(fù)雜無序的數(shù)據(jù)中發(fā)現(xiàn)隱含的、有意義的知識(shí)，主要有以下挖掘技術(shù)：

　　1) 自動(dòng)預(yù)測(cè)趨勢(shì)和行為，利用數(shù)據(jù)挖掘工具自動(dòng)在數(shù)據(jù)庫中查找預(yù)測(cè)性信息，并根據(jù)這些信息快速地直接得出結(jié)論。

　　2) 關(guān)聯(lián)分析，主要挖掘用戶的信息，然后根據(jù)模型進(jìn)行用戶之間以及產(chǎn)品與用戶之間關(guān)聯(lián)預(yù)測(cè)。

　　3) 聚類分析，即比傳統(tǒng)分析方法更復(fù)雜，根據(jù)數(shù)據(jù)庫中的記錄通過工具劃分為不同類別，進(jìn)而針對(duì)每一類深層次分析。

　　4) 概念描述，即對(duì)某類對(duì)象的深層次意義進(jìn)行描述，從而得出其共有的特征。概念描述可以劃分為以下兩種：特征性描述，即描述某對(duì)象或項(xiàng)目的共同具有的特征；區(qū)別性描述，即描述不同對(duì)象之間的區(qū)別。對(duì)于特征性描述，僅僅描述所有對(duì)象或者項(xiàng)目的共性所在；然而關(guān)于區(qū)別性描述的方法特別多，比如遺傳算法、決策樹方法等。

　　5) 偏差檢測(cè)：數(shù)據(jù)庫中的數(shù)據(jù)一般是正常數(shù)據(jù)，偶爾會(huì)有異常記錄，如果能對(duì)從數(shù)據(jù)庫中的這些偏差進(jìn)行分析，會(huì)對(duì)學(xué)術(shù)指導(dǎo)有意義。偏差包括很多隱含式的信息，主要包括如不滿足規(guī)則的特例、分類中的反常實(shí)例、量值隨時(shí)間的變化、觀測(cè)結(jié)果與模型預(yù)測(cè)值的偏差等。進(jìn)行偏差檢測(cè)的基本方法主要是尋找參照值與觀測(cè)結(jié)果之間有意義的區(qū)別。

2、個(gè)性化推薦方法

　　個(gè)性化推薦系統(tǒng)是建立在互聯(lián)網(wǎng)上對(duì)用戶信息進(jìn)行搜集，根據(jù)用戶的興趣愛好、評(píng)價(jià)記錄等數(shù)據(jù)，運(yùn)用推薦模型分析，最終提供給用戶個(gè)性化的信息，滿足用戶的消費(fèi)需求。推薦基于：網(wǎng)站最熱賣商品、客戶所處城市、客戶過去的購買行為和購買記錄，推測(cè)客戶將來可能的購買行為。

　　2.1 基于內(nèi)容的推薦技術(shù)

　　基于內(nèi)容的推薦技術(shù)（content based recommendation）是大數(shù)據(jù)時(shí)代信息搜索分析的重要內(nèi)容。該方法主要根據(jù)消費(fèi)者評(píng)價(jià)對(duì)象的記錄及特征，不斷學(xué)習(xí)用戶的偏好，利用用戶模型并依據(jù)用戶資料與其他特征相似的對(duì)象進(jìn)行匹配測(cè)算，匹配度較高的推薦對(duì)象作為推薦結(jié)果推薦給用戶。主要是根據(jù)用戶自己購買記錄或?yàn)g覽記錄進(jìn)行推薦�；趦�(nèi)容的個(gè)性化推薦的最大優(yōu)勢(shì)是建立在推薦產(chǎn)品的屬性特征上，而不單獨(dú)依賴于用戶對(duì)產(chǎn)品的主觀評(píng)價(jià)，更能客觀準(zhǔn)確地給出產(chǎn)品推薦，在基于內(nèi)容的個(gè)性化推薦系統(tǒng)中用戶相關(guān)的特征屬性來定義推薦產(chǎn)品，以用戶評(píng)價(jià)產(chǎn)品的特征為依據(jù)，通過機(jī)器語言挖掘用戶的興趣，發(fā)現(xiàn)用戶與預(yù)測(cè)項(xiàng)目的相似度。

　　2.2 基于協(xié)同過濾的推薦技術(shù)

　　協(xié)同過濾系統(tǒng)是目前應(yīng)用最廣泛的推薦系統(tǒng)。主要是根據(jù)與用戶偏好最為相似的鄰居用戶來對(duì)項(xiàng)目的偏好進(jìn)行推薦，類似于消費(fèi)者之間具有相同的興趣�；趨f(xié)同過濾的推薦方法對(duì)于項(xiàng)目沒有特別要求，能處理許多非結(jié)構(gòu)化數(shù)據(jù)。

　　此種方式的推薦，和日常生活中親朋好友的推薦類似。協(xié)同過濾技術(shù)是從用戶的興趣出發(fā)做出個(gè)性化的產(chǎn)品推薦，借助商業(yè)智能等手段，所以推薦的自動(dòng)化程度很高。個(gè)性化推薦系統(tǒng)從用戶的購買行為及瀏覽日志等不同的渠道獲取，而不需要用戶根據(jù)自己的興趣或者需求來再次搜索產(chǎn)品，將進(jìn)一步提高個(gè)性化推薦的精準(zhǔn)程度[1]。

　　2.3 基于混合的推薦技術(shù)

　　基于內(nèi)容的信息過濾技術(shù)是基于產(chǎn)品自身的特征，而基于協(xié)同過濾的技術(shù)主要依賴于用戶的個(gè)性化信息做出個(gè)性化推薦。把兩種方法結(jié)合提出混合推薦方法，例如，新用戶和新產(chǎn)品問題得到解決。主要是新用戶可以選擇的信息比較少，然而對(duì)于新產(chǎn)品來說，沒有被選的信息，這種冷啟動(dòng)問題不斷出現(xiàn)，單純的基于內(nèi)容的推薦系統(tǒng)和基于協(xié)同過濾的推薦系統(tǒng)是無法處理此種問題的。

　　2.4 基于大數(shù)據(jù)的推薦技術(shù)

　　對(duì)于單一節(jié)點(diǎn)的數(shù)據(jù)挖掘系統(tǒng)在挖掘海量數(shù)據(jù)源時(shí)，處理能力有限，擴(kuò)展性差，傳統(tǒng)的個(gè)性化推薦技術(shù)在大數(shù)據(jù)環(huán)境下存在計(jì)算瓶頸。改善單個(gè)節(jié)點(diǎn)推薦算法擴(kuò)展性問題的方法有很多，雖然在一定程度上提高了算法擴(kuò)展性，但是有限的硬件計(jì)算能力遠(yuǎn)不能滿足日漸增長(zhǎng)的處理需求。

　　云計(jì)算的出現(xiàn)為這一問題的解決提供了新的思路。研究學(xué)者提出了基于云計(jì)算技術(shù)的個(gè)性化推薦方法，即將大數(shù)據(jù)集和推薦計(jì)算分解到多臺(tái)計(jì)算機(jī)上并行處理，其中hadoop組成部分之一的分布式編程系統(tǒng)（MapReduce），即是一種編程模型，可以運(yùn)行在異構(gòu)環(huán)境下，編程簡(jiǎn)單，不必關(guān)心底層實(shí)現(xiàn)細(xì)節(jié)，可用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。MapReduce可以有效提高海量數(shù)據(jù)挖掘工作的效率。

3、大數(shù)據(jù)環(huán)境下的個(gè)性化推薦的發(fā)展趨勢(shì)

　　3.1 聚集分散數(shù)據(jù)以關(guān)聯(lián)化

　　關(guān)聯(lián)分析指如果事物之間存在關(guān)聯(lián)關(guān)系，那么其中任何一個(gè)事物的情況就能通過其他事物進(jìn)行預(yù)測(cè)分析。通過關(guān)聯(lián)分析挖掘隱藏在數(shù)據(jù)間的相互關(guān)系，可以將產(chǎn)品進(jìn)行關(guān)聯(lián)，網(wǎng)絡(luò)搜索時(shí)能及時(shí)出現(xiàn)關(guān)聯(lián)產(chǎn)品，提高產(chǎn)品的銷售及知名度。企業(yè)可以充分利用網(wǎng)上的信息資源，逐步將自己的商品與其他商品進(jìn)行關(guān)聯(lián)，豐富了企業(yè)客戶信息的同時(shí)也獲得需求信息的深度與廣度，幫助客戶選擇更適合的商品。

　　3.2 精準(zhǔn)化營(yíng)銷

　　通過數(shù)據(jù)挖掘分析消費(fèi)者偏好，進(jìn)而推薦各類業(yè)務(wù)或應(yīng)用，例如應(yīng)用軟件、團(tuán)購信息、電視節(jié)目等，將之延伸到商用化服務(wù)，此過程就是利用“數(shù)據(jù)挖掘技術(shù)”幫助運(yùn)營(yíng)商進(jìn)行精準(zhǔn)營(yíng)銷。精準(zhǔn)化營(yíng)銷可以通過Map-Reduce模型、NoSQL和Key-value存儲(chǔ)等相關(guān)理論的分析，設(shè)計(jì)大數(shù)據(jù)營(yíng)銷分布方案，針對(duì)精準(zhǔn)化營(yíng)銷等特定應(yīng)用，解決數(shù)據(jù)一致性檢索的追溯性問題等。

　　3.3 電子商務(wù)智能平臺(tái)

　　例如剛推出的的紅包刷屏，匯聚多家軟件于一體，提供個(gè)性化推薦服務(wù)，既省時(shí)、又準(zhǔn)確、全面的為用戶推薦應(yīng)用軟件信息。但是，服務(wù)產(chǎn)品的粒度會(huì)越來越小，隨著商品用戶提供知識(shí)服務(wù)，商品平臺(tái)的服務(wù)模式逐步發(fā)生變化，從傳統(tǒng)的基于關(guān)鍵詞匹配的檢索服務(wù)平臺(tái)邁向基于語義的智能檢索服務(wù)平臺(tái)，在網(wǎng)上搜集用戶的信息和項(xiàng)目信息，然后通過程序進(jìn)行匹配測(cè)算，根據(jù)匹配結(jié)果進(jìn)行產(chǎn)品推薦，綜合運(yùn)用各種推薦方法，以期建成一個(gè)知識(shí)匯聚的智能商務(wù)平臺(tái)。

結(jié)語

　　隨著互聯(lián)網(wǎng)業(yè)務(wù)的不斷拓寬，每天有大量的數(shù)據(jù)需要去分析、處理。在大量數(shù)據(jù)源源不斷到來之時(shí)，其數(shù)據(jù)具有多維性、劇烈增長(zhǎng)的特征，用戶對(duì)商品的需求難以把握，給商務(wù)性網(wǎng)站個(gè)性化推薦服務(wù)帶來極大挑戰(zhàn)和機(jī)遇。推薦系統(tǒng)經(jīng)歷了將近20年的發(fā)展，在電子商務(wù)、社交網(wǎng)站等眾多領(lǐng)域越來越重要。推薦系統(tǒng)的研究，不僅可以利用信息過濾的方法幫助消費(fèi)者更好地利用互聯(lián)網(wǎng)信息，又可以成為電商營(yíng)銷的手段，提高電商的消費(fèi)者黏著度以及推廣其相關(guān)產(chǎn)品或服務(wù)。

參考文獻(xiàn)

　　[1]李小龍.基于MapReduce的電子商務(wù)個(gè)性化推薦研究[D].北京:北京交通大學(xué),2014

作者簡(jiǎn)介：丁然 ，遼寧師范大學(xué)，2013級(jí)碩士研究生，研究方向?yàn)樾畔⒐芾砼c商務(wù)智能。

  本文關(guān)鍵詞：基于MapReduce的電子商務(wù)個(gè)性化推薦研究，由筆耕文化傳播整理發(fā)布。