【摘要】：雖然移動支付得到快速地普及,但是刷卡支付依然有著重要的市場占有率,每時每刻都會產(chǎn)生大量的刷卡數(shù)據(jù)。面對海量的交易數(shù)據(jù),普通的數(shù)據(jù)分析和自然語言處理算法無法完成數(shù)據(jù)挖掘的任務。針對消費者刷卡記錄,本文就消費者行為特征、客戶畫像等兩個方面進行了討論,在重點研究了關聯(lián)、聚類、自然語言分詞和大數(shù)據(jù)技術后,提出了基于大數(shù)據(jù)技術的關聯(lián)、聚類和自然語言分詞算法,實現(xiàn)了算法在Hadoop集群下的分布式并行運算,同時將改進的算法應用于客戶畫像和消費者行為特征的挖掘。首先,大量的刷卡數(shù)據(jù)存儲于Hadoop的分布式文件系統(tǒng),含有空缺值的記錄得以刪除,在相關專家的指導下,從中篩選出有價值的關鍵字段。同時,采用DBSCAN算法來剔除其中的噪聲數(shù)據(jù),減小因異常數(shù)據(jù)而引起的誤差。然后,將大數(shù)據(jù)下的MapReduce計算模型分別與Apriori、K均值和FCM算法進行結(jié)合,設計出相應的Map、Combine和Reduce函數(shù),并通過多次提交進程來實現(xiàn)分布式的迭代運行,極大地提高了算法執(zhí)行的效率。另外,在自然語言分詞方面,將HanLP中文分詞與MapReduce相結(jié)合,實現(xiàn)了中文分詞的分布式并行運算。最后,本文將改進后的算法對預處理后的數(shù)據(jù)進行分析,分別挖掘出客戶消費等級、常去地區(qū)、消費行為的關聯(lián)性等,不僅豐富、完善了多維度的客戶畫像,而且能夠幫助相關企業(yè)或商戶制定決策、實現(xiàn)精準營銷。本文利用Hadoop生態(tài)圈的相關技術設計出適用于刷卡記錄的大數(shù)據(jù)挖掘算法。一方面,它不僅解決了海量數(shù)據(jù)的存儲與計算的問題,而且彌補了普通算法在單機模式下的缺陷。另一方面,它也在實際應用中具有良好的可行性和高效性,這也為大數(shù)據(jù)環(huán)境下實現(xiàn)數(shù)據(jù)挖掘算法及自然語言分析的分布式并行運算提供了重要的參考和應用價值。
【圖文】：

刷卡支付Fig.1-1Paymentbycreditcard

旅游消費發(fā)展的特點：旅游人群的年齡結(jié)構(gòu)趨于年輕化；2017 至 2019期間，全國祈福景區(qū)的客流量持續(xù)高漲，如圖 2-1 所示。因此，在人們活中，消費者可能在任何時候會對自己感興趣的商品進行購買，不同的不同的消費需求，其購買行為也會各具特色。企業(yè)一直以來奉行“以客，以服務消費者的需求為己任”，促使消費者從自己的購買行為中得到
【學位授予單位】：青島科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：F713.55;TP311.13

【相似文獻】

相關期刊論文 前10條

1 張珍;;云計算環(huán)境下的數(shù)據(jù)挖掘算法探究[J];網(wǎng)絡安全技術與應用;2019年05期

2 劉小燕;;數(shù)據(jù)挖掘算法基于關聯(lián)規(guī)則的分析和應用[J];課程教育研究;2017年11期

3 黃武鋒;;一種基于神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘算法[J];電腦編程技巧與維護;2017年03期

4 張容;張勇;;基于數(shù)據(jù)挖掘算法的電子圖書館智能推薦技術研究[J];西南師范大學學報(自然科學版);2017年07期

5 趙慧;王曉燕;;基于云計算的海量數(shù)據(jù)挖掘算法[J];產(chǎn)業(yè)與科技論壇;2015年16期

6 曹安林;;基于數(shù)據(jù)挖掘算法的創(chuàng)客校園質(zhì)量管理模型研究[J];現(xiàn)代職業(yè)教育;2017年10期

7 王曉艷;;數(shù)據(jù)挖掘算法的分析探討[J];硅谷;2014年02期

8 黃取治;;動態(tài)云模型大規(guī)模數(shù)據(jù)挖掘算法[J];長春工業(yè)大學學報(自然科學版);2014年03期

9 張慧霞;;常用數(shù)據(jù)挖掘算法的分析對比[J];河南科技;2014年19期

10 李珩;武雪芳;;基于云計算的數(shù)據(jù)挖掘算法研究[J];無線互聯(lián)科技;2013年12期

相關會議論文 前10條

1 任珂;牟冬梅;;四種典型數(shù)據(jù)挖掘算法在疾病防治中的研究現(xiàn)狀分析[A];中華醫(yī)學會第二十一次全國醫(yī)學信息學術會議論文匯編[C];2015年

2 劉玲;張興會;;基于神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘算法研究[A];全國第二屆信號處理與應用學術會議專刊[C];2008年

3 盛立;劉希玉;高明;;基于粗糙集理論的數(shù)據(jù)挖掘算法研究[A];山東省計算機學會2005年信息技術與信息化研討會論文集（二）[C];2005年

4 賀煒;邢春曉;潘泉;;因果不完備條件下的數(shù)據(jù)挖掘算法[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

5 陳曦;曾凡鋒;;數(shù)據(jù)挖掘算法在風險評估中的應用[A];2007通信理論與技術新發(fā)展——第十二屆全國青年通信學術會議論文集（上冊）[C];2007年

6 陳正展;;基于決策樹的隱私保護數(shù)據(jù)挖掘算法[A];第六屆全國信號和智能信息處理與應用學術會議論文集[C];2012年

7 魏順平;;教育數(shù)據(jù)挖掘:現(xiàn)狀與趨勢[A];信息化、工業(yè)化融合與服務創(chuàng)新——第十三屆計算機模擬與信息技術學術會議論文集[C];2011年

8 潘國林;楊帆;;數(shù)據(jù)挖掘算法在保險客戶分析中的應用[A];全國第20屆計算機技術與應用學術會議（CACIS·2009）暨全國第1屆安全關鍵技術與應用學術會議論文集（上冊）[C];2009年

9 楊利軍;勾學榮;;數(shù)據(jù)挖掘在移動客戶流失預測中的研究和應用[A];2008年中國高校通信類院系學術研討會論文集（上冊）[C];2009年

10 段成永;邱少明;盧剛;劉焱;;基于Map/Reduce模型的空情數(shù)據(jù)挖掘算法[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

相關重要報紙文章 前4條

1 ;選擇合適的數(shù)據(jù)挖掘算法[N];計算機世界;2007年

2 本報記者 吳玉征;Sybase加速“大數(shù)據(jù)”分析[N];計算機世界;2012年

3 本報記者 李建發(fā);從IT到DT：能源大數(shù)據(jù)帶來新價值[N];中國電力報;2016年

4 吳朱華;大數(shù)據(jù)從“小”做起[N];網(wǎng)絡世界;2012年

相關博士學位論文 前10條

1 張靜;基于粗糙集理論的數(shù)據(jù)挖掘算法研究[D];西北工業(yè)大學;2006年

2 吳玨;隱私保護的數(shù)據(jù)挖掘算法研究[D];西南石油大學;2012年

3 吳國清;科學計算時變數(shù)據(jù)集的數(shù)據(jù)挖掘算法研究[D];中國工程物理研究院;2009年

4 梁瑾;模糊粗糙單調(diào)數(shù)據(jù)挖掘算法及在污水處理中應用研究[D];華南理工大學;2011年

5 沈悅;基于導航通信多模應用的位置服務技術研究[D];中國科學技術大學;2012年

6 李秋虹;基于MapReduce的大規(guī)模數(shù)據(jù)挖掘技術研究[D];復旦大學;2013年

7 鞏建光;面向電信領域的數(shù)據(jù)挖掘關鍵技術研究[D];哈爾濱工程大學;2012年

8 陳云開;基于粗糙集和聚類的數(shù)據(jù)挖掘算法及其在反洗錢中的應用研究[D];華中科技大學;2007年

9 魯萬;數(shù)據(jù)挖掘環(huán)境中隱私保護數(shù)據(jù)共享混合方法研究[D];大連海事大學;2013年

10 范廣玲;基于數(shù)據(jù)挖掘的潛油電泵系統(tǒng)運行評價研究[D];東北石油大學;2015年

相關碩士學位論文 前10條

1 高尚飛;基于刷卡記錄的消費者行為大數(shù)據(jù)挖掘算法研究與應用[D];青島科技大學;2019年

2 鄭江帆;基于GPU的數(shù)據(jù)挖掘算法并行化研究[D];浙江工業(yè)大學;2018年

3 呂丹;一類數(shù)據(jù)挖掘算法及其在宮頸癌智能診斷中的應用[D];長春工業(yè)大學;2019年

4 許偉;基于遙感影像與C5.0數(shù)據(jù)挖掘算法的土壤制圖研究[D];華中農(nóng)業(yè)大學;2018年

5 盧媛媛;大數(shù)據(jù)平臺下的數(shù)據(jù)挖掘算法設計與實現(xiàn)[D];中國石油大學（北京）;2017年

6 郭聞博;某型預警機雷達情報分析的數(shù)據(jù)挖掘算法研究[D];武漢理工大學;2016年

7 郭娟娟;基于加權k近鄰的離群數(shù)據(jù)挖掘算法及并行化[D];太原科技大學;2018年

8 耿美玲;基于關聯(lián)規(guī)則的數(shù)據(jù)挖掘算法的研究[D];東北大學;2015年

9 李玉廷;基于兩種數(shù)據(jù)挖掘算法的股骨頸預后評分分類[D];太原理工大學;2017年

10 楊利鋒;基于低秩稀疏子空間的數(shù)據(jù)挖掘算法研究[D];廣西師范大學;2017年

，

本文編號：2621742