【摘要】：雖然移動(dòng)支付得到快速地普及,但是刷卡支付依然有著重要的市場(chǎng)占有率,每時(shí)每刻都會(huì)產(chǎn)生大量的刷卡數(shù)據(jù)。面對(duì)海量的交易數(shù)據(jù),普通的數(shù)據(jù)分析和自然語言處理算法無法完成數(shù)據(jù)挖掘的任務(wù)。針對(duì)消費(fèi)者刷卡記錄,本文就消費(fèi)者行為特征、客戶畫像等兩個(gè)方面進(jìn)行了討論,在重點(diǎn)研究了關(guān)聯(lián)、聚類、自然語言分詞和大數(shù)據(jù)技術(shù)后,提出了基于大數(shù)據(jù)技術(shù)的關(guān)聯(lián)、聚類和自然語言分詞算法,實(shí)現(xiàn)了算法在Hadoop集群下的分布式并行運(yùn)算,同時(shí)將改進(jìn)的算法應(yīng)用于客戶畫像和消費(fèi)者行為特征的挖掘。首先,大量的刷卡數(shù)據(jù)存儲(chǔ)于Hadoop的分布式文件系統(tǒng),含有空缺值的記錄得以刪除,在相關(guān)專家的指導(dǎo)下,從中篩選出有價(jià)值的關(guān)鍵字段。同時(shí),采用DBSCAN算法來剔除其中的噪聲數(shù)據(jù),減小因異常數(shù)據(jù)而引起的誤差。然后,將大數(shù)據(jù)下的MapReduce計(jì)算模型分別與Apriori、K均值和FCM算法進(jìn)行結(jié)合,設(shè)計(jì)出相應(yīng)的Map、Combine和Reduce函數(shù),并通過多次提交進(jìn)程來實(shí)現(xiàn)分布式的迭代運(yùn)行,極大地提高了算法執(zhí)行的效率。另外,在自然語言分詞方面,將HanLP中文分詞與MapReduce相結(jié)合,實(shí)現(xiàn)了中文分詞的分布式并行運(yùn)算。最后,本文將改進(jìn)后的算法對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行分析,分別挖掘出客戶消費(fèi)等級(jí)、常去地區(qū)、消費(fèi)行為的關(guān)聯(lián)性等,不僅豐富、完善了多維度的客戶畫像,而且能夠幫助相關(guān)企業(yè)或商戶制定決策、實(shí)現(xiàn)精準(zhǔn)營(yíng)銷。本文利用Hadoop生態(tài)圈的相關(guān)技術(shù)設(shè)計(jì)出適用于刷卡記錄的大數(shù)據(jù)挖掘算法。一方面,它不僅解決了海量數(shù)據(jù)的存儲(chǔ)與計(jì)算的問題,而且彌補(bǔ)了普通算法在單機(jī)模式下的缺陷。另一方面,它也在實(shí)際應(yīng)用中具有良好的可行性和高效性,這也為大數(shù)據(jù)環(huán)境下實(shí)現(xiàn)數(shù)據(jù)挖掘算法及自然語言分析的分布式并行運(yùn)算提供了重要的參考和應(yīng)用價(jià)值。
【圖文】：

刷卡支付Fig.1-1Paymentbycreditcard

旅游消費(fèi)發(fā)展的特點(diǎn)：旅游人群的年齡結(jié)構(gòu)趨于年輕化；2017 至 2019期間，全國(guó)祈福景區(qū)的客流量持續(xù)高漲，如圖 2-1 所示。因此，在人們活中，消費(fèi)者可能在任何時(shí)候會(huì)對(duì)自己感興趣的商品進(jìn)行購買，不同的不同的消費(fèi)需求，其購買行為也會(huì)各具特色。企業(yè)一直以來奉行“以客，以服務(wù)消費(fèi)者的需求為己任”，促使消費(fèi)者從自己的購買行為中得到
【學(xué)位授予單位】：青島科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：F713.55;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張珍;;云計(jì)算環(huán)境下的數(shù)據(jù)挖掘算法探究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2019年05期

2 劉小燕;;數(shù)據(jù)挖掘算法基于關(guān)聯(lián)規(guī)則的分析和應(yīng)用[J];課程教育研究;2017年11期

3 黃武鋒;;一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘算法[J];電腦編程技巧與維護(hù);2017年03期

4 張容;張勇;;基于數(shù)據(jù)挖掘算法的電子圖書館智能推薦技術(shù)研究[J];西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2017年07期

5 趙慧;王曉燕;;基于云計(jì)算的海量數(shù)據(jù)挖掘算法[J];產(chǎn)業(yè)與科技論壇;2015年16期

6 曹安林;;基于數(shù)據(jù)挖掘算法的創(chuàng)客校園質(zhì)量管理模型研究[J];現(xiàn)代職業(yè)教育;2017年10期

7 王曉艷;;數(shù)據(jù)挖掘算法的分析探討[J];硅谷;2014年02期

8 黃取治;;動(dòng)態(tài)云模型大規(guī)模數(shù)據(jù)挖掘算法[J];長(zhǎng)春工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年03期

9 張慧霞;;常用數(shù)據(jù)挖掘算法的分析對(duì)比[J];河南科技;2014年19期

10 李珩;武雪芳;;基于云計(jì)算的數(shù)據(jù)挖掘算法研究[J];無線互聯(lián)科技;2013年12期

相關(guān)會(huì)議論文 前10條

1 任珂;牟冬梅;;四種典型數(shù)據(jù)挖掘算法在疾病防治中的研究現(xiàn)狀分析[A];中華醫(yī)學(xué)會(huì)第二十一次全國(guó)醫(yī)學(xué)信息學(xué)術(shù)會(huì)議論文匯編[C];2015年

2 劉玲;張興會(huì);;基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘算法研究[A];全國(guó)第二屆信號(hào)處理與應(yīng)用學(xué)術(shù)會(huì)議�？痆C];2008年

3 盛立;劉希玉;高明;;基于粗糙集理論的數(shù)據(jù)挖掘算法研究[A];山東省計(jì)算機(jī)學(xué)會(huì)2005年信息技術(shù)與信息化研討會(huì)論文集（二）[C];2005年

4 賀煒;邢春曉;潘泉;;因果不完備條件下的數(shù)據(jù)挖掘算法[A];第二十二屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

5 陳曦;曾凡鋒;;數(shù)據(jù)挖掘算法在風(fēng)險(xiǎn)評(píng)估中的應(yīng)用[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2007年

6 陳正展;;基于決策樹的隱私保護(hù)數(shù)據(jù)挖掘算法[A];第六屆全國(guó)信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2012年

7 魏順平;;教育數(shù)據(jù)挖掘:現(xiàn)狀與趨勢(shì)[A];信息化、工業(yè)化融合與服務(wù)創(chuàng)新——第十三屆計(jì)算機(jī)模擬與信息技術(shù)學(xué)術(shù)會(huì)議論文集[C];2011年

8 潘國(guó)林;楊帆;;數(shù)據(jù)挖掘算法在保險(xiǎn)客戶分析中的應(yīng)用[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

9 楊利軍;勾學(xué)榮;;數(shù)據(jù)挖掘在移動(dòng)客戶流失預(yù)測(cè)中的研究和應(yīng)用[A];2008年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集（上冊(cè)）[C];2009年

10 段成永;邱少明;盧剛;劉焱;;基于Map/Reduce模型的空情數(shù)據(jù)挖掘算法[A];2014第二屆中國(guó)指揮控制大會(huì)論文集（上）[C];2014年

相關(guān)重要報(bào)紙文章 前4條

1 ;選擇合適的數(shù)據(jù)挖掘算法[N];計(jì)算機(jī)世界;2007年

2 本報(bào)記者 吳玉征;Sybase加速“大數(shù)據(jù)”分析[N];計(jì)算機(jī)世界;2012年

3 本報(bào)記者 李建發(fā);從IT到DT：能源大數(shù)據(jù)帶來新價(jià)值[N];中國(guó)電力報(bào);2016年

4 吳朱華;大數(shù)據(jù)從“小”做起[N];網(wǎng)絡(luò)世界;2012年

相關(guān)博士學(xué)位論文 前10條

1 張靜;基于粗糙集理論的數(shù)據(jù)挖掘算法研究[D];西北工業(yè)大學(xué);2006年

2 吳玨;隱私保護(hù)的數(shù)據(jù)挖掘算法研究[D];西南石油大學(xué);2012年

3 吳國(guó)清;科學(xué)計(jì)算時(shí)變數(shù)據(jù)集的數(shù)據(jù)挖掘算法研究[D];中國(guó)工程物理研究院;2009年

4 梁瑾;模糊粗糙單調(diào)數(shù)據(jù)挖掘算法及在污水處理中應(yīng)用研究[D];華南理工大學(xué);2011年

5 沈悅;基于導(dǎo)航通信多模應(yīng)用的位置服務(wù)技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2012年

6 李秋虹;基于MapReduce的大規(guī)模數(shù)據(jù)挖掘技術(shù)研究[D];復(fù)旦大學(xué);2013年

7 鞏建光;面向電信領(lǐng)域的數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2012年

8 陳云開;基于粗糙集和聚類的數(shù)據(jù)挖掘算法及其在反洗錢中的應(yīng)用研究[D];華中科技大學(xué);2007年

9 魯萬;數(shù)據(jù)挖掘環(huán)境中隱私保護(hù)數(shù)據(jù)共享混合方法研究[D];大連海事大學(xué);2013年

10 范廣玲;基于數(shù)據(jù)挖掘的潛油電泵系統(tǒng)運(yùn)行評(píng)價(jià)研究[D];東北石油大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 高尚飛;基于刷卡記錄的消費(fèi)者行為大數(shù)據(jù)挖掘算法研究與應(yīng)用[D];青島科技大學(xué);2019年

2 鄭江帆;基于GPU的數(shù)據(jù)挖掘算法并行化研究[D];浙江工業(yè)大學(xué);2018年

3 呂丹;一類數(shù)據(jù)挖掘算法及其在宮頸癌智能診斷中的應(yīng)用[D];長(zhǎng)春工業(yè)大學(xué);2019年

4 許偉;基于遙感影像與C5.0數(shù)據(jù)挖掘算法的土壤制圖研究[D];華中農(nóng)業(yè)大學(xué);2018年

5 盧媛媛;大數(shù)據(jù)平臺(tái)下的數(shù)據(jù)挖掘算法設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)石油大學(xué)（北京）;2017年

6 郭聞博;某型預(yù)警機(jī)雷達(dá)情報(bào)分析的數(shù)據(jù)挖掘算法研究[D];武漢理工大學(xué);2016年

7 郭娟娟;基于加權(quán)k近鄰的離群數(shù)據(jù)挖掘算法及并行化[D];太原科技大學(xué);2018年

8 耿美玲;基于關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘算法的研究[D];東北大學(xué);2015年

9 李玉廷;基于兩種數(shù)據(jù)挖掘算法的股骨頸預(yù)后評(píng)分分類[D];太原理工大學(xué);2017年

10 楊利鋒;基于低秩稀疏子空間的數(shù)據(jù)挖掘算法研究[D];廣西師范大學(xué);2017年

，

本文編號(hào)：2621742